Schema ad alto livello (Diagramma generale)

Questa sezione fornisce una panoramica ad alto livello del funzionamento della repository, mostrando come gli script Python ETL si inseriscono nell’ecosistema aziendale.
L’intento è offrire una mappa visiva semplice per comprendere:

• da dove arrivano i dati,

• come vengono trasformati e caricati,

• dove finiscono,

• come vengono monitorati.

🔄 Flusso generale dei dati

1. Sorgenti esterne

   • Portali web aziendali o di terze parti

   • API (es. Jotform, DKV, Kanban, Business Central)

   • File Excel/CSV provenienti da OneDrive o Dropbox

2. Repository ETL (oggetto di questo libro)

   • Ogni file Python corrisponde a uno script ETL indipendente

   • Gli script eseguono estrazione, pulizia, trasformazione e caricamento

3. Orchestrazione (vedi libro Ansible)

   • Gli script sono schedulati ed eseguiti in maniera automatizzata

   • I dettagli di configurazione, deploy e gestione dei job sono documentati nel libro dedicato ad Ansible

4. Data Warehouse (vedi capitolo Data warehouse del libro Architetura dei Dati)

   • Gli script aggiornano tabelle e viste del DWH aziendale

   • La documentazione completa di schemi, viste e metadati è disponibile nel libro  capitolo "Data warehouse".

5. Logging & Monitoring (vedi libro Grafana)

   • Gli esiti delle esecuzioni ETL vengono inviati a Grafana

   • Dashboard e alert sono gestiti dal libro dedicato a Grafana

📊 Diagramma semplificato