Skip to main content

Struttura della repository

Questa sezione descrive l’organizzazione dei file e delle cartelle presenti nella repository. L’obiettivo è fornire una guida chiara su dove si trovano gli script, quali sono i file di configurazione principali e come mantenere la repository coerente nel tempo.

📂 Struttura delle directory

dwh_utility/
#├── .env            # (Presente solo nella macchina) Variabili di ambiente
├── afc/                   # ETL relativi a stime e dati AFC
├── affitti_soggiorni/     # ETL per file degli affitti e soggiorni
├── auto/                  # ETL per flotte auto, carburanti e trasporti
├── autonoleggi/           # ETL per file degli autonoleggi
├── business_central/      # ETL per integrazione con Business Central
├── calcolo_distanze_api/  # ETL per servizio calcolo distanze con API Google
├── dropbox_procedures/    # ETL legati a file presenti in Dropbox
├── jotform/               # ETL per integrazione Jotform API
├── kanban/                # ETL per integrazione con Kanban tool API
├── mysond/                # Dump completo del DB di MySond
├── onedrive_procedures/   # ETL legati a file presenti in Dropbox
├── procedure_postgres/    # Script per procedure e task Postgres
├── treni/                 # ETL da portali ferroviari e file (Trenitalia, Italo, ecc.)
├── voli/                  # ETL da file voli
.
.
.
│
├── db_utils.py            # Modulo comune: connessioni e query DB
├── dropbox_utils.py       # Modulo comune: interazioni con Dropbox
├── dwh_procedures.py      # Procedure comuni per gestione DWH
├── log_config.py          # Configurazione logging standardizzata
├── data_types_inference.py   # Utility per inferenza automatica tipi dati da Dataframe
│
#├── dwh_table_mappings.json       # (Presente solo nella macchina) Mapping globale tabelle DWH 
│
├── docker-compose-*.yml   # Configurazioni per ambienti (dev/test/prod)
├── Dockerfile             # Build immagine container
#├── rclone.conf            # (Presente solo nella macchina) Configurazione rclone per sync file
│
├── requirements.txt       # Dipendenze Python
├── README.md              # Documentazione introduttiva
├── run_test/              # Script di test per Ansible

 

📝 Convenzioni di naming

  • Cartelle principali: raggruppano script ETL per dominio/fonte (es. treni/, auto/, dropbox_procedures/).

  • Script Python: segue la logica nome_fonte.py → ogni file corrisponde a un processo ETL indipendente.

  • File comuni:

    • db_utils.py → funzioni di connessione e query Postgres

    • dwh_procedures.py → procedure generiche lato DWH

    • log_config.py → setup logging uniforme

📌 File principali

  • requirements.txt → librerie Python richieste (versioni incluse).

  • docker-compose-*.yml → configurazioni ambienti dev, test, prod.

  • Dockerfile → build container standardizzato.

  • README.md → istruzioni introduttive.

  • dwh_table_mappings.json → Mappatura dei nomi e datatype da CSV a tabelle DWH
  • rclone.conf  → configurazione rclone sync (OneDrive, Dropbox, ecc.).

📚 Linee guida di manutenzione

  • Ogni nuova fonte dati deve avere una propria cartella dedicata (es. nuova_fonte/fonte_1_script.py).

  • Le librerie aggiuntive devono essere dichiarate in requirements.txt.

  • I mapping tabelle devono essere aggiornati in dwh_table_mappings.json.

  • Gli script devono utilizzare moduli comuni (db_utils, log_config) per garantire uniformità.

  • La documentazione relativa a ciascun ETL va aggiunta nel capitolo Processi ETL.

Back to top