Bonjour,

Dans le cadre d'un projet de visualisation de données de capteurs, j'aimerais savoir si le schéma ci-joint peut-être mise en place ou s'il y a possibilité de simplifier ? et si oui quels outils (Azure, Firebase ?) sont à privilégier ?

Voici une description des tâches :

1 - FTP serveur : contient le fichier .txt correspondant à 1 heure d’enregistrement (1 ligne de donnée toutes les 10 minutes 🡪 10 lignes de données). Le fichier est écrasé par le nouveau fichier créé toutes les 1 heure

2 - Pipeline ETL : - Récupérer le fichier journalR.txt du serveur FTP (E : Extract)
- Transformer les données (convertir le fichier en .csv ou .json, nettoyer les données (points mds vers gps, convertir en datetime)) (T : Transform)
- Charger les données transformés dans la base de données (L : Load)

3 - Planificateur : - Lancer le script python contenant la pipeline ETL tous les pas de temps afin de stocker au fur et à mesure les fichiers arrivant toutes les 1 heure sur le serveur FTP

4 - Base de données : - Stocker tous les fichiers

5 - Grafana ou autres : - Afficher les données de la base de données

Je vous remercie d'avance.