data logger / bibliothèque LOGGING

Bonjour

Je souhaite "logger" des données que je reçois de différents appareils de mesure (balances, tensions, etc..) communiquant avec un PC (Raspberry pi / RPi) par USB (ou RS232/USB).

Ces données sont soient reçues à intervalles régulier sans action du RPi, soit initiées en réponse à une commande envoyée par le RPi (Commandes de style AT auxquelles répondent les instruments de mesure ou les microcontrôleurs que j'ai programmés (style Arduino ou ESP32)

Je souhaite maintenant logger ces données, ce que je souhaiterais faire avec Python.

Je recherche sur le web, mais à chaque fois je suis renvoyé vers la bibliothèque logging qui sert principalement au débugage.

Je me suis dit un moment que je pourrais détourner cette bibliothèque pour mon besoin puisqu'elle permet d'aiguiller différents flux vers différents fichiers, mais elle est assez difficile à prendre en mains pour moi qui débute et au final, je me demande si l'approche est bonne.

Qu'en pensez vous ? Dois je persister dans cette voies ou trouver une autre solution ?

Et sinon, auriez vous des tutos à proposer pour ce type de besoin (datalogger) ?

Salut,

Citation:

---

Envoyé par hary66

Je me suis dit un moment que je pourrais détourner cette bibliothèque pour mon besoin puisqu'elle permet d'aiguiller différents flux vers différents fichiers, mais elle est assez difficile à prendre en mains pour moi qui débute et au final, je me demande s'il l'approche est bonne.

---

Si vous voulez écrire vos données dans différents fichiers textes, vous pouvez faire sans.

Suivant l'usage que vous voudrez faire de ces données par la suite, il serait peut être plus intéressant de les stocker dans différentes tables d'une base de données.

Après, il va falloir coder tout çà... et suivant les fonctionnalités non techniques attendues, ré-inventer des solutions qu'un module tel que logging (ou d'autres) apportent déjà.

Le soucis est dans l'analyse des besoins et des ouvertures pour faciliter les évolutions futures... et l'intérêt qu'il pourrait y avoir à utiliser logging, et/ou une base de données et/ou...

- W

Bonjour

Citation:

---

Envoyé par hary66

mais à chaque fois je suis renvoyé vers la bibliothèque logging qui sert principalement au débugage.

---

D'où tu sors cette assertion?
La bibliothèque logging est fait pour faire du log. Et on peut utiliser le log pour debugguer effectivement mais elle n'a pas été créée "exprès" pour ça.

Citation:

---

Envoyé par hary66

Je me suis dit un moment que je pourrais détourner cette bibliothèque pour mon besoin puisqu'elle permet d'aiguiller différents flux vers différents fichiers, mais elle est assez difficile à prendre en mains pour moi qui débute et au final, je me demande s'il l'approche est bonne.

---

Oui c'est vrai, il y a quelques subtilités.
Ce qu'il faut savoir en résumé

1. tu as un niveau général de log. Seuls les messages de niveau égal ou supérieur au niveau positionné passeront ce filtrage
2. tu peux créer chaque gestionnaire de façon indépendante, avec son format d'affichage, son flux de sortie (fichier, mail, etc)
3. chaque gestionnaire aura son propre niveau => seul les messages ayant passés le filtrage initial, de niveau supérieur ou égal au niveau positionné seront alors traités par le gestionnaire

Et l'apprentissage commence par des exemples simples. On les tape et on regarde ce que ça donne.

Citation:

---

Envoyé par hary66

Je souhaite maintenant logger ces données, ce que je souhaiterais faire avec Python.

---

La difficulté de compréhension vient de l'usage que tu fais du verbe "logger". Si dans ta tête cela signifie "traitement, analyse et enregistrement", alors ce n'est pas du log, c'est juste du "stockage" (fichier, bdd, ...). Le log c'est "mon programme envoie différentes infos à différents intervalles et je vais les enregistrer pour analyse ultérieure"...

Bonjour,

Par curiosité (n'y connaissant rien) tu reçois sous quelle forme tes données ?

Après comme suggéré par Wiz, utiliser une BDD pourrait s'avérer très pratique pour traiter les données, sqlite3 est relativement facile à prendre en main mais il a ses limites.

Merci pour toutes ces réponses qui permettent de faire le point et préciser quelques abus de langage de ma part.


Je retiens que même si d'autres solutions sont possibles, l'utilisation de la bibliothèque LOGGING peut être une solution intéressante.



@LeNarvalo
Pourrais tu préciser ta question. Je reçois les données qui sont transmises sur le port RS232/USB, je ne sais comment le décrire, mais c'est assez classique pour ce que je peux en dire des appareil auxquels j'ai été confronté jusqu'ici.
Je joins une doc de balance que j'utilise pour tenter de répondre à ta question.
Pièce jointe 621506

Sinon, j'avais en effet un jour fouiné du coté des bases de données temporelle style InfluxDB liée à d'autre application comme Chronograf, Grafana mais tout cela est assez difficile à prendre en mains.

Citation:

---

Pourrais tu préciser ta question.

---

Euh, pas vraiment, je n'y connais rien de chez rien en protocole, raspberry pi, etc... :aie: Je me demandais juste comment l'information était réceptionnée et traitée par l'ordi ou la raspberry pi, si tu connais l'info. J'ai vu qu'il y avait un protocole SSH dans l'histoire... ??

Merci pour le pdf, j'y vois un peu plus clair. =)

Salut,

Pour moi, il faut distinguer la journalisation des évènements et le stockage/traitement des données.

Pour le 1er point, voir le tuto officiel Python : Tutoriel sur la journalisation
1 événement = erreur dans le programme ou statut de la situation dans le programme, warning sur l'état de la batterie ou d'un capteur, état de la connexion réseau, etc.

Pour le 2è point, une petite base de données relationnelle embarquée comme sqlite3 peut faire l'affaire, mais tout dépend du volume et de la fréquence d'acquisition des données. Un simple fichier texte séquentiel avec les données au format csv peut aussi convenir pour un faible volume de données.

J'ai pris en main la bibliothèque LOGGING et c'est en effet très pratique !