IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Python Discussion :

Problème à l'ouverture d'un fichier de données créé par un script python


Sujet :

Python

  1. #1
    Membre actif
    Homme Profil pro
    Aidant
    Inscrit en
    Janvier 2024
    Messages
    55
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 41
    Localisation : France, Haute Savoie (Rhône Alpes)

    Informations professionnelles :
    Activité : Aidant
    Secteur : Services à domicile

    Informations forums :
    Inscription : Janvier 2024
    Messages : 55
    Par défaut Problème à l'ouverture d'un fichier de données créé par un script python
    Bonjour à tous,

    Il y a de cela quelques semaines j'ai pu grâce à votre aide créer un script qui enregistre les données recueillies sur la page web de ma chaudière pour les enregistrer sur un fichier de données pour utilisation future. Un fichier est crée par mois, dans un dossier correspondant.
    J'ai créé sur le même modèle un script qui enregistre les températures des pièces de ma maison et un autre qui enregistre des données météo.

    Les scripts tournent en continu depuis début février via des scripts dans systemd de mon raspberry pi.
    Et aujourd'hui, quand j'ai voulu ouvrir un des fichiers de données dans l'éditeur de texte de mon raspberry j'obtiens une fenêtre d'erreur me disant que le document n'est pas en utf-8 valide (séquence d'octets invalide en début de conversion).

    J'ai par le passé déjà ouvert ces différents fichiers de données plein de fois et cela n'a jamais posé le moindre problème. Plus aucun ne s'ouvre maintenant.
    Par contre si je les transfère sur mon ordinateur windows via WinSCP il s'ouvre tout seul dans l'éditeur de texte, avec codage utf-8....

    Voilà le code en question :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    import urllib.request
    from lxml import etree
    from urllib.error import URLError, HTTPError
    import base64
    import csv
    import os
    import time
    from datetime import datetime
    from pathlib import Path
     
     
    while True : 
        #Definition de la date sous la forme "MoisAnnee" en francais.
        current_datetime = datetime.now()
        current_date = current_datetime.strftime("%B%Y") 
        #print(current_date)
        Mois=['janvier','février','mars','avril','mai','juin','juillet','aout','septembre','octobre','novembre','décembre']
        mois = current_datetime.date().month
        #print(Mois[mois])
        Q = Mois[mois-1]
        #print(Q)
        current_date = Q + current_datetime.strftime("%Y") 
        #print(current_date)
     
     
        Record_dir = '/home/pi/Domotique/Donnees_Chaudiere/' + current_date 
        Record_file = Record_dir + f"/{current_date}.txt"
     
     
        url = "http://192.168.1.78/status.xml"
     
        request = urllib.request.Request(url)
     
        # Ajouter les informations d'authentification
        credentials = ("admin:boiler").encode()
        encoded_credentials = base64.b64encode(credentials)
        request.add_header("Authorization", "Basic " + encoded_credentials.decode())
     
        try:
            with urllib.request.urlopen(request) as response:
                data = response.read()
                # Parser le contenu XML
                root = etree.fromstring(data)
     
                # Obtenir la date et l'heure actuelles
                current_datetime = datetime.now()
                #current_date = current_datetime.strftime("%Y-%m-%d")
                current_time = current_datetime.strftime("%H:%M:%S")
     
                # Former le nom du fichier en fonction du mois et de l'annee
                Record_file = Record_dir + f"/{current_date}.txt"  
                #print(Record_file)
                # Préparer les donnees pour le fichier CSV
                current_date = current_datetime.strftime("%d-%m-%Y")
                data_to_write = {"Date": current_date, "Heure": current_time}
                data_to_write.update({element.tag: element.text for element in root})
                #print(data_to_write.update)
                # Vérifier si le fichier existe pour ecrire l'en-tete ou non
                file_exists = os.path.isfile(Record_file)
                #print(file_exists)
                with open(Record_file, "a", newline="", encoding="utf-8") as f:
                    writer = csv.DictWriter(f, fieldnames=data_to_write.keys())
     
                #ecrire l'en-tete si le fichier est nouveau
                    if not file_exists:
                        writer.writeheader()
     
                # Écrire les donnees
                    writer.writerow(data_to_write)
                    f.close()
                    time.sleep(3)
        except HTTPError as e:
            print(f"Erreur HTTP : {e.code} {e.reason}")
     
        except URLError as e:
            print(f"Erreur d'URL : {e.reason}")
     
        except etree.XMLSyntaxError as e:
            print(f"Erreur de syntaxe XML : {e}")
    et le fichier de données :
    mars2024.7z

    Savez-vous ce qui a pu changer ? Je n'ai pas touché au code depuis février et je n'ai pas non plus apporté de changements à mon raspberry.

    Merci d'avance pour votre aide !

  2. #2
    Expert confirmé

    Homme Profil pro
    Inscrit en
    Octobre 2008
    Messages
    4 307
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations forums :
    Inscription : Octobre 2008
    Messages : 4 307
    Par défaut
    Salut,

    Chez moi ce fichier s'ouvre sans problème avec Pluma (Fork de Gedit).

    Quel éditeur de texte utilises-tu ?

  3. #3
    Membre prolifique
    Avatar de Sve@r
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Février 2006
    Messages
    12 828
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Oise (Picardie)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Février 2006
    Messages : 12 828
    Billets dans le blog
    1
    Par défaut
    Bonjour
    Citation Envoyé par Toine74 Voir le message
    et le fichier de données...
    Tu vois que quand tu veux faire ta part ça va mieux pour tout le monde...

    Voici ce que mon reader CSV a trouvé à la ligne 622084
    ^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@29-03-2024,22:26:51,0,0,0,0,0,1,0,0,0,1,1,0,1,48,34,11,70,0,33^M
    Les "^@" sont des nulls

    Une fois cette ligne corrigée, le fichier s'ouvre parfaitement
    Nom : VirtualBox_Xubuntu64_30_03_2024_10_27_07.png
Affichages : 103
Taille : 95,0 Ko

    Vérifie les autres fichiers mais clairement il y a un truc qui a été mal écrit (ou mal lu) à un moment donné. Et il y a toujours ces caractères style "Préparer" dont j'ai déjà parlé mais dont tu n'as pas tenu compte. Certes il y a 99% de chances que cela n'ait rien à voir mais perso si je peux obtenir 100% à peu de frais je ne le néglige pas. Le "pari de Pascal" a aussi sa place en informatique.
    Mon Tutoriel sur la programmation «Python»
    Mon Tutoriel sur la programmation «Shell»
    Sinon il y en a pleins d'autres. N'oubliez pas non plus les différentes faq disponibles sur ce site
    Et on poste ses codes entre balises [code] et [/code]

  4. #4
    Membre actif
    Homme Profil pro
    Aidant
    Inscrit en
    Janvier 2024
    Messages
    55
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 41
    Localisation : France, Haute Savoie (Rhône Alpes)

    Informations professionnelles :
    Activité : Aidant
    Secteur : Services à domicile

    Informations forums :
    Inscription : Janvier 2024
    Messages : 55
    Par défaut
    Hello,

    Merci pour vos réponses.

    @ VinsS : Pour mon Raspberry j'ai Raspbian Buster version 10 qui tourne et j'ouvre les fichiers de données avec le Text editor de base. Qui visiblement n'apprécie pas quand il y a un problème à l'écriture. Mais l'éditeur de texte de windows accepte quand à lui le fichier même déformé par l'erreur...

    @ Sve@r : Si cela peut faciliter la vie à tout le monde alors je reconnais humblement mon erreur. En voyant l'heure et la date de l'erreur je me souviens bien du problème : il y a eu une coupure de courant générale là où j'habite pendant quelques minutes à cette heure là. Aucun doute c'est la source du problème. Il faut que j'ajoute une boucle de vérification des données avant écriture ça devrait régler le problème non ? Connais-tu un éditeur de texte sous linux qui ouvrirait quand même le fichier ou faut-il que je code mon propre reader CSV ?

    Tant que je vous tiens j'ai une question plus générale pour Python. Je commence à avoir un certain nombre de scripts python qui tournent pour plusieurs tâches mais régulièrement j'utilise et ré-utilise des fonctions de base (lecture des données de capteur, lecture de fichiers, etc,etc..) et je me demandais ce qui était le mieux pour la puce et la mémoire du Pi. Est-ce que je dois appeler la fonction depuis un autre fichier ou dois-je la ré-écrire dans le nouveau script ?

    Merci d'avance !

  5. #5
    Expert confirmé Avatar de papajoker
    Homme Profil pro
    Développeur Web
    Inscrit en
    Septembre 2013
    Messages
    2 322
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Nièvre (Bourgogne)

    Informations professionnelles :
    Activité : Développeur Web
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : Septembre 2013
    Messages : 2 322
    Par défaut
    bonjour
    Citation Envoyé par Toine74 Voir le message
    était le mieux pour la puce et la mémoire du Pi. Est-ce que je dois appeler la fonction depuis un autre fichier ou dois-je la ré-écrire dans le nouveau script ?
    Cela ne change rien pour ta machine ! MAIS, c'est le principe fondamental de la programmation : on ne fait pas de copier coller, pas de répétitions de codes. Je ne te parle même pas de l'intérêt pour la maintenance

  6. #6
    Membre prolifique
    Avatar de Sve@r
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Février 2006
    Messages
    12 828
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Oise (Picardie)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Février 2006
    Messages : 12 828
    Billets dans le blog
    1
    Par défaut
    Citation Envoyé par Toine74 Voir le message
    Il faut que j'ajoute une boucle de vérification des données avant écriture ça devrait régler le problème non ?
    La question c'est "sur quoi se baser pour vérifier". Compter les champs écrits ? Les lignes écrites ? Vérifier que chaque valeur ne contient que du caractère printable ? ...

    Citation Envoyé par Toine74 Voir le message
    Connais-tu un éditeur de texte sous linux qui ouvrirait quand même le fichier ou faut-il que je code mon propre reader CSV ?
    Tu as gvim ultra puissant. Il est basé sur l'éditeur originel "vi" devenu ensuite "vim" auquel il rajoute une interface graphique (sous Debian et systèmes cousins ça s'installe par aptitude install vim-gtk). Après il y a notepad++ windows. Et pourquoi coder ton propre reader puisque j'ai mis le mien en dispo ici ?

    Citation Envoyé par Toine74 Voir le message
    Est-ce que je dois appeler la fonction depuis un autre fichier ou dois-je la ré-écrire dans le nouveau script ?
    Pour la RAM c'est la même chose. Tu gagnes juste en espace disque et en mutualisation. Si par exemple tu fais un job "XXX" dans plusieurs codes, toute évolution de "XXX" devra être répercutée. Mais si le "XXX" est déporté dans un script importé, toute évolution ne nécessitera qu'une seule modif.
    Mon Tutoriel sur la programmation «Python»
    Mon Tutoriel sur la programmation «Shell»
    Sinon il y en a pleins d'autres. N'oubliez pas non plus les différentes faq disponibles sur ce site
    Et on poste ses codes entre balises [code] et [/code]

  7. #7
    Membre actif
    Homme Profil pro
    Aidant
    Inscrit en
    Janvier 2024
    Messages
    55
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 41
    Localisation : France, Haute Savoie (Rhône Alpes)

    Informations professionnelles :
    Activité : Aidant
    Secteur : Services à domicile

    Informations forums :
    Inscription : Janvier 2024
    Messages : 55
    Par défaut
    Super merci à tous !

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Ouverture d'un fichier txt et lecture par blocs de données
    Par zazouille_63 dans le forum MATLAB
    Réponses: 1
    Dernier message: 17/04/2009, 08h17
  2. Réponses: 2
    Dernier message: 15/04/2009, 10h55
  3. Réponses: 0
    Dernier message: 30/07/2008, 08h11
  4. Ouverture d'un fichier avec le programme par défaut
    Par blastafarie dans le forum C++Builder
    Réponses: 4
    Dernier message: 07/11/2007, 17h19
  5. Ouverture d'un fichier Excel en VBA par Access
    Par illight dans le forum Access
    Réponses: 2
    Dernier message: 02/11/2005, 11h14

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo