IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Python Discussion :

Créer une DataFrame depuis un fichier en train d'être écrit


Sujet :

Python

  1. #1
    Nouveau membre du Club
    Homme Profil pro
    Étudiant
    Inscrit en
    Septembre 2014
    Messages
    53
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Val de Marne (Île de France)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Septembre 2014
    Messages : 53
    Points : 38
    Points
    38
    Par défaut Créer une DataFrame depuis un fichier en train d'être écrit
    Bonjour !
    J'utilise python et le package pandas pour analyser des données en temps réel.
    J'ai un dossier qui contient (une fois l'écriture des fichiers terminés) une liste de fichier comme par exemple:

    - set1_20170206_1106.txt
    - set1_20170206_1106_1.txt
    - set1_20170206_1106_2.txt
    - set1_20170206_1106_3.txt
    - set1_20170206_1106_4.txt

    Ce que je cherche à faire est la chose suivante : créer ma dataframe au fur et à mesure que les données arrivent dans le premier fichier (puis quand le premier fichier est terminé, le deuxième commence et je veux continuer la dataframe etc.)

    J'ai essayé le code suivant (pour seulement un fichier en cours d'écriture) :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    import time
    import pandas as pd
    list1=[]
    fo=open(fn_t)
    df=pd.DataFrame()
    while 1:
       where = fo.tell()
       line = fo.readline()
       if not line:
          time.sleep(1)
          fo.seek(where)
       else:
          list1.append(line)
          df_2=pd.read_csv(list1[0],sep=";")
          list1=[]
          df=pd.concat([df,df_2],ignore_index=True)
    Où fn_t est le chemin d'accès au fichier.
    Le problème est que ça bloque dès la première ligne (qui est le header) et la ligne de commande pour créer df_2 ne fonctionne pas.

    Quelqu'un aurait il une solution ?
    Merci beaucoup !

  2. #2
    Expert éminent sénior
    Homme Profil pro
    Architecte technique retraité
    Inscrit en
    Juin 2008
    Messages
    21 235
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Manche (Basse Normandie)

    Informations professionnelles :
    Activité : Architecte technique retraité
    Secteur : Industrie

    Informations forums :
    Inscription : Juin 2008
    Messages : 21 235
    Points : 36 684
    Points
    36 684
    Par défaut
    Salut,

    Citation Envoyé par nat8546 Voir le message
    Le problème est que ça bloque dès la première ligne (qui est le header) et la ligne de commande pour créer df_2 ne fonctionne pas.
    Ben si çà bloque, c'est qu'il n'y a rien à lire.... donc çà recommence (un "print" devrait vous le montrer).
    Et si c'est le cas, c'est que les données ne sont pas encore écrites (ce qui renvoie à un code que vous ne montrez pas...)

    - W
    Architectures post-modernes.
    Python sur DVP c'est aussi des FAQs, des cours et tutoriels

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Créer une bdd depuis un fichier xls
    Par hannibal974 dans le forum Administration
    Réponses: 9
    Dernier message: 18/06/2013, 16h12
  2. [Image] charger une image depuis un fichier xml.
    Par Invité dans le forum AWT/Swing
    Réponses: 4
    Dernier message: 21/11/2006, 15h59
  3. [VB.Net] Comment lire une url depuis un fichier .ini ?
    Par lewebdalex dans le forum VB.NET
    Réponses: 7
    Dernier message: 06/05/2006, 21h32
  4. [CVS] Créer une branche depuis Eclipse
    Par leminipouce dans le forum Eclipse Java
    Réponses: 1
    Dernier message: 27/01/2006, 11h59
  5. [Applet][JAR]Charger une applet depuis un fichier jar
    Par CappCorp dans le forum Applets
    Réponses: 8
    Dernier message: 23/11/2004, 14h08

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo