Récupérer données dans fichier .txt

Bonjour à tous,
Je suis débutant en programmation, j'utilise plutôt des codes de calcul de Monte Carlo (MCNP) et j'aurai grand besoin de 'trier' un fichier texte.
Voici le format de mon fichier:
EC 1
C 0 1983
EC 2
C 1 217
EC 2
C 1 583
EC 2
C 1 0
EC 1
C 0 64
EC 3
C 0 505
C 1 89
J'aimerais récupérer les lignes après EC 3 pour créer des graphs 2D. Par exemple pour le morceau de fichier j'aurai un point (505,89).
J'imagine que c'est un code trivial pour un utilisateur moyen, mais j'ai cherché sur le net et j'arrive pour le moment seulement à ouvrir mon fichier et le lire ...
De l'aide serait la bienvenue.
Bien cordialement

Bonjour,

Citation:

---

Envoyé par hugues6358

…j'aurai grand besoin de 'trier' un fichier texte.
…
J'aimerais récupérer les lignes après EC 3 pour créer des graphs 2D. Par exemple pour le morceau de fichier j'aurai un point (505,89).
…j'arrive pour le moment seulement à ouvrir mon fichier et le lire ...

---

Pourriez-vous montrer votre code permettant d'ouvrir et de lire le fichier?
Une fois le fichier ouvert et "lu" il n'est, normalement, pas très compliqué de parcourir les lignes afin de repérer la ligne contenant "EC 3" puis de récupérer les lignes suivantes.
Ces lignes récupérées ne devraient pas poser de problème quand à la conversion en un format numérique. Non?

PS: pourquoi parler de "trier" ce fichier?

Clodion

Il y a des petites difficultés tout de même...

De temps en temps:

• Il y a 2 lignes C 0 valeur et C 1 valeur
• Il y a 1 ligne C 0 valeur
• Il y a 1 ligne C 1 valeur
• Il y a des lignes identiques EC 2 avec des coordonnées différentes pour la position 1 (que fait-on dans ce cas pour des coordonnées du type (pos 0, pos 1) ? )

Va falloir expliquer un peu plus la démarche dans tel ou tel cas de figure...

Que représente EC?
Que représente

• C
• 0
• 1983

par exemple,

Que faire au cas où on tombe sur

EC 2
C 1 217
EC 2
C 1 583

?

Que devrait être le retour attendu, une fois toutes ces lignes traitées ?

Bonjour à tous,
Tout d'abord merci pour vos réponses rapides,

J'ai quelque peu avancé et pour le moment je 'tri' les lignes "CO xxxx" et "C1 XXXX" dans deux fichiers .txt. voici mon code:
k=open('17ml2012.txt','r')
n = 0
for line in k:
n += 1
k.close()
y=open('17ml2012.txt','r')
for i in range(n):
a=y.readline()
if 'EC 3' in a:
b=y.readline()
c=y.readline()
fd=open('resu.txt','a')
fd.write(b)
fd.write(c)
y.close()
k=open('resu.txt','r')
n = 0
for line in k:
n += 1
k.close()
y=open('resu.txt','r')
for i in range(n):
b=y.readline()
c=y.readline()
fd=open('resu1.txt','a')
fd.write(b)
fd=open('resu2.txt','a')
fd.write(c)
y.close()
Mon objectif est de récupérer les XXXX après "CO" ou "C1" et tracer un graph avec le nombre XXXX de la ligne "C0" en abscisse et le nombre xxxxx de la ligne "C1" en ordonnée.
Le fichier .txt que j'utilise est un fichier de sortie de détecteurs doubles, avec les lignes "EC1" qui donne une information sur le détecteur 1, la ligne"EC2" sur le détecteur 2 et enfin la ligne "EC3" sur la coincidence entre les deux détecteurs.
Vous l'aurez compris, mon objectif est de tracer un matrice de coincidence les deux détecteurs.
Je suis utilisateur de LabVIEW pour traiter mes données habituellement, mais vu la taille des fichiers .txt (80Giga) j'ai peut des temps de calcul ...

Je suis désolé mais j'avance en même tps, j'ai simplifié le code:
k=open('17ml2012.txt','r')
n = 0
for line in k:
n += 1
k.close()
y=open('17ml2012.txt','r')
for i in range(n):
a=y.readline()
if 'EC 3' in a:
b=y.readline()
fd=open('resu1.txt','a')
fd.write(b)
c=y.readline()
fd1=open('resu2.txt','a')
fd1.write(c)
y.close()

Bien cordialement,
Hugues

Salut,

Quand tu postes du code, utilise les balises code. Le # dans la barre d'outils.

Ton code:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

k=open('17ml2012.txt','r') # n = 0 # Ces 5 lignes ne servent donc qu'à for line in k: # compter les lignes du fichier. n += 1 # Pas utile bien sur. k.close() #   y=open('17ml2012.txt','r') for i in range(n): a=y.readline() if 'EC 3' in a: b=y.readline() c=y.readline() fd=open('resu.txt','a') # On va le réouvrir à chaque fois ? fd.write(b) fd.write(c) y.close() # et fd, on ferme pas ?   k=open('resu.txt','r') # n = 0 # for line in k: # Même chose que pour le premier bloc. n += 1 # k.close() #   y=open('resu.txt','r') for i in range(n): b=y.readline() c=y.readline() fd=open('resu1.txt','a') # Même réouverture ... fd.write(b) fd=open('resu2.txt','a') # idem, à cause du réemploi du nom 'fd' ? fd.write(c) y.close() # et fd ?

---

Citation:

---

... mais vu la taille des fichiers .txt (80Giga) ...

---

Qu'est-ce qui fait 80 Go, le fichier 17ml2012.txt ? dans ce cas une fonction génératrice s'impose.

Oui le fichier d'entré peut aller jusqu'à 80Giga, je voulais commencer avec quelque chose de simple pour essayer de me mettre un peu en main python.
Pour les commentaires, j'ai essayé en utilisant le # du clavier mais python ne veut pas exécuter...
import os
k=open('17ml2012.txt','r')
n = 0
for line in k:
n += 1
k.close()
y=open('17ml2012.txt','r')
os.remove('resu1.txt')
os.remove('resu2.txt')
for i in range(n):
a=y.readline()
if 'EC 3' in a:
b=y.readline()
d=b[4:10]
fd=open('resu1.txt','a')
fd.write(d)
c=y.readline()
e=c[4:10]
fd1=open('resu2.txt','a')
fd1.write(e)
y.close()

Avec ce code j'obtiens deux fichiers resu1 et resu2 que j'essaie maintenant d'utiliser pour tracer mon graph, mais j'ai des erreurs que je n'arrive pas à expliquer sur la fonction matplot...

Lorsque j'aurai réussi à tracer avec cette méthode "simple" je m'occuperai des génératrices, donc je n'ai aucune idée de leur utilisation.

Merci pour les réponses,

Bien cordialement,

Hugues,

Bon ça commence à être plus clair, seulement j'ai pas le temps aujourd'hui...

Je verrais cela ce soir, si possible.

Merci c'est très gentil,

Je travaille dessus de mon côté, j'ai réinstallé python xy car je pense qu'il y avait un problème avec la bibliothèque matplotlib.

Si j'ai qqch qui fonctionne je vous poste la réponse.

Encore merci,

Cdlt,

Hugues

Salut,
Comme ça a l’air d’être la galère, je te propose ma version :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

from array import array   def next_line(fobj): curr_line = fobj.readline() val = curr_line.split()[2] return int(val)   def read_file(fobj, key = "EC 3"): x, y = array('I'), array('I') for line in fobj: if key in line: x.append(next_line(fobj)) y.append(next_line(fobj)) return x, y   if __name__ == '__main__': import matplotlib.pyplot as plt with open('data/file.txt') as fr: plt.scatter( *read_file(fr)) plt.show()

---

Merci pour le code,
j'étudie ça de suite :)
Hugues

Plusieurs questions...
1. fobj=open('17ml2012.txt','r') ? il ouvre mon fichier d'entrée ou pas du tout?

2. Comment arrive t'il à supprimer les C0 et C1 devant les nombres, ex:
"EC 3
C 0 3523
C 1 453"
Seuls 3523 (x) et 453 (y) sont d'intérêts.

3. je ne comprends pas le " if __name__ == '__main__' "

Questions sans doutes triviales mais posées par un débutant ...

Bien cordialement,

Hugues

OK. Pas de souci.

Citation:

---

1. fobj=open('17ml2012.txt','r') ? il ouvre mon fichier d'entrée ou pas du tout?

---

Oui, le fichier est ouvert en lecture. J’ai utilisé un with qui gère automatiquement l’ouverture, mais qui fait la même chose.

Citation:

---

2. Comment arrive t'il à supprimer les C0 et C1 devant les nombres, ex:
"EC 3
C 0 3523
C 1 453"
Seuls 3523 (x) et 453 (y) sont d'intérêts.

---

Dans la fonction read_file, le programme itère sur chaque ligne du fichier objet fobj. Lorsque la clef est détectée dans la ligne courante, les valeurs à extraire dans les lignes suivantes sont extraites à l’aide de la fonction next_line (qui prend en argument fobj et pas la ligne courante).
Cette fonction lit une nouvelle ligne dans le fichier objet, découpe la ligne en plusieurs valeurs (split), et sélectionne la troisième (indice [2]). Les valeurs "C" et "0" de "C 0 3523" seraient associées au indice 0 et 1 ; elles ne sont pas utilisées ici.

Citation:

---

3. je ne comprends pas le " if __name__ == '__main__' "

---

Les instructions de ce bloc sont exécutées seulement lorsque le fichier est traité par l’interpréteur comme celui du programme principal. Il n’y a donc pas d’exécution lorsque le fichier est importé comme module.

Merci pour les éclaircissements, je me remets au code.
Encore merci,
Bien cordialement,
Hugues

J'ai bien compris la deuxième partie concernant la sélection unique du nombre.

Pour l'ouverture du fichier, vous employez le fonction 'with' à la fin du code, comment peut il se reporter au fichier d'entrée dès le début du code?

Pour la fin du code, pas moyen de voir comment il construit le graph, j'ai modifié certaines choses et j'obtiens une fenêtre de graph mais sans le graph...

Je pense que mes connaissances sont trop limitées en python pour bien assimiler la procédure ....

Cordialement,

Hugues

J'ai enfin compris le code je pense, les deux premiers blocs sont des fonctions...
Je ne l'avais pas remarqué.
J'ai remplacé datafile.txt par mon fichier d'entré: 17ml2012.txt et j'obtiens une erreur.
Voici l'erreur que j'obtiens dans le terminal:
File "test.py", line 19, in <module>
plt.scatter( *read_file(fr))
File "test.py", line 12, in read_file
x.append(next_line(fobj))
File "test.py", line 4, in next_line
curr_line = fobj.readline()
ValueError: Mixing iteration and read methods would lose data

Je ne sais pas si cela vous parle?

Je suis conscient que je pause bcp de questions et que j'ai peu de compétences pour comprendre les réponses.

Merci encore pour l'aide.

Cordialement,

Hugues

Citation:

---

File "test.py", line 19, in <module>
plt.scatter( *read_file(fr))
File "test.py", line 12, in read_file
x.append(next_line(fobj))
File "test.py", line 4, in next_line
curr_line = fobj.readline()
ValueError: Mixing iteration and read methods would lose data

---

C’est un problème de version de PYTHON. J’ai travaillé avec la 3.2, mais en effet ça ne marche pas avec la 2.7.
Si tu débutes, il vaut mieux prendre l’habitude d’utiliser la V3.

J'utilise la version python xy 2.7.5.1, j'ai bien l'impression que c'est la dernière version.
En tout cas sur le site python où je l'ai téléchargé:
https://code.google.com/p/pythonxy/wiki/Downloads

Cordialement
Hugues

Bonsoir,

Citation:

---

Envoyé par hugues6358

J'utilise la version python xy 2.7.5.1, j'ai bien l'impression que c'est la dernière version.
En tout cas sur le site python où je l'ai téléchargé:
https://code.google.com/p/pythonxy/wiki/Downloads

---

En ce qui concerne Python, le mieux est quand même la page officielle!!
(Sur laquelle sont aussi présentes de nombreuses aides et explications!)

python.org

PS: actuellement, la dernière version est la 3.3!! Les versions 2.7.x ne sont utiles que pour la compatibilité d'anciens scripts!

Clodion

Bonjour,
C'est Python XY que j'utilise et non python classique.
Bien cordialement,
Hugues

Bonjour à tous,
Je suis parvenu à mes fins, avec sans doute un code très peu optimisé, mais qui fonctionne. Le voici,
import os
from math import *
import numpy as numpy
import matplotlib.pyplot as pyplot
import pylab
k=open('17ml2012.txt','r') #ouvre le fichier
n = 0
for line in k:
n += 1
k.close() #ferme le fichier
y=open('17ml2012.txt','r')
os.remove('resu1.txt') #supprime resu1 et 2
os.remove('resu2.txt')
for i in range(n):
a=y.readline() #lit les lignes du fichier .txt
if 'EC 3' in a: #recherche les lignes avec EC3
b=y.readline() #ecrit les deux lignes suivantes dans resu1 et resu2
d=b[4:10]
fd=open('resu1.txt','a')
fd.write(d)
c=y.readline()
e=c[4:10]
fd1=open('resu2.txt','a')
fd1.write(e)
y.close()
fd.close()
fd1.close()
k=open('resu1.txt','r') #ouvre le fichier
n = 0
for line in k:
n += 1
k.close() #ferme le fichier
y=open('resu1.txt','r')
list = numpy.zeros(shape=(n,1))
for i in range(n):
a=y.readline()
a=int(a)
list[i]=[a]
k2=open('resu2.txt','r') #ouvre le fichier
n = 0
for line in k2:
n += 1
k2.close() #ferme le fichier
y=open('resu2.txt','r')
list2 = numpy.zeros(shape=(n,1))
for i in range(n):
a2=y.readline()
a2=int(a2)
list2[i]=[a2]
pyplot.plot(list,list2,'ro')
pyplot.show()
pyplot.axis([0,2000,0,2000])
print(list,list2)

Merci pour vos diverses aides qui m'ont permit de comprendre plusieurs choses.

Bien cordialement,

Hugues

Tu es vraiment fâché avec les balises code, toi.

Pourquoi t'acharne-tu à compter les lignes du fichier avant de le lire ?

Code:

---

1 2 3 4 5 6

k=open('17ml2012.txt','r') #ouvre le fichier n = 0 for line in k: n += 1 k.close() #ferme le fichier

---

Surtout si c'est un fichier qui peut peser jusqu'à 80 Go.

Il n'est pas nécessaire de donner une limite à la boucle for qui va identifier mes lignes d'intérêts?
En c on aurait:

For i=1 to n
i++
end

Je ne suis pas obligé de lui rentrer la valeur de n?

Cordialement,

Hugues

le k de VinsS n'est pas un entier mais un objet File, en python on ne doit surtout pas penser C, c'est une mauvaise idée...

Non, tu ne dois pas.

Et surtout pas si ton fichier fait vraiment 80 Go, avec une moyenne de 10 caractères par ligne on atteindrait 8.000.000.000 de lignes et qu'en plus tu utilises Python 2 où range() crée d'abord la liste avant d'itérer dessus contrairement à xrange() qui crée un itérateur.

tu peux directement lire ton fichier ligne par ligne sans savoir d'avance combien il y en a:

Code:

---

1 2 3 4 5 6 7 8

objf = open('17ml2012.txt','r') while 1: l = objf.readline() if not l: break if 'EC 3' in l: etc ...

---

Dans ton cas, une fonction génératrice serait plus élégant:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

def get_values(iterator): while 1: it = iterator() if not it: break   if 'EC 3' in it: yield iterator(), iterator()     objf = open('17ml2012.txt','r') rl = objf.readline   with open('resu1.txt', 'w') as outf1: with open('resu2.txt', 'w') as outf2: gen = get_values(rl) try: while 1: val1, val2 = next(gen) outf1.write(val1) outf2.write(val2) except StopIteration: pass   objf.close()

---

Merci pour les informations,
Je vais reprendre mon code avec vos propositions.

Encore merci à tous pour l'aide rapide que vous m'avez apporté.

Cordialement,

Hugues