Discussion :

[hugues6358]

Bonjour à tous,
Je suis débutant en programmation, j'utilise plutôt des codes de calcul de Monte Carlo (MCNP) et j'aurai grand besoin de 'trier' un fichier texte.
Voici le format de mon fichier:
EC 1
C 0 1983
EC 2
C 1 217
EC 2
C 1 583
EC 2
C 1 0
EC 1
C 0 64
EC 3
C 0 505
C 1 89
J'aimerais récupérer les lignes après EC 3 pour créer des graphs 2D. Par exemple pour le morceau de fichier j'aurai un point (505,89).
J'imagine que c'est un code trivial pour un utilisateur moyen, mais j'ai cherché sur le net et j'arrive pour le moment seulement à ouvrir mon fichier et le lire ...
De l'aide serait la bienvenue.
Bien cordialement

[Clodion]

Bonjour,

…j'aurai grand besoin de 'trier' un fichier texte.
…
J'aimerais récupérer les lignes après EC 3 pour créer des graphs 2D. Par exemple pour le morceau de fichier j'aurai un point (505,89).
…j'arrive pour le moment seulement à ouvrir mon fichier et le lire ...

Pourriez-vous montrer votre code permettant d'ouvrir et de lire le fichier?
Une fois le fichier ouvert et "lu" il n'est, normalement, pas très compliqué de parcourir les lignes afin de repérer la ligne contenant "EC 3" puis de récupérer les lignes suivantes.
Ces lignes récupérées ne devraient pas poser de problème quand à la conversion en un format numérique. Non?

PS: pourquoi parler de "trier" ce fichier?

Clodion

[fred1599]

Il y a des petites difficultés tout de même...

De temps en temps:

• Il y a 2 lignes C 0 valeur et C 1 valeur
• Il y a 1 ligne C 0 valeur
• Il y a 1 ligne C 1 valeur
• Il y a des lignes identiques EC 2 avec des coordonnées différentes pour la position 1 (que fait-on dans ce cas pour des coordonnées du type (pos 0, pos 1) ? )

Va falloir expliquer un peu plus la démarche dans tel ou tel cas de figure...

Que représente EC?
Que représente

• C
• 0
• 1983

par exemple,

Que faire au cas où on tombe sur

EC 2
C 1 217
EC 2
C 1 583

?

Que devrait être le retour attendu, une fois toutes ces lignes traitées ?

[hugues6358]

Bonjour à tous,
Tout d'abord merci pour vos réponses rapides,

J'ai quelque peu avancé et pour le moment je 'tri' les lignes "CO xxxx" et "C1 XXXX" dans deux fichiers .txt. voici mon code:
k=open('17ml2012.txt','r')
n = 0
for line in k:
n += 1
k.close()
y=open('17ml2012.txt','r')
for i in range(n):
a=y.readline()
if 'EC 3' in a:
b=y.readline()
c=y.readline()
fd=open('resu.txt','a')
fd.write(b)
fd.write(c)
y.close()
k=open('resu.txt','r')
n = 0
for line in k:
n += 1
k.close()
y=open('resu.txt','r')
for i in range(n):
b=y.readline()
c=y.readline()
fd=open('resu1.txt','a')
fd.write(b)
fd=open('resu2.txt','a')
fd.write(c)
y.close()
Mon objectif est de récupérer les XXXX après "CO" ou "C1" et tracer un graph avec le nombre XXXX de la ligne "C0" en abscisse et le nombre xxxxx de la ligne "C1" en ordonnée.
Le fichier .txt que j'utilise est un fichier de sortie de détecteurs doubles, avec les lignes "EC1" qui donne une information sur le détecteur 1, la ligne"EC2" sur le détecteur 2 et enfin la ligne "EC3" sur la coincidence entre les deux détecteurs.
Vous l'aurez compris, mon objectif est de tracer un matrice de coincidence les deux détecteurs.
Je suis utilisateur de LabVIEW pour traiter mes données habituellement, mais vu la taille des fichiers .txt (80Giga) j'ai peut des temps de calcul ...

[hugues6358]

Je suis désolé mais j'avance en même tps, j'ai simplifié le code:
k=open('17ml2012.txt','r')
n = 0
for line in k:
n += 1
k.close()
y=open('17ml2012.txt','r')
for i in range(n):
a=y.readline()
if 'EC 3' in a:
b=y.readline()
fd=open('resu1.txt','a')
fd.write(b)
c=y.readline()
fd1=open('resu2.txt','a')
fd1.write(c)
y.close()

Bien cordialement,
Hugues

[VinsS]

Salut,

Quand tu postes du code, utilise les balises code. Le # dans la barre d'outils.

Ton code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
 
k=open('17ml2012.txt','r')  #
n = 0                       # Ces 5 lignes ne servent donc qu'à
for line in k:              # compter les lignes du fichier.
    n += 1                  # Pas utile bien sur.
k.close()                   #
 
y=open('17ml2012.txt','r')
for i in range(n):
    a=y.readline()
    if 'EC 3' in a:
        b=y.readline()
        c=y.readline()
        fd=open('resu.txt','a') # On va le réouvrir à chaque fois ?
        fd.write(b)
        fd.write(c)
y.close()                   # et fd, on ferme pas ?
 
k=open('resu.txt','r')      #
n = 0                       #
    for line in k:          # Même chose que pour le premier bloc.
    n += 1                  #
k.close()                   #
 
y=open('resu.txt','r')
for i in range(n):
    b=y.readline()
    c=y.readline()
    fd=open('resu1.txt','a')    # Même réouverture ...
    fd.write(b)
    fd=open('resu2.txt','a')    # idem, à cause du réemploi du nom 'fd' ?
    fd.write(c)
y.close()                   # et fd ?

... mais vu la taille des fichiers .txt (80Giga) ...

Qu'est-ce qui fait 80 Go, le fichier 17ml2012.txt ? dans ce cas une fonction génératrice s'impose.

[hugues6358]

Oui le fichier d'entré peut aller jusqu'à 80Giga, je voulais commencer avec quelque chose de simple pour essayer de me mettre un peu en main python.
Pour les commentaires, j'ai essayé en utilisant le # du clavier mais python ne veut pas exécuter...
import os
k=open('17ml2012.txt','r')
n = 0
for line in k:
n += 1
k.close()
y=open('17ml2012.txt','r')
os.remove('resu1.txt')
os.remove('resu2.txt')
for i in range(n):
a=y.readline()
if 'EC 3' in a:
b=y.readline()
d=b[4:10]
fd=open('resu1.txt','a')
fd.write(d)
c=y.readline()
e=c[4:10]
fd1=open('resu2.txt','a')
fd1.write(e)
y.close()

Avec ce code j'obtiens deux fichiers resu1 et resu2 que j'essaie maintenant d'utiliser pour tracer mon graph, mais j'ai des erreurs que je n'arrive pas à expliquer sur la fonction matplot...

Lorsque j'aurai réussi à tracer avec cette méthode "simple" je m'occuperai des génératrices, donc je n'ai aucune idée de leur utilisation.

Merci pour les réponses,

Bien cordialement,

Hugues,

[fred1599]

Bon ça commence à être plus clair, seulement j'ai pas le temps aujourd'hui...

Je verrais cela ce soir, si possible.

[hugues6358]

Merci c'est très gentil,

Je travaille dessus de mon côté, j'ai réinstallé python xy car je pense qu'il y avait un problème avec la bibliothèque matplotlib.

Si j'ai qqch qui fonctionne je vous poste la réponse.

Encore merci,

Cdlt,

Hugues

[__dardanos__]

Salut,
Comme ça a l’air d’être la galère, je te propose ma version :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
from array import array
 
def next_line(fobj):
    curr_line = fobj.readline()
    val = curr_line.split()[2]
    return int(val)
 
def read_file(fobj, key = "EC 3"):
    x, y = array('I'), array('I')
    for line in fobj:
        if key in line:
            x.append(next_line(fobj))
            y.append(next_line(fobj))
    return x, y
 
if __name__ == '__main__':
    import matplotlib.pyplot as plt
    with open('data/file.txt') as fr:
        plt.scatter( *read_file(fr))
        plt.show()

[hugues6358]

Merci pour le code,
j'étudie ça de suite
Hugues

[hugues6358]

Plusieurs questions...
1. fobj=open('17ml2012.txt','r') ? il ouvre mon fichier d'entrée ou pas du tout?

2. Comment arrive t'il à supprimer les C0 et C1 devant les nombres, ex:
"EC 3
C 0 3523
C 1 453"
Seuls 3523 (x) et 453 (y) sont d'intérêts.

3. je ne comprends pas le " if __name__ == '__main__' "

Questions sans doutes triviales mais posées par un débutant ...

Bien cordialement,

Hugues

[__dardanos__]

OK. Pas de souci.

1. fobj=open('17ml2012.txt','r') ? il ouvre mon fichier d'entrée ou pas du tout?

Oui, le fichier est ouvert en lecture. J’ai utilisé un with qui gère automatiquement l’ouverture, mais qui fait la même chose.

2. Comment arrive t'il à supprimer les C0 et C1 devant les nombres, ex:
"EC 3
C 0 3523
C 1 453"
Seuls 3523 (x) et 453 (y) sont d'intérêts.

Dans la fonction read_file, le programme itère sur chaque ligne du fichier objet fobj. Lorsque la clef est détectée dans la ligne courante, les valeurs à extraire dans les lignes suivantes sont extraites à l’aide de la fonction next_line (qui prend en argument fobj et pas la ligne courante).
Cette fonction lit une nouvelle ligne dans le fichier objet, découpe la ligne en plusieurs valeurs (split), et sélectionne la troisième (indice [2]). Les valeurs "C" et "0" de "C 0 3523" seraient associées au indice 0 et 1 ; elles ne sont pas utilisées ici.

3. je ne comprends pas le " if __name__ == '__main__' "

Les instructions de ce bloc sont exécutées seulement lorsque le fichier est traité par l’interpréteur comme celui du programme principal. Il n’y a donc pas d’exécution lorsque le fichier est importé comme module.

[hugues6358]

Merci pour les éclaircissements, je me remets au code.
Encore merci,
Bien cordialement,
Hugues

[hugues6358]

J'ai bien compris la deuxième partie concernant la sélection unique du nombre.

Pour l'ouverture du fichier, vous employez le fonction 'with' à la fin du code, comment peut il se reporter au fichier d'entrée dès le début du code?

Pour la fin du code, pas moyen de voir comment il construit le graph, j'ai modifié certaines choses et j'obtiens une fenêtre de graph mais sans le graph...

Je pense que mes connaissances sont trop limitées en python pour bien assimiler la procédure ....

Cordialement,

Hugues

[hugues6358]

J'ai enfin compris le code je pense, les deux premiers blocs sont des fonctions...
Je ne l'avais pas remarqué.
J'ai remplacé datafile.txt par mon fichier d'entré: 17ml2012.txt et j'obtiens une erreur.
Voici l'erreur que j'obtiens dans le terminal:
File "test.py", line 19, in <module>
plt.scatter( *read_file(fr))
File "test.py", line 12, in read_file
x.append(next_line(fobj))
File "test.py", line 4, in next_line
curr_line = fobj.readline()
ValueError: Mixing iteration and read methods would lose data

Je ne sais pas si cela vous parle?

Je suis conscient que je pause bcp de questions et que j'ai peu de compétences pour comprendre les réponses.

Merci encore pour l'aide.

Cordialement,

Hugues

[__dardanos__]

File "test.py", line 19, in <module>
plt.scatter( *read_file(fr))
File "test.py", line 12, in read_file
x.append(next_line(fobj))
File "test.py", line 4, in next_line
curr_line = fobj.readline()
ValueError: Mixing iteration and read methods would lose data

C’est un problème de version de PYTHON. J’ai travaillé avec la 3.2, mais en effet ça ne marche pas avec la 2.7.
Si tu débutes, il vaut mieux prendre l’habitude d’utiliser la V3.

[hugues6358]

J'utilise la version python xy 2.7.5.1, j'ai bien l'impression que c'est la dernière version.
En tout cas sur le site python où je l'ai téléchargé:
https://code.google.com/p/pythonxy/wiki/Downloads

Cordialement
Hugues

[Clodion]

Bonsoir,

J'utilise la version python xy 2.7.5.1, j'ai bien l'impression que c'est la dernière version.
En tout cas sur le site python où je l'ai téléchargé:
https://code.google.com/p/pythonxy/wiki/Downloads

En ce qui concerne Python, le mieux est quand même la page officielle!!
(Sur laquelle sont aussi présentes de nombreuses aides et explications!)

python.org

PS: actuellement, la dernière version est la 3.3!! Les versions 2.7.x ne sont utiles que pour la compatibilité d'anciens scripts!

Clodion

[hugues6358]

Bonjour,
C'est Python XY que j'utilise et non python classique.
Bien cordialement,
Hugues