Discussion :

[TheGreyMustache]

Bonjour,

Dans mes différents essais de retraitement de mes données, je cherchais une méthode pour déterminer rapidement le nombre de lignes à traiter, (de façon "pythonic")

J'ai emprunté à Stackoverflow le programme suivant que j'ai complété des méthodes complémentaires proposées. Au final, j'aimerai afficher le nombre de lignes en face de chaque résultat des temps de traitements/fonction appelée.
Pour information, c'est la fonction mapcount qui semble la plus performante (chez moi).
Après différentes recherches, si j'arrive bien à afficher la fonction et le temps, ne n'arrive pas à afficher le nombre de lignes.

J'ai ajouté une ligne du type : counts[func].append(nbLines) qui n'est vraisemblablement pas à la bonne place.

Je suppose qu'il s’agit d'un dictionnaire ?
Est-il préférable de créer une structure de type tuple pour afficher quelque chose comme row.function,row.nb, min(row.time), max(row.time), avg(row.time)

Avez vous une idée qui puisse m'éclairer.

Le programme est proposé ci-après : Pièce jointe 198647.

J'ai fait un essai sur un fichier csv d'environ 70000 enregistrements

Sur 5000 enregistrements, j'obtiens les résultats suivants :
rawcount : 0.0015627145767211914
CountLines : 0.010935616493225098
simplecount : 0.007817888259887695
opcount : 0.00937337875366211
rawgencount : 0.003126716613769531
rawincount : 0.0015618085861206054
bufcount : 0.009373974800109864
mapcount : 0.0015609979629516602

Par avance merci

[tyrtamos]

Bonjour,

Le fichier joint n'est pas accessible, et donc, je ne vois pas bien comment tu obtiens le nombre de lignes du fichier, ni s'il y a un traitement autre en même temps.

Je donne juste une info: si on ne veut que compter le nombre de lignes d'un fichier texte, il y a une méthode beaucoup plus rapide que de lire les lignes de texte: il s'agit de faire une lecture binaire par bloc, et de compter les fins de ligne '\n'.

J'avais fait un petit tuto sur le sujet ici: http://python.jpvweb.com/mesrecettes...lignes_fichier. C'est encore du Python 2, mais il est facile de le convertir en Python 3.

Sur un fichier d'1 million de lignes, cette méthode est environ 10 fois plus rapide que de lire les lignes de texte.

[BufferBob]

salut,

je pense que le code auquel le PO fait référence doit être celui-ci

[TheGreyMustache]

Bonjour,

C'est bien de ce code qu'il s'agit, que j'ai légèrement amendé des autres exemples proposés.

Je réintègre le fichier, à la vérification, il était bien accessible

Bien cordialement

salut,

je pense que le code auquel le PO fait référence doit être celui-ci

[Clodion]

Bonjour,

C'est bien de ce code qu'il s'agit, que j'ai légèrement amendé des autres exemples proposés.

Je réintègre le fichier, à la vérification, il était bien accessible

Bien cordialement

Bonsoir,
Non, il n'est toujours pas accessible dans le premier post.
Dans le nouveau script, ce qui est intéressant, c'est:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
for i in range(9):
    for func in [mapcount, simplecount, bufcount, opcount, rawgencount, rawcount, rawincount, CountLines]:
        nbLi = 0
 
        start_time = time.time()
        nbLi = func("BIG_FILE.csv")
        counts[func].append(time.time() - start_time)
        counts[func].append(nbLi)
 
for key, vals in counts.items():
    print (key.__name__, "\t : ", sum(vals) / float(len(vals)))

qui permet ainsi de faire la moyenne du nombre de ligne et des durées (en une même opération).

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
for key, vals in counts.items():
    print (key.__name__, "\t : ", vals[1], sum(vals[::2])*500 / len(vals), "ms")

permet d'avoir les trois valeurs (dont le nombre de lignes (une question du message de départ).

Clodion

PS tardif: je préférerais:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
counts = defaultdict(list)
rep = 9
 
for func in [mapcount, simplecount, bufcount, opcount, rawgencount, rawcount, rawincount, CountLines]:
    nbLi = 0
 
    for i in range(rep):
        start_time = time.time()
        nbLi = func("medocs.csv")
        counts[func].append(time.time() - start_time)
    counts[func].append(nbLi)
 
for key, vals in counts.items():
    print ("{} \t{}: \t{} ms".format(key.__name__, vals[-1], sum(vals[:-1])*1000 / (len(vals)-1)))

[TheGreyMustache]

Merci Clodion. Il me reste à comprendre la chose

J'avais une version un peu plus évoluée avec le passage en paramètres du fichier et du nombre d'itérations souhaitées, plus simple à utiliser. Le retraitement des paramètres se fait "à la main", je n'ai pas eu suffisamment de temps pour comprendre le fonctionnement de argparse qui est certainement bien plus élégant. Comme il me reste quelques erreurs (argument obligatoire vide eg. i- <filein> -o <fileout> attendu, mais lancé avec -i -o <fileout> par exemple) je ne l'ai pas mis ici.

Si cela intéresse quelqu'un, je reposterai ultérieurement le code complet.

merci

TGM

Bonsoir,
Non, il n'est toujours pas accessible dans le premier post.
Dans le nouveau script, ce qui est intéressant, c'est:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
for i in range(9):
    for func in [mapcount, simplecount, bufcount, opcount, rawgencount, rawcount, rawincount, CountLines]:
        nbLi = 0
 
        start_time = time.time()
        nbLi = func("BIG_FILE.csv")
        counts[func].append(time.time() - start_time)
        counts[func].append(nbLi)
 
for key, vals in counts.items():
    print (key.__name__, "\t : ", sum(vals) / float(len(vals)))

qui permet ainsi de faire la moyenne du nombre de ligne et des durées (en une même opération).

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
for key, vals in counts.items():
    print (key.__name__, "\t : ", vals[1], sum(vals[::2])*500 / len(vals), "ms")

permet d'avoir les trois valeurs (dont le nombre de lignes (une question du message de départ).

Clodion

PS tardif: je préférerais:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
counts = defaultdict(list)
rep = 9
 
for func in [mapcount, simplecount, bufcount, opcount, rawgencount, rawcount, rawincount, CountLines]:
    nbLi = 0
 
    for i in range(rep):
        start_time = time.time()
        nbLi = func("medocs.csv")
        counts[func].append(time.time() - start_time)
    counts[func].append(nbLi)
 
for key, vals in counts.items():
    print ("{} \t{}: \t{} ms".format(key.__name__, vals[-1], sum(vals[:-1])*1000 / (len(vals)-1)))