Discussion :

[Invité]

Bonjour,

Je cherche à améliorer un script shell pour qu'il soit plus rapide (actuellement il met entre 10 et 45 minutes pour tourner). C'est la commande grep qui fait perdre le plus de temps (car les fichiers sont très gros)
Donc je viens de faire des tests avec le fichier "fichier_test" qui ne fait que 16700 lignes (c'est loin de la taille des fichiers réels)

J'utilisais la commande suivante pour ne récupérer que les lignes ne commençant pas par un chiffre et ne faisant que 11 caractères :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
time grep -v ^[0-9] fichier_test | grep ^...........$
real    0m16.276s
user    0m16.239s
sys     0m0.030s

Comme finalement les lignes commencent normalement par une lettre j'ai testé cette commande (c'est beaucoup mieux)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
time grep -i ^[a-z] fichier_test | grep ^...........$
real    0m4.818s
user    0m4.789s
sys     0m0.046s

J'ai aussi testé un grep équivalent sans ignorer la casse (gain de 0.3 secondes)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
time grep ^[A-Za-z] fichier_test | grep ^...........$
real    0m4.553s
user    0m4.539s
sys     0m0.030s

Ou simplement les lignes de 11 caractères :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
time grep ^...........$ fichier_test
real    0m4.618s
user    0m4.617s
sys     0m0.015s

J'ai aussi testé en recherchant directement les lignes commençant par le résultat des tests. Je passe alors de plus de 4,5 secondes à 0,1 seconde

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
time grep -E "^ABCD|^EFGH" fichier_test | grep ^...........$
real    0m0.100s
user    0m0.123s
sys     0m0.015s

J'ai donc testé la recherche d'une ligne commençant par une lettre en les listant toutes. C'est ce qui me donne le résultat le plus performant.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
grep -E "^A|^B|^C|^D|^E|^F|^G|^H|^I|^J|^K|^L|^M|^N|^O|^P|^Q|^R|^S|^T|^U|^V|^W|^X|^Y|^Z|^a|^b|^c|^d|^e|^f|^g|^h|^i|^j|^k|^l|^m|^n|^o|^p|^q|^r|^s|^t|^u|^v|^w|^x|^y|^z" fichier_test | grep ^...........$
real    0m0.108s
user    0m0.108s
sys     0m0.030s

Pourquoi il y a-t-il temps de différence entre ces différentes commandes ?

Au final, je pense partir sur la commande sed :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
time sed -n '/^...........$/p' fichier_test
real    0m0.106s
user    0m0.078s
sys     0m0.030s

Elle semble légèrement plus rapide que la commande awk

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
time awk '/^...........$/ { print }' fichier_test
real    0m0.110s
user    0m0.093s
sys     0m0.030s

Merci

ps: en tout cas, ça va faire un gros coup de boost dans les performances du scripts (16 secondes => 0,1 secondes pour un "petit" fichier).

[disedorgue]

Bonjour,

Cette grande différence de temps doit, je pense, être liée à la proportion du type de données présente dans ton fichier.
A priori, ton besoin précis pour le petit fichier que tu as utilisé dans tes tests, est d'avoir une ligne de 11 caractères commençant par soit A ou E.
Donc par exemple, quand tu demandes '^[A-Z]', il va au plus faire 5 comparaisons pour valider la ligne, si la ligne est fausse, il fera la totalité des comparaisons.

Sinon, as-tu essayé coté awk:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk 'length == 11' fichier

Ou en perl (qui donne souvent de meilleur résultat que awk):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

perl -n -e 'length == 12 && print' fichier

Ici, on met 12 au lieu de 11 car il faut compter le retour à la ligne.

[Invité]

Merci, le awk est plus rapide avec le length (aussi rapide que le sed):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
time awk 'length == 11' fichier_test
real    0m0.104s
user    0m0.078s
sys     0m0.045s

Donc je pense que je vais l'utiliser. Il pourra me servir pour passer une commande supplémentaire pour modifier la ligne


Le fichier est formé comme ci-dessous (le ligne de 11 caractères peuvent commencer par n'importe quelle lettre). Il y a plus de 90% de ligne commençant par un chiffre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
INFO......................................................
ABCD.......
00........................................................
01........................................................
05........................................................
10........................................................
20........................................................
99........................................................
EFGH.......
00........................................................
01........................................................
05........................................................
10........................................................
20........................................................
99........................................................
IJKL.......
00........................................................
01........................................................
05........................................................
10........................................................
20........................................................
99........................................................

Pourquoi le fait d'ignorer la case est légèrement plus long? Le grep converti la lettre en majuscule/minuscule pour chaque ligne ?
Idem avec un interval (dans ce ça, il y a une grande différence de perf) : le grep recalcule l'intervalle à chaque fois ?
Pour le

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep ^...........$

je comprend : il doit comparer plus de caractère dans chaque ligne donc c'est plus long.
Par contre, je ne comprend pas pourquoi le grep inversé est si long.

[Sve@r]

Salut

Voici mes perfs avec Python pour ton fichier d'exemple recopié jusqu'à atteindre 32 636 323 lignes (chiffre totalement aléatoire, j'avais programmé une boucle et j'ai interrompu quand j'en ai eu marre)

real 0m7.358s
user 0m6.968s
sys 0m0.388s

Code Python

Code python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
fp=open("fic", "r")
for x in fp:
	if len(x) == 12 and x[0] in "ABCDEF GHIJKLMNOPQRSTUVWXYZ": print x
fp.close()

L'avantage du Python par rapport au grep, c'est que tu peux affiner tes critères de recherche (tu auras aussi cette possibilité avec awk ou perl). Et son coté semi-compilé le rend quoi qu'il arrive 1000 fois plus rapide que le shell.
Sinon pour tes questions oui c'est évident. Ne pas faire attention à la casse oblige grep à comparer avec la plage des majuscules puis celle des minuscules. Et mettre des intervalles l'oblige à les recalculer à chaque fois...

PS: autre remarque à prendre en compte: l'affichage prend du temps. Moi j'ai eu ces perfs car j'ai lancé le script dans /dev/null. Si je l'avais laissé se dérouler à l'écran, bine évidemment que cela se serait compté en minutes. Et ceci est valable quels que soient tes outils de filtrage (grep, aw, perl, sed)...

[Invité]

Merci

Comme je ne connais pas le Python ou le perl je vais rester sur le shell. Ce sera plus facile à comprendre pour ceux qui regarderons ce script dans le futur.
Et puis, il ne s'agit qu'une petite partie du script final.

Il est temps de mettre le sujet en "résolu"

[disedorgue]

Juste pour rajouter, que le 'lenght', que cela soit en awk, perl, python etc..., tient compte de la locale pour son calcul, pas du nombre d'octets.

Sinon, vu les perf de python, je me demande ce que donnerait le langage 'julia' dans ce contexte...