Optimisation shell script

Version imprimable

09/08/2006, 18h11
Burrito

Optimisation shell script

Bonjour!

J'ai commencé il ny 'a pas longtemps à réaliser de petits scripts shells et jusque là j'ai réussi à créer les fonctionalités voulues en cherchant sur votre forum et avec mon ami google ;) mais je cherche désormais à "optimiser" mon script, ce qui est moins évident...

Je m'explique : mon but est de rechercher une dizaine d'éléments (figurant une fois par ligne) dans un très gros fichier texte (30 à 100 mo !) et d'afficher le nombre de leur occurences :
- disons que je cherche les chaînes :
chaîne1 , chaîne2, .... , chaîne10
- je crée les variables :
nbOccur1='grep "chaîne1" monGrosFichier | wc -l'
nbOccur2='grep "chaîne2" monGrosFichier | wc -l'
...
nbOccur10='grep "chaîne10" monGrosFichier | wc -l'
- et je les sors les résultats successivement ainsi :
echo "$nbOccur1" >> fichierSortie.txt
echo "$nbOccur2" >> fichierSortie.txt
...
echo "$nbOccur10" >> fichierSortie.txt

Mon soucis c'est que ce script que je fais boucler sur plusieurs fichiers texte assez gros ( > 30 Mo ) se fait en bcp trop de temps (pas loin d'une heure).
Les données se trouvent, ca peut peut-être exliquer cela mais j'aurai voulu avoir votre avis sur une éventuelle optimisation de mon script. Je me demande s'il n'est pas possible de faire la recherche simultanément des 10 chaînes en ne parcourant le texte qu'une seule fois, au lieu de le parcourir 10 fois avec la recherche d'une seule chaîne... et pensez vous que cela prendrait moins de temps?

Merci d'avance pour votre aide :D

perso, je me tournerais vers perl... afin de pouvoir lire ligne par ligne ;)

sinon en shell, je verrais bien cela :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 nbOccur1=0 # idem pour les autres FILE=`cat ${FILEPATH}` for WORD in $FILE do if [${WORD} -eq ${chaine1}] then LET nbOccur1=nbOccur1+1 fi # idem pour les autres done echo "$nbOccur1" >> fichierSortie.txt #idem pour les autres
mais ce sera très gourmand en mémoire

09/08/2006, 18h41
al1_24

Citation:

Envoyé par gorgonite

perso, je me tournerais vers perl... afin de pouvoir lire ligne par ligne ;)

Ou bien avec awk
Ou tout simplement la commande read du shell associée à sed.

Désolé je n'ai pas le temps de me pencher plus dessus, il est temps de quitter le travail :roll:
09/08/2006, 18h55
gorgonite

Citation:

Envoyé par al1_24

Ou bien avec awk
Ou tout simplement la commande read du shell associée à sed.

Désolé je n'ai pas le temps de me pencher plus dessus, il est temps de quitter le travail :roll:

possible...
mais dès que ça devient trop compliqué, en script système, je me tourne vers perl, puis faire les binaires en c... question de puissance de langage et de rapidité ;)
09/08/2006, 19h24
Burrito

Merci beaucoup pour vos réponses ! :D

Je vais implémenter vos solutions et tester sur un fichier d'essai l'efficacité des algorithmes.
Sinon pour le Perl, j'avoue que je ne sais pas trop ce que c'est, est-ce aussi abordable que le shell script? L'avantage pour moi avec le shell script étant de pouvoir les lancer depuis windows sur le serveur unix via un .bat sans problème de droit ou autres... En tout cas je vais étudier la question.

Je vous tiens au courant ;)
10/08/2006, 10h59
gangsoleil

Bonjour,

Pour optimiser un shell script, une bonne solution peut consister à regarder les options des commandes utilisées.

Par exemple, tu peux tout à fait remplacer

Code:

grep "fhdjsqkfhk" fichier | wc -l

par

Code:

grep -c "fhdjsqkfhk" fichier

ce qui t'évite une indirection ;)

Le but est d'essayer de ne parcourir qu'une seule fois tout le fichier. Awk fera l'affaire, en une seule passe.

script wc.awk

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# compte nombre d'occurences d'une série de mots
# utilisation : awk -f wc.awk fichier.a.tester
 
BEGIN {
    mots[1] = "exemple"
    mots[2] = "programme"
}
 
{
    for (i in mots)
        if (index($0, mots[i]))
            wc[i]++
}
 
END {
    for (i in mots)
        print "Le mot: ", mots[i], " apparaît ", wc[i], "fois"
}

30/08/2006, 11h09
MarcG
avec egrep pour ne lire qu'une seul fois le(s) fichiers et un ou :
Code:

1 2 egrep 'chaine1|chaine3|chaine3' fic1 ...
30/08/2006, 22h12
ripat

grep ne comptera, tout au plus, que le nombre de lignes où au moins un des mots est présent (option --count) mais ne présentera pas de comptage séparé par mot.

De toute façon, il a l'air d'avoir disparu de la circulation, notre posteur!