Discussion :

[Burrito]

Bonjour!

J'ai commencé il ny 'a pas longtemps à réaliser de petits scripts shells et jusque là j'ai réussi à créer les fonctionalités voulues en cherchant sur votre forum et avec mon ami google mais je cherche désormais à "optimiser" mon script, ce qui est moins évident...

Je m'explique : mon but est de rechercher une dizaine d'éléments (figurant une fois par ligne) dans un très gros fichier texte (30 à 100 mo !) et d'afficher le nombre de leur occurences :
- disons que je cherche les chaînes :
chaîne1 , chaîne2, .... , chaîne10
- je crée les variables :
nbOccur1='grep "chaîne1" monGrosFichier | wc -l'
nbOccur2='grep "chaîne2" monGrosFichier | wc -l'
...
nbOccur10='grep "chaîne10" monGrosFichier | wc -l'
- et je les sors les résultats successivement ainsi :
echo "$nbOccur1" >> fichierSortie.txt
echo "$nbOccur2" >> fichierSortie.txt
...
echo "$nbOccur10" >> fichierSortie.txt

Mon soucis c'est que ce script que je fais boucler sur plusieurs fichiers texte assez gros ( > 30 Mo ) se fait en bcp trop de temps (pas loin d'une heure).
Les données se trouvent, ca peut peut-être exliquer cela mais j'aurai voulu avoir votre avis sur une éventuelle optimisation de mon script. Je me demande s'il n'est pas possible de faire la recherche simultanément des 10 chaînes en ne parcourant le texte qu'une seule fois, au lieu de le parcourir 10 fois avec la recherche d'une seule chaîne... et pensez vous que cela prendrait moins de temps?

Merci d'avance pour votre aide

[gorgonite]

perso, je me tournerais vers perl... afin de pouvoir lire ligne par ligne

sinon en shell, je verrais bien cela :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
nbOccur1=0
# idem pour les autres
FILE=`cat ${FILEPATH}`
for WORD in $FILE
do
    if [${WORD} -eq ${chaine1}]
    then
        LET nbOccur1=nbOccur1+1
    fi
    # idem pour les autres
done
echo "$nbOccur1" >> fichierSortie.txt
#idem pour les autres

mais ce sera très gourmand en mémoire

[al1_24]

perso, je me tournerais vers perl... afin de pouvoir lire ligne par ligne

Ou bien avec awk
Ou tout simplement la commande read du shell associée à sed.

Désolé je n'ai pas le temps de me pencher plus dessus, il est temps de quitter le travail

[gorgonite]

Ou bien avec awk
Ou tout simplement la commande read du shell associée à sed.

Désolé je n'ai pas le temps de me pencher plus dessus, il est temps de quitter le travail

possible...
mais dès que ça devient trop compliqué, en script système, je me tourne vers perl, puis faire les binaires en c... question de puissance de langage et de rapidité

[Burrito]

Merci beaucoup pour vos réponses !

Je vais implémenter vos solutions et tester sur un fichier d'essai l'efficacité des algorithmes.
Sinon pour le Perl, j'avoue que je ne sais pas trop ce que c'est, est-ce aussi abordable que le shell script? L'avantage pour moi avec le shell script étant de pouvoir les lancer depuis windows sur le serveur unix via un .bat sans problème de droit ou autres... En tout cas je vais étudier la question.

Je vous tiens au courant

[gangsoleil]

Bonjour,

Pour optimiser un shell script, une bonne solution peut consister à regarder les options des commandes utilisées.

Par exemple, tu peux tout à fait remplacer

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep "fhdjsqkfhk" fichier | wc -l

par

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

grep -c "fhdjsqkfhk" fichier

ce qui t'évite une indirection

[ripat]

Le but est d'essayer de ne parcourir qu'une seule fois tout le fichier. Awk fera l'affaire, en une seule passe.

script wc.awk

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# compte nombre d'occurences d'une série de mots
# utilisation : awk -f wc.awk fichier.a.tester
 
BEGIN {
    mots[1] = "exemple"
    mots[2] = "programme"
}
 
{
    for (i in mots)
        if (index($0, mots[i]))
            wc[i]++
}
 
END {
    for (i in mots)
        print "Le mot: ", mots[i], " apparaît ", wc[i], "fois"
}

[MarcG]

avec egrep pour ne lire qu'une seul fois le(s) fichiers et un ou :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
egrep 'chaine1|chaine3|chaine3' fic1 ...

[ripat]

grep ne comptera, tout au plus, que le nombre de lignes où au moins un des mots est présent (option --count) mais ne présentera pas de comptage séparé par mot.

De toute façon, il a l'air d'avoir disparu de la circulation, notre posteur!