optimiser "nettoyage" d'un fichier

Bonjour,

je cherche un moyen efficace pour "nettoyer" un fichier. (Article ---Nombre)
je parcours mon fichier. Si les 5 premieres lignes ont TOUS un nombre égal à 0, je vire ces lignes du fichier.

Ce que je fais pour le moment, c'est :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

#Nombre de lignes COUNT=`cat $MyFile | wc -l`   #Nombre de fois que je dois répéter tout ceci repeat=$(expr $COUNT / 5)   head -l 5 $MyFile > temp.txt   #"Nombre" commence à la colonne 21 du fichier texte result=`awk ' { printf ( "%s" , substr($0, 21, 20)) } ' temp.out | tr -d "0"`   if [ $result=="" ] then COUNT=$(expr $COUNT - 5) tail -l $COUNT $MyFile > temp.txt cat temp.txt > $MyFile fi

---

et puis répéter ceci $repeat fois ..

Ceci prend beaucoup de temps pour un fichier de 700000 lignes ..
surtout la partie du if ..

il doit surement y avoir un autre moyen de le faire..

qqn a une idée?? Merci

Pour ce genre de problème, il est plus facile de nous donner une exemple type de fichier de base et de ce que tu veux obtenir en sortie.

ya rien de plus simple
fichier à 2 colonnes..
comme ci joint

Ce que je voudrais faire, c'est virer les lignes correspondant à l'article 2 et 4 (0 partout sur les 5 lignes)...

sachant qu'il y a exactement 5 lignes par article

et sachant que le fichier sur lequel je travaille contient 700 000 lignes !!

Merci

Vaux-tu imprimer toutes lignes sauf celles dont le deuxième champ vaut zéro ?

Code:

---

perl -lane 'print if $F[1] != 0' ex_article_nombre.txt

---

Tu peux obtenir le même résultat avec awk.

je veux virer les lignes ou Nombre=0 sur toutes les 5 lignes, sachant qu il ya exactement 5 lignes par article

Code:

---

awk '{if ($2 > 0) print $0}' fichier

---

As-tu testé les unilignes (celui en perl et la version awk de ripat) ?

Maintenant si tu ne veux virer les lignes avec 0 uniquement dans le cas où il y en a cinq à la suite l'une de l'autre, c'est aussi faisable (opérateur , en awk et .. en perl).

ce que je fais marche, mais avec des problèmes de performances manifestes !!

Je ne sais pas faire autrement, et je suis pas du tout familier avec Perl.. je connais un peu awk mais je ne vois pas comment ameliorer ce que je fais...

Citation:

---

Envoyé par freestyler

ce que je fais marche, mais avec des problèmes de performances manifestes !!

---

Si c'est vraiment si gourmand, tu es mieux de passer par un programme C.

merci pour le tuyau..
mais je DOIS m'en tenir au scripting..

et puis je suis au bon forum, non?

Citation:

---

Envoyé par freestyler

merci pour le tuyau..
mais je DOIS m'en tenir au scripting..

et puis je suis au bon forum, non?

---

Oui oui bien sûr, tu es sur le bon forum.

Mais comment ça « tu dois » ?!
C'est un exercice de cours ?

non
je suis sur une plateforme client, et je dois faire ceci par un script ..

Citation:

---

ce que je fais marche, mais avec des problèmes de performances manifestes !!

---

Si les unilignes ci-dessus marchent, ils ne devraient avoir aucun problème à traiter 700000 lignes (ou alors tes accès disque sont sacrément lent :aie:). Que fais-tu d'autre?

deja pour un fichier a 20 lignes, ca pose un probleme...
alors pour 700 000 lignes, tu imagines

en fait je dois parcourrir le fichier (700 000/5) fois !

As-tu vraiment essayé les one-liners donnés plus haut?

Je viens de faire un traitement similaire sur un fichier de plus d'un million de lignes et ça prend quelques secondes tout au plus.

Bonjour,

Pourquoi ne pas utiliser le résultat de sort -u (trie le fichier en ne laissant que les lignes uniques) ?

Un genre d'algo comme ca :

sort -u fichier > liste_unique

lister les lignes dont le second membre est 0, et regarder si la liste_unique contient d'autres valeurs pour le même premier membre
Si oui, alors les 5 lignes ne sont pas à 0 -> ne rien faire
Si non, alors les 5 lignes sont à 0, donc suppression des lignes pour le même premier membre