analyse de longueur de ligne dans fichier volumineux

[freestyler]

Bonjour,
j'ai un fichier qui contient exactement 15 000 000 lignes (2,5 G)

Chaque ligne doit avoir pour longueur 150 caractères.
Cependant, il existe quleques unes qui dépassent cette longueur.

Je voudrais écrire un script pour afficher ces lignes (avec leurs numéros) dans un fichier de log, et les supprimer du fichier initial (ou au pire créer un autre fichier sans ces lignes là)

j'ai commencé avec ça pour tester, il a tourné toute la nuit et est encore à la ligne 134 000 !!! à ce rythme là il me faut des semaines

COUNT=0 

while read ligne
do
	COUNT=$(expr $COUNT + 1)
	length=`echo "$ligne" | wc -m`
	echo $COUNT " : " $length
	if [ $length -gt 143 ]
	then
		echo $COUNT " : " $ligne >> anomalies.log
	else
		echo $ligne >> New_file.dat
	fi
done < $myFile

Des idées?
Merci

[pasdeface]

à supposer que ta nuit ai fait 10h ca ferait 3.7 lignes par secondes, effectivement c'est long !
Peut etre que la combinaison echo et wc est pas très efficace.
Tu devrais faire un essai en perl par exemple, surement plus efficace...

C'est juste une idée comme ça, j'en sais pas plus.

[freestyler]

je connais pas perl du tout
par contre, je connais un peu awk.. je sais que c'est plus efficace dans ce genre de manipulations.. sauf que je ne suis pas trop à l'aise dans awk

est ce que quelqu'un peut m'aider à écrire un truc du genre :

awk '{
if(length(line) == 150) then print line, else do nothing }'

merci

[freestyler]

bon j'ai trouvé

 awk 'length($0)>150 {print}' myFile >> anomalies.dat

ya un moyen d'afficher le numéro de ligne avec ?


Merci

[pasdeface]

http://en.wikipedia.org/wiki/AWK_(pr...e)#Hello_World

[KindPlayer]

tu rajoutes print $NR je pense

[lu6fer]

pour le perl ca devrait effectivement etre plus rapide

#!/usr/bin/perl
#
use strict;
use warnings;

my $cpt = 0;

while (<>) {
        if ( /.{150,}/ ) {
                print STDERR $cpt.';'.$_;
        }
        else {
                print $_;
        }
        $cpt++;
}

pour l'utilisation :
./script.pl < fichier_A_Analyser > fichier_de_sortie_150_carac 2>log_n°ligne+ligne_trop_grande

Après il y a moyen d'améliorer ca je pense, je l'ai fait juste pour l'exemple

[freestyler]

Merci

[pasdeface]

tu pourras nous dire la gain de vitesse qu'on ai une idée?

[lu6fer]

attention, j'ai du faire une erreur, de ce que j'ai compris, il faut que tu change le 150 par 151.
Car sinon tu matchera toutes tes ligne qui font 150 caractères et +

[freestyler]

je n'ai pas essayé le perl. j'ai des performances satisfaisantes avec AWK ..
ça n'a rien à voir..
avec le shell, c'est quasiment de l'ordre des jours !!
avec awk, c'est 1 à 2 minutes max ..