Discussion :

[bougnbie]

Bonjour,
J'ai dans un repertoire des centaines de milliers de fichiers txt, et je voudrais supprimer tous les fichiers de moins de 3 lignes.

Je cherche un moyen efficace de la faire.

Je pense à un truc du genre:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
for i in `ls *.txt`;
do
nb=`wc -l $i`
if [nb -le 3]
then
`rm - f $i`
 fi
done

Mais je ne sais pas ce que ça vaut en efficacité, vu que c'est sur des millions de fichiers (un peu moins).

Peut être que faire ça en perl est préférable?

Merci d'avance.

[N_BaH]

Bonjour,,

ON N'UTILISE PAS ls DANS LES SCRIPTS !!!
parce que les noms de fichiers peuvent contenir des caractères contenus dans l'IFS, qui feront itérer la boucle for sur chaque mot du nom du fichier.

pour des traitements textuels, perl est beaucoup plus rapide que le shell.
mais ici, de toutes manières, il faut boucler sur les fichiers pour déterminer le nombres de lignes, je doute que perl apporte quelque gain que ce soit.

en propre, ton script :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
for f in *.txt
do
   test -f "$f" && test $(wc -l < "$f") -le 3 && rm -f "$f"
done

[bougnbie]

merci beaucoup!

Effectivement, mon code était très sale, j'ai tapé ça depuis une tablette, c'était plus du pseudo-code...

Merci en tout cas, je vais faire ça.

[JeitEmgie]

je doute que perl apporte quelque gain que ce soit.

n'importe quelle solution qui ne comptera pas plus de lignes que le maximum recherché (ici 3) - éventuellement MAX+1 avec un head -n en amont du wc -l - sera théoriquement plus efficace que wc seul qui lui lira toujours TOUT le fichier.

[jack-ft]

n'importe quelle solution qui ne comptera pas plus de lignes que le maximum recherché (ici 3) - éventuellement MAX+1 avec un head -n en amont du wc -l - sera théoriquement plus efficace que wc seul qui lui lira toujours TOUT le fichier.

Ben, effectivement, théoriquement, ça paraît séduisant!...
sauf qu'il faut comparer avec le surcoût dû au fork pour lancer le process 'head'!

En gros, s'il y a des millions de fichiers qui font, en majorité, entre moins de 3 lignes et "pas beaucoup plus" (notez la précision mathématique!), il vaut mieux utiliser le wc SANS head.
S'il y a des millions de fichiers, dont quelques uns font moins de 3 lignes et "beaucoup d'autres" font "beaucoup plus" (par exemple, plusieurs millions de lignes), alors probablement (avec une probabilité probablement substantiellement supérieure à 1/2 (notez la précision mathématique!)) qu'il vaut mieux utiliser le wc AVEC head.

Entre les deux, mon coeur balance...

Le mieux, c'est de tester préalablement les 2 méthodes pour voir laquelle est la plus efficace!!! (joke )

[ok.Idriss]

(joke )

Ben non pourquoi pas ? Ça se fait des tests de perf pour ce genre de petits détails (ça peux avoir un impacte sur de très grosses volumétries sérieusement).

[JeitEmgie]

Ben, effectivement, théoriquement, ça paraît séduisant!...
sauf qu'il faut comparer avec le surcoût dû au fork pour lancer le process 'head'!

En gros, s'il y a des millions de fichiers qui font, en majorité, entre moins de 3 lignes et "pas beaucoup plus" (notez la précision mathématique!), il vaut mieux utiliser le wc SANS head.
S'il y a des millions de fichiers, dont quelques uns font moins de 3 lignes et "beaucoup d'autres" font "beaucoup plus" (par exemple, plusieurs millions de lignes), alors probablement (avec une probabilité probablement substantiellement supérieure à 1/2 (notez la précision mathématique!)) qu'il vaut mieux utiliser le wc AVEC head.

Entre les deux, mon coeur balance...

Le mieux, c'est de tester préalablement les 2 méthodes pour voir laquelle est la plus efficace!!! (joke )

J'ai dit "éventuellement avec un head" pas que c'était LA solution,
le mieux reste un petit script en Perl (ou autre, vous pouvez aussi faire le tool en C et le compiler) qui prend en paramètres :
le nombre de lignes à tester, le nom du fichier
et qui renvoit 1 ou 0 en fonction de la satisfaction ou non du critère.

[Sve@r]

Ben, effectivement, théoriquement, ça paraît séduisant!...
sauf qu'il faut comparer avec le surcoût dû au fork pour lancer le process 'head'!

En gros, s'il y a des millions de fichiers qui font, en majorité, entre moins de 3 lignes et "pas beaucoup plus" (notez la précision mathématique!), il vaut mieux utiliser le wc SANS head.
S'il y a des millions de fichiers, dont quelques uns font moins de 3 lignes et "beaucoup d'autres" font "beaucoup plus" (par exemple, plusieurs millions de lignes), alors probablement (avec une probabilité probablement substantiellement supérieure à 1/2 (notez la précision mathématique!)) qu'il vaut mieux utiliser le wc AVEC head.

Entre les deux, mon coeur balance...

Bonjour

Ben ne balance plus et tente une autre approche. On pourrait par exemple utiliser un find pour ne cibler que les fichiers qui, a priori, feront moins de 3 lignes...

Considerons qu'une ligne d'un fichier texte fait traditionnellement 80car, cela ferait 240 caracteres pour 3 lignes. Une petite marge de securite (disons 1000 ou soyons riche et montons jusqu'a 5000) et on peut faire un truc de ce style

Code sh :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
find rep -type f -name "*.txt" -size -5000 | while read f
do
    test $(wc -l "$f") -le 3 && rm -f "$f"
done

La taille du fichier etant stockee dans l'inode, la recherche sera tres rapide et cela evitera les problemes lies au wc sur de gros fichiers...

ON N'UTILISE PAS ls DANS LES SCRIPTS !!!

Arf, toujours cette bonne blague

parce que les noms de fichiers peuvent contenir des caractères contenus dans l'IFS, qui feront itérer la boucle for sur chaque mot du nom du fichier.

Mougnou qu'il est mignon quand il fait sa grosse colere

Code sh :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
ls rep | while read f
do
    traitement "$f"
done

PS: les bons programmeurs respectent les regles, les programmeurs brillants les transgressent parfois...