Discussion :

[Amaury77]

Bonjour,

Je dois exécuter plusieurs sed et des un cat >> via une boucle sur 2 000 fichiers.
Cependant au bout de 800 fichiers la boucle s'arrête :/ : les 700 premiers fichiers sont bien traités mais les 100 suivants sont en fait 100 fichiers parmi les 1 300 autres.

Est ce que vous savez pourquoi ?? Est-ce que les scripts on un temps limité ?


Il m'arrive aussi des fois le message "Segmentation fault (core dumped)" sur un script très long.

Cordialement

[Sve@r]

Bonjour

Est ce que vous savez pourquoi ??

Sans que tu nous montres le script en question...

Est-ce que les scripts on un temps limité ?

Non. Maintenant on peut imaginer que le script, à force de créer des fichiers (peut-être dans "/tmp") finit par saturer le filesystem...

[Flodelarab]

Bonjour

N'est-ce pas une boucle en forme de for fichier in $(ls *), et qui s'est fait prendre par les limitations ? On déplore ce genre de mauvais code sur le forum constamment. Mais les internautes persistent car "ça marche".

Il faut considérer un fichier, avec 1 ligne par cible.

[Amaury77]

Oui tout à fait c'est une simple boucle for avec un ls -v, je ne peux pas envoyer les fichiers car le messages serait trop long, est ce que tu aurait un exemple de structure avec : un fichier, avec 1 ligne par cible.

[Flodelarab]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
while read ligne
do
        echo "macommande $ligne"
done < fichier.txt

Sachant qu'en bash, le fichier.txt peut être remplacé par une substitution de processus <( ).

[Sve@r]

N'est-ce pas une boucle en forme de for fichier in $(ls *), et qui s'est fait prendre par les limitations ? On déplore ce genre de mauvais code sur le forum constamment. Mais les internautes persistent car "ça marche".

C'est vrai que ce n'est pas super propre (si le dossier contient des sous-dossiers alors le ls * va exploser en étoile et je suis étonné de ne pas encore avoir vu N_BaH arriver en piqué diagonal venir expliquer qu'on ne met pas de "ls" dans un script) mais je n'ai pas réussi à reproduire cette limitation.
J'ai en effet créé 50000 fichiers for f in $(seq 50000); do touch "fic_$f"; done j'ai parfaitement pu les récupérer => for f in $(ls); do echo "$f"; done |wc => 50000

je ne peux pas envoyer les fichiers car le messages serait trop long

Ton script est si long que ça ??? Généralement ça traduit une mauvaise conception.
Mais même avec un script super long, tu n'es pas capable de poster juste la structure de boucle avec un traitement minimal, exemple

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
for fic in $(ls -v); do
	echo "$fic"
done

Enfin bon, vu que tu as dit ce que tu faisais, ça ne doit pas être bien différent de ce que je viens d'écrire.

Donc comme un certain modérateur te le dira s'il vient à passer par là, on ne fait pas de "ls" dans un script. Parce que "ls" interprète certains caractères et qu'un fichier nommé par exemple mon'$'\n''fait'$'\n''chier ne pourra pas être pris en compte (c'est lui qui m'a défié de traiter ce fichier via "ls" et je n'y suis toujours pas arrivé).

Tu veux traiter des fichiers dans un dossier: for f in *; do echo "[$f]"; done.
Tu veux traiter des fichiers dans une arborescence: while read f; do echo "[$f]"; done < <(find dossier_racine_arborescence -type f)

[N_BaH]

en général, le problème n'est pas le nombre d'arguments, mais le nombre de caractères d'une ligne de commande (ARG_MAX), mais il me semble me souvenir que le message serait différent, et explicite.
le segfault peut venir d'un fichier non trouvé, et de données non reçues...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

while read -d ''; do echo "$REPLY"; done < <(find "$chemin" -type f -print0 | sort -zV)

-print0 sinon la boucle ne lira que mon$'\n', et pas mon$'\n'fait$'\n'chier.

[Amaury77]

Tu veux traiter des fichiers dans un dossier: for f in *; do echo "[$f]"; done.

C'est cela, mais les derniers fichiers ne sont pas bien traité voir sauter car issu d'un ls , si j'utilise une boucle while comme cela

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
while read ligne
do
        echo "macommande $ligne"
done < fichier.txt

Sachant qu'en bash, le fichier.txt peut être remplacé par une substitution de processus <( ).

je devrais faire une boucle de boucles pour traiter tous les fichiers ?