Discussion :

[yoyostras]

Bonjour,

une question bête :
je veux faire un tar de disons 1000 fichiers.

Comment expliquer techniquement que faire un tar cf monfichiertar ./* (le * représentant les 1000 fichiers) est plus rapide qu'une boucle du style

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
for fichier in $(ls)
do
  tar rf monfichiertar ${fichier}
done

??

Cela me semble logique mais je n'ai pas d'explication (parce qu'il doit parcourir le tar et aller à la fin pour chaque ajout de nouveau fichier?)
Merci d'avance.

[N_BaH]

Bonjour,

avec une boucle, autant de fichiers, autant d'appel à la commande tar.
ça prend du temps d'appeler une commande externe.


PS :
1- ON N'UTILISE PAS ls DANS UN SCRIPT !!!
2- ON NE PARCOURT PAS LA SORTIE D'UNE COMMANDE AVEC UNE BOUCLE for
1- parce que les noms de fichiers peuvent contenir des caractères qui ne seront pas protégés (espaces, alinéa...), et qui peuvent empêcher une commande de les reconnaître.
2- parce que for itère sur les mots, pas les lignes.

[yoyostras]

Bonjour,

1- ON N'UTILISE PAS ls DANS UN SCRIPT !!!
2- ON NE PARCOURT PAS LA SORTIE D'UNE COMMANDE AVEC UNE BOUCLE for
1- parce que les noms de fichiers peuvent contenir des caractères qui ne seront pas protégés (espaces, alinéa...), et qui peuvent empêcher une commande de les reconnaître.
2- parce que for itère sur les mots, pas les lignes.

Je rebondis pour ma culture personnelle.
Comment traiter un ensemble de fichiers qui se situe dans un répertoire si on ne doit pas utiliser FOR et ls ?
Plutôt find à la place de ls?

Merci!

[Flodelarab]

Bonjour

A la place du ls, tu peux utiliser find ou stat, selon ce qui t'intéresse.
A la place de for, tu peux utiliser la clause exec de find ou xargs.

Exemple:
Cette commande recherche les fichiers php qui contiennent l'expression "icones_favorites"

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 find -iname '*.php' -exec grep -iH 'icones_favorites' {} \;

idem: (non testé)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 find -iname '*.php' | xargs -ITT grep -iH 'icones_favorites' TT

[N_BaH]

Comment traiter un ensemble de fichiers qui se situe dans un répertoire si on ne doit pas utiliser FOR et ls ?

en bash :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
shopt -s globstar nullglob
for f in ./**
do
   test -f "$f" && echo "$f"
done

[frp31]

Bonjour,

avec une boucle, autant de fichiers, autant d'appel à la commande tar.
ça prend du temps d'appeler une commande externe.


PS :
1- ON N'UTILISE PAS ls DANS UN SCRIPT !!!
2- ON NE PARCOURT PAS LA SORTIE D'UNE COMMANDE AVEC UNE BOUCLE for
1- parce que les noms de fichiers peuvent contenir des caractères qui ne seront pas protégés (espaces, alinéa...), et qui peuvent empêcher une commande de les reconnaître.
2- parce que for itère sur les mots, pas les lignes.

sans compter qu'en prime tar est à la base le TAPE ARCHIVER donc ... tout update/modif est plus long par son propre fonctionnement interne que l'archivage global... (ne serait ce que par relecture de l'index existant... en +)

[yoyostras]

Alors autre question :

Maintenant je veux lancer en même temps plusieurs scripts qui font la même chose mais sur des données différentes.

Pour schématiser :
le script est lancé plusieurs fois en même temps (par un nohup) avec des arguments différents à chaque fois (ce qui le dirige vers des données différentes).
J'ai donc
script.sh ARG1
script.sh ARG2
etc.
script.sh ARGn (disons n=50)

Chaque script lance un "tar xf" sur un ensemble de fichiers tar.
Je pars d'un fichier texte qui liste les fichiers et je fais une boucle sur le contenu et lance un tar. Donc j'ai un tar à la fois par script, mais plusieurs tar en même temps puisque plusieurs scripts qui tournent.

Comment optimiser cela, j'ai l'impression que j'ai des tar qui sont mis à l'état D alors que je m'attendais à qu'ils fonctionnent tous en même temps (pas de risque d'écrasement puisque les données en entrée et sortie sont différentes pour chaque script lancé) ?

ps : pas de code car trop compliqué, j'espère avoir été clair

[disedorgue]

Bonjour,
nohup ne sert pas à éxecuter différents commandes en parallèle, il sert juste à ce que ton process ne reçoit de signal d'arret si tu arrête ta session.

Donc un exemple de comment tu executes tes scripts pourrait nous aider.

Ensuite, à un instant T, le nombre de process en running ne peut être au maximum que le même nombre de cpu que tu as sur ta machine.

[yoyostras]

J'ai un script que je lance en cron, appelons-le lance_tars.sh :
Ce script fait ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
for argument in rep1 rep2 ... rep50
do
nohup ./lance_tar.sh ${argument} > resu_${argument}.log 2>&1&
done

Ensuite le script lance_tar.sh ressemble à ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
repertoire=$1
cd ${repertoire}
for fichiertar in $(cat config_${repertoire}.txt)
do
  tar xf ${fichiertar}
done

J'ai beaucoup schématisé mais le principe c'est ça.
Du coup ensuite j'ai 50 scripts qui tournent en même temps.
Je ne veux pas lancer chaque script l'un après l'autre car ça prend beaucoup de temps, les fichiers tar étant assez volumineux.

S'il existe un moyen plus intelligent je suis preneur. J'ai fait de cette manière-là un peu par ignorance.

Merci pour vos idées.

[N_BaH]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
for fichiertar in $(cat config_${repertoire}.txt)
do

ON NE PARCOURT PAS LA SORTIE D'UNE COMMANDE AVEC UNE BOUCLE for

j'ai 50 scripts qui tournent en même temps.

fais un script contenant une fonction, qui sera lancée, en arrière plan, 50 fois avec 50 arguments différents.
ça simplifiera la maintenance.

[ggnore]

50 scripts qui explosent les I/O, je suis pas sûr que ça aille vraiment plus vite.
Tu veux faire de la sauvegarde ou c'est juste pour la beauté de l'exercice ?

[yoyostras]

C'est bien de la sauvegarde

[ggnore]

Tu pourrais envisager d’utiliser rsync dans ce cas.
Sinon il y a d'autres solutions :
http://alternativeto.net/software/bacula/