Optimisation de la commande tar linux

Bonjour,

une question bête :
je veux faire un tar de disons 1000 fichiers.

Comment expliquer techniquement que faire un tar cf monfichiertar ./* (le * représentant les 1000 fichiers) est plus rapide qu'une boucle du style

Code:

---

1 2 3 4

for fichier in $(ls) do tar rf monfichiertar ${fichier} done

---

??

Cela me semble logique mais je n'ai pas d'explication (parce qu'il doit parcourir le tar et aller à la fin pour chaque ajout de nouveau fichier?)
Merci d'avance.

Bonjour,

avec une boucle, autant de fichiers, autant d'appel à la commande tar.
ça prend du temps d'appeler une commande externe.


PS :
1- ON N'UTILISE PAS ls DANS UN SCRIPT !!!
2- ON NE PARCOURT PAS LA SORTIE D'UNE COMMANDE AVEC UNE BOUCLE for
1- parce que les noms de fichiers peuvent contenir des caractères qui ne seront pas protégés (espaces, alinéa...), et qui peuvent empêcher une commande de les reconnaître.
2- parce que for itère sur les mots, pas les lignes.

Citation:

---

Envoyé par N_BaH

Bonjour,

1- ON N'UTILISE PAS ls DANS UN SCRIPT !!!
2- ON NE PARCOURT PAS LA SORTIE D'UNE COMMANDE AVEC UNE BOUCLE for
1- parce que les noms de fichiers peuvent contenir des caractères qui ne seront pas protégés (espaces, alinéa...), et qui peuvent empêcher une commande de les reconnaître.
2- parce que for itère sur les mots, pas les lignes.

---

Je rebondis pour ma culture personnelle.
Comment traiter un ensemble de fichiers qui se situe dans un répertoire si on ne doit pas utiliser FOR et ls ?
Plutôt find à la place de ls?

Merci!

Bonjour :coucou:

A la place du ls, tu peux utiliser find ou stat, selon ce qui t'intéresse.
A la place de for, tu peux utiliser la clause exec de find ou xargs.

Exemple:
Cette commande recherche les fichiers php qui contiennent l'expression "icones_favorites"

Code:

---

find -iname '*.php' -exec grep -iH 'icones_favorites' {} \;

---

idem: (non testé)

Code:

---

find -iname '*.php' | xargs -ITT grep -iH 'icones_favorites' TT

---

Citation:

---

Comment traiter un ensemble de fichiers qui se situe dans un répertoire si on ne doit pas utiliser FOR et ls ?

---

en bash :

Code:

---

1 2 3 4 5

shopt -s globstar nullglob for f in ./** do test -f "$f" && echo "$f" done

---

Citation:

---

Envoyé par N_BaH

Bonjour,

avec une boucle, autant de fichiers, autant d'appel à la commande tar.
ça prend du temps d'appeler une commande externe.


PS :
1- ON N'UTILISE PAS ls DANS UN SCRIPT !!!
2- ON NE PARCOURT PAS LA SORTIE D'UNE COMMANDE AVEC UNE BOUCLE for
1- parce que les noms de fichiers peuvent contenir des caractères qui ne seront pas protégés (espaces, alinéa...), et qui peuvent empêcher une commande de les reconnaître.
2- parce que for itère sur les mots, pas les lignes.

---

sans compter qu'en prime tar est à la base le TAPE ARCHIVER donc ... tout update/modif est plus long par son propre fonctionnement interne que l'archivage global... (ne serait ce que par relecture de l'index existant... en +)

Alors autre question :

Maintenant je veux lancer en même temps plusieurs scripts qui font la même chose mais sur des données différentes.

Pour schématiser :
le script est lancé plusieurs fois en même temps (par un nohup) avec des arguments différents à chaque fois (ce qui le dirige vers des données différentes).
J'ai donc
script.sh ARG1
script.sh ARG2
etc.
script.sh ARGn (disons n=50)

Chaque script lance un "tar xf" sur un ensemble de fichiers tar.
Je pars d'un fichier texte qui liste les fichiers et je fais une boucle sur le contenu et lance un tar. Donc j'ai un tar à la fois par script, mais plusieurs tar en même temps puisque plusieurs scripts qui tournent.

Comment optimiser cela, j'ai l'impression que j'ai des tar qui sont mis à l'état D alors que je m'attendais à qu'ils fonctionnent tous en même temps (pas de risque d'écrasement puisque les données en entrée et sortie sont différentes pour chaque script lancé) ?

ps : pas de code car trop compliqué, j'espère avoir été clair

Bonjour,
nohup ne sert pas à éxecuter différents commandes en parallèle, il sert juste à ce que ton process ne reçoit de signal d'arret si tu arrête ta session.

Donc un exemple de comment tu executes tes scripts pourrait nous aider.

Ensuite, à un instant T, le nombre de process en running ne peut être au maximum que le même nombre de cpu que tu as sur ta machine.

J'ai un script que je lance en cron, appelons-le lance_tars.sh :
Ce script fait ça :

Code:

---

1 2 3 4 5

for argument in rep1 rep2 ... rep50 do nohup ./lance_tar.sh ${argument} > resu_${argument}.log 2>&1& done

---

Ensuite le script lance_tar.sh ressemble à ça :

Code:

---

1 2 3 4 5 6 7

repertoire=$1 cd ${repertoire} for fichiertar in $(cat config_${repertoire}.txt) do tar xf ${fichiertar} done

---

J'ai beaucoup schématisé mais le principe c'est ça.
Du coup ensuite j'ai 50 scripts qui tournent en même temps.
Je ne veux pas lancer chaque script l'un après l'autre car ça prend beaucoup de temps, les fichiers tar étant assez volumineux.

S'il existe un moyen plus intelligent je suis preneur. J'ai fait de cette manière-là un peu par ignorance.

Merci pour vos idées.

Citation:

---

Envoyé par yoyostras

Code:

---

1 2	for fichiertar in $(cat config_${repertoire}.txt) do

---

---

Citation:

---

Envoyé par NBaH

ON NE PARCOURT PAS LA SORTIE D'UNE COMMANDE AVEC UNE BOUCLE for

---

Citation:

---

Envoyé par yoyostras

j'ai 50 scripts qui tournent en même temps.

---

fais un script contenant une fonction, qui sera lancée, en arrière plan, 50 fois avec 50 arguments différents.
ça simplifiera la maintenance.

50 scripts qui explosent les I/O, je suis pas sûr que ça aille vraiment plus vite.
Tu veux faire de la sauvegarde ou c'est juste pour la beauté de l'exercice ?

C'est bien de la sauvegarde

Tu pourrais envisager d’utiliser rsync dans ce cas.
Sinon il y a d'autres solutions :
http://alternativeto.net/software/bacula/