Discussion :

[junior76]

Bonjour,

je souhaite réaliser mon 1er batch sous Linux. J'ai un répertoire avec une centaine de répertoires. Je souhaite créer un TAR pour chacun des répertoires et supprimer le répertoire en question.

Ex :
* Rep1
* Rep 1-1
* Fichier 1-1-1
...
* Fichier 1-1-n
* Rep 1-2
* ....

* Rep2
* ....

Je souhaite à la fin avoir un fichier "Rep1.zip", un fichier "Rep2.zip", ... en lançant mon fichier Batch dans le répertoire parent de Rep1, Rep2, ...

J'espère que je suis clair.

Voici le code que je compte tester :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
#!/bin/bash
 
liste_files=`ls`
 
for Rep in $liste_files
do
    if [ -d $Rep ]
    then
        echo "Répertoire $Rep en cours de traitement"
        tar cf $Rep.tar" $Rep
        rm -Rf $Rep
    fi  
done

Avant de la lancer, j'aimerais que vous me disiez si ça à une chance de marcher et quelles "sécurités" je peux mettre pour éviter de perdre des données (si l'instruction TAR plante, est ce que le script va continuer et donc m'effacer des répertoires non archivés ?, ... )

Merci d'avance pour votre aide.

[chrtophe]

Je suis pas un spécialiste de Bash (loin de là ) mais voila mes remarques :

Il ne faut pas utiliser ls dans un script, NBah t'expliquera bien mieux que moi pourquoi. (je l'ai appris ici).
regarde ce POST :
http://www.developpez.net/forums/d10...-d-repertoire/

Ensuite, effectivement si ton tar ne se passe pas bien, tes fichiers seront supprimés.
En bash, Tu peux récupérer le code retour de la dernière commande avec :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

echo $?

tar a une option pour vérifier la validité d'une archive.

Un test plus efficace serait de décompresser le tar dans un dossier temporaire, de comparer son contenu avec le dossier source, et de n’exécuter la commande rm qu'en cas de test réussi. Ceci necessite cependant du temps et de l'espace disque.

[Sve@r]

je souhaite réaliser mon 1er batch sous Linux. J'ai un répertoire avec une centaine de répertoires. Je souhaite créer un TAR pour chacun des répertoires et supprimer le répertoire en question.
Je souhaite à la fin avoir un fichier "Rep1.zip", un fichier "Rep2.zip", ... en lançant mon fichier Batch dans le répertoire parent de Rep1, Rep2, ...

Bonjour

Déjà une grosse erreur: Le tar de base ne compresse pas. Il ne fait que stocker les fichiers (et leurs caractéristiques). Si tu veux compresser le fichier ".tar", il te faut alors le passer par gzip (et ça donnera un ".gz" et non un ".zip")
Ceci dit, les commandes "tar" modernes possèdent une option de compression "z" qui s'occupe de cette étape. Sauf que toi, tu ne l'as pas mise !!!

Sinon voici ce que je ferais:

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
#!/bin/bash
 
for rep in *
do
	test ! -d "$rep" && continue
 
	echo "Répertoire $rep en cours de traitement"
	tar cfz "$rep.tgz" "$rep" && rm -rf "$rep" || echo "Archivage $rep échoué !!!"
done

Script pas très différent du tien. La petite différence c'est que moi j'ai plutôt l'habitude d'éliminer ce que je ne veux pas traiter. Ca a juste l'avantage d'être plus court à écrire et de supprimer une tabulation.
Le gros truc, c'est que je teste le retour de "tar" (comme l'a dit chrtophe mais j'utilise un raccourci syntaxique qui m'évite de regarder "$?") et, seulement en cas de réussite, j'efface le répertoire.

Une petite variante...

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
#!/bin/bash
 
for rep in *
do
	test ! -d "$rep" && continue
 
	echo "Répertoire $rep en cours de traitement"
	tar cfz "$rep.tgz" "$rep"
	tar tfz "$rep.tgz" 1>/dev/null && rm -rf "$rep" || echo "Archivage $rep échoué !!!"
done

...où je demande à relire (de façon invisible) l'archive générée pour être sûr qu'on peut effectivement la relire.

Un truc quand-même à garder à l'esprit: toujours penser à encapsuler les variables contenant des chaines par des guillemets. Ca évite les soucis surtout si la chaine (ici un nom de dossier) contient des espaces...

tar a une option pour vérifier la validité d'une archive.

Là je ne vois pas trop de laquelle il s'agit. A moins que tu ne parles de l'option "t" mais dans ce cas, elle est plus là pour "lister" l'archive que pour vérifier sa validité (même si faire l'un permet alors d'en déduire l'autre).

Un test plus efficace serait de décompresser le tar dans un dossier temporaire, de comparer son contenu avec le dossier source, et de n’exécuter la commande rm qu'en cas de test réussi. Ceci necessite cependant du temps et de l'espace disque.

Dans l'absolu tu as tout à fait raison, c'est la parade absolue. Maintenant ça dépend quand-même de la criticité du truc et du rapport "risque/temps de développement/temps d'exécution"

[chrtophe]

ah, oui "&&"

Mais comme précisé, je suis pas un spécialiste.

[junior76]

Bonjour

Déjà une grosse erreur: Le tar de base ne compresse pas. Il ne fait que stocker les fichiers (et leurs caractéristiques). Si tu veux compresser le fichier ".tar", il te faut alors le passer par gzip (et ça donnera un ".gz" et non un ".zip")
Ceci dit, les commandes "tar" modernes possèdent une option de compression "z" qui s'occupe de cette étape. Sauf que toi, tu ne l'as pas mise !!!

Très bonne remarque -> je me suis relu et je n'ai pas été très juste dans le descriptif de mon besoin. Comme ces dossiers comportent de nombreuses photos en JPEG, je ne pense pas gagner beaucoup en compressant (par contre, ça va ajouter un long temps de traitement, non ?).

De plus, je compte accéder à ces archives en les montant pour pouvoir les consulter, effacer des fichiers, renommer des fichiers, ... -> je pense (peut-être à tord) qu'une version non compressée sera bien plus réactive qu'une version compressée. Qu'en penses-tu ?

Une petite variante...

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
#!/bin/bash
 
for rep in *
do
	test ! -d "$rep" && continue
 
	echo "Répertoire $rep en cours de traitement"
	tar cfz "$rep.tgz" "$rep"
	tar tfz "$rep.tgz" 1>/dev/null && rm -rf "$rep" || echo "Archivage $rep échoué !!!"
done

J'adore ton code, j'ai mis en peu de temps à comprendre toutes les fonctions mais maintenant, c'est clair (et effectivement plus court que mon code).

[chrtophe]

Quel est l’intérêt de faire des tar sur des dossiers sur lesquels tu veux faire des modifications ? même si il est possible d’ajouter/supprimer des fichiers à un .tar.

[junior76]

Quel est l’intérêt de faire des tar sur des dossiers sur lesquels tu veux faire des modifications ? même si il est possible d’ajouter/supprimer des fichiers à un .tar.

En tout, j'ai 400 000 fichiers -> A chaque synchro via LuckyBackup (RSync), ça prends une plombe juste pour lister les différences. Je ne travaillerai pas tous les jours sur ces TAR mais je souhaite pouvoir, quand j'ai un peu de temps faire tu tries sur un répertoire (TAR). Maintenant, je suis ouvert à toute suggestion.

De plus, je viens de tester, la compression me fait gagner 1% d'espace disque (dans mon exemple, je passe de 96Mo avec compression à 97Mo sans). Par contre, le temps d'archivage est presque instantanée sans compression ce qui n'était pas le cas avec la compression activée.

[chrtophe]

Le problème est que tu devras avant chaque modification désarchiver, effectuer les modifs, réarchiver, puis recopier la nouvelle version du .tar.

Tu peux gagner du temps en excluant les dossiers non modifiés dans ta commande rsync ou ton soft de sauvegarde (ou inversement ne prendre que certains dossiers). Ce sera à mon avis plus pratique et efficace.

[disedorgue]

Bonjour,

Concernant l'archivage via tar, tu peux si la compression n'est pas utilisée, mettre à jour une archive en supprimant,rajoutant,remplaçant par une version plus récentes des fichiers,...
Par contre si ton archive est compressée, il faut au préalable la décompresser et d'ailleurs, rien n'empêche de la compresser après coup et non en même temps que l'archivage.

Sinon, si on revient sur l'idée de chrtophe de vérifier si l'archivage est correcte, on peut le faire sans prendre necessairement de la place disque, juste du temps. Voici un exemple ( simpliste ici mais fonctionnel ) :
Création de l'archive qui servira d'exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
$ tar czf develop.tgz develop
$ tar tzf develop.tgz 
develop/
develop/script.ksh
develop/config
develop/input
develop/output

Maintenant, checkons la:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
$ tar xvz --to-command=md5sum -f develop.tgz | awk '/\/$/{next};{ff=$1;getline;print $1" "ff}' | md5sum -c
develop/script.ksh: Réussi
develop/config: Réussi
develop/input: Réussi
develop/output: Réussi
$ echo $?
0
$ tar xvz --to-command=md5sum -f develop.tgz | awk '/\/$/{next};{ff=$1;getline;print $1" "ff}' | md5sum -c --quiet
$ echo $?
0
$ tar xvz --to-command=md5sum -f develop.tgz | awk '/\/$/{next};{ff=$1;getline;print $1" "ff}' | md5sum -c --status
$ echo $?
0

Modifions un des fichiers pour que le checksum soit faux:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ echo "##" >>develop/script.ksh

Maintenant, faisons de nouveau les checks :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
$ tar xvz --to-command=md5sum -f develop.tgz | awk '/\/$/{next};{ff=$1;getline;print $1" "ff}' | md5sum -c
develop/script.ksh: Échec
develop/config: Réussi
develop/input: Réussi
develop/output: Réussi
md5sum: Attention*: la somme de contrôle 1 ne correspond pas
$ echo $?
1
$ tar xvz --to-command=md5sum -f develop.tgz | awk '/\/$/{next};{ff=$1;getline;print $1" "ff}' | md5sum -c --quiet
develop/script.ksh: Échec
md5sum: Attention*: la somme de contrôle 1 ne correspond pas
$ echo $?
1
$ tar xvz --to-command=md5sum -f develop.tgz | awk '/\/$/{next};{ff=$1;getline;print $1" "ff}' | md5sum -c --status
$ echo $?
1

Bien sur, ici, je montre 3 versions du check avec un degré de verbosité différent à choisir selon le besoin.

[Sve@r]

Comme ces dossiers comportent de nombreuses photos en JPEG, je ne pense pas gagner beaucoup en compressant (par contre, ça va ajouter un long temps de traitement, non ?).

Tout à fait exact. Compresser un truc qui est déjà dans un format compressé...

De plus, je compte accéder à ces archives en les montant pour pouvoir les consulter, effacer des fichiers, renommer des fichiers, ... -> je pense (peut-être à tord) qu'une version non compressée sera bien plus réactive qu'une version compressée. Qu'en penses-tu ?

On ne peut pas "monter" un ".tar" (comme on peut le faire avec par exemple un ".iso"). Faut bien savoir que "tar" signifie "Tape ARchive" (archivage sur bande). C'est un outil destiné à l'origine à sauvegarder les fichiers sur bandes magnétiques (d'où le "facteur de blocage" qui est encore présent aujourd'hui même si son utilité devient obsolète). Et une bande magnétique n'est pas vraiment un "support adressable"...
De plus, même les "iso" montés comme disques ne sont pas modifiables "à chaud".

Maintenant, checkons la:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ tar xvz --to-command=md5sum -f develop.tgz | awk '/\/$/{next};{ff=$1;getline;print $1" "ff}' | md5sum -c

Joli, je ne connaissais pas le "--to-command"...

[junior76]

On ne peut pas "monter" un ".tar" (comme on peut le faire avec par exemple un ".iso"). Faut bien savoir que "tar" signifie "Tape ARchive" (archivage sur bande). C'est un outil destiné à l'origine à sauvegarder les fichiers sur bandes magnétiques (d'où le "facteur de blocage" qui est encore présent aujourd'hui même si son utilité devient obsolète). Et une bande magnétique n'est pas vraiment un "support adressable"...
De plus, même les "iso" montés comme disques ne sont pas modifiables "à chaud".

C'est juste, j'ai fait le test en TAR et effectivement, je ne peut le modifier (je pensais au début quer c'était un problème de paramètrage lors du montage (type RW ou autre).

Donc, tu me confirmes qu'il n'existe aucun format d'archive ou compression (TAr, ZIP, ISO, ...) que l'on peut monter et sur lequel je pourrais travailler à chaud (renommer, effacer des fichiers) ?

[junior76]

Sinon, si on revient sur l'idée de Christophe de vérifier si l'archivage est correcte, on peut le faire sans prendre nécessairement de la place disque, juste du temps.

Merci pour l'info.

Donc, si je remplace

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
	tar tfz "$rep.tgz" 1>/dev/null && rm -rf "$rep" || echo "Archivage $rep échoué !!!"

par ça dans mon script, c'est bon (et je n'ai pas besoin d'avoir de l'espace disque pour "detarrer" mon TAR) ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
        tar xvz --to-command=md5sum -f "$rep.tgz" | awk '/\/$/{next};{ff=$1;getline;print $1" "ff}' | md5sum -c --status && rm -rf "$rep" || echo "Archivage $rep échoué !!!"

Je ne suis pas encore très à l'aise avec les | || et && (ordre de priorité, ...).

[jlliagre]

Donc, tu me confirmes qu'il n'existe aucun format d'archive ou compression (TAr, ZIP, ISO, ...) que l'on peut monter et sur lequel je pourrais travailler à chaud (renommer, effacer des fichiers) ?

En fait, en cherchant un peu, il existe des solutions pour monter un fichier tar, voir par exemple AVFS, tarfs, archivemount et GVfs.

Certains permettent d'aller plus loin que la lecture seule et autorisent la modification ou l'effacement de fichiers.

[disedorgue]

Merci pour l'info.

Donc, si je remplace

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
	tar tfz "$rep.tgz" 1>/dev/null && rm -rf "$rep" || echo "Archivage $rep échoué !!!"

par ça dans mon script, c'est bon (et je n'ai pas besoin d'avoir de l'espace disque pour "detarrer" mon TAR) ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
        tar xvz --to-command=md5sum -f "$rep.tgz" | awk '/\/$/{next};{ff=$1;getline;print $1" "ff}' | md5sum -c --status && rm -rf "$rep" || echo "Archivage $rep échoué !!!"

Je ne suis pas encore très à l'aise avec les | || et && (ordre de priorité, ...).

Oui, mais comme je le disais, ça prend juste du temps (qui sera plus long que la commande que cela remplace).
Par contre, juste pour revenir sur les || :
Dans les 2 commandes (celle d'origine ou celle qui la remplace), le || echo "Arch...." sera exécuté aussi si c'est le rm -rf "$rep" qui sort en erreur.

[Sve@r]

Je ne suis pas encore très à l'aise avec les | || et && (ordre de priorité, ...).

Il n'y a pas de priorité ; c'est du séquentiel. La suite cmd1 && cmd2 || cmd3 sera évaluée de la gauche vers la droite. Si cmd1 réussi, alors cmd2 sera effectuée. Et sa réussite (qu'on voudrait implicite) fera que cmd3 ne sera pas exécutée.
Et si cmd1 échoue alors cmd2 ne sera pas effectuée mais comme la ligne continuera a être évaluée (avec un statut en erreur provenant de "cmd1") cmd3 sera alors exécutée.
Mais malheureusement ce mécanisme a un prix: comme le dit disedorgue, si cmd1 réussi mais que cmd2 échoue, alors il y aura là aussi un statut en erreur ce qui fera que cmd3 sera alors aussi exécutée. Donc en général on essaye de ne pas écrire de commande intermédiaire pouvant échouer (ce qui n'est pas le cas de mon exemple car le "rm", même avec l'option "r" et "f", peut échouer si par exemple le dossier "$rep" n'a pas les droits suffisants pour que tu puisses effacer son contenu).

On peut toutefois tricher avec ce mécanisme en forçant cmd2 à être correcte. Exemple tar tfz "$rep.tgz" 1>/dev/null && (rm -rf "$rep"; true) || echo "Archivage $rep échoué !!!". La commande "true" étant toujours vraie, même si le "rm" échoue cela n'interfère pas avec la fin.

Sinon rien ne t'interdit de réécrire ça de façon plus classique ; ce qui permet alors d'affiner un peu plus...

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
if tar tfz "$rep.tgz" 1>/dev/null; then
	rm -rf "$rep" 2>/dev/null || echo "Impossible d'effacer $rep"
else
	echo "Archivage $rep échoué !!!"
fi

PS: tu auras remarqué le if tar.... Ben oui, en shell on peut évaluer n'importe quelle commande pourvu que celle-ci renvoie un statut. Donc un "if" ne se limite pas à la commande "test"...

[jlliagre]

Ce n'est pas très élégant, mais si on tient absolument à conserver les && et ||, on s'en sortir comme ça:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cmd1 && { cmd2; true ; } || cmd3

[jack-ft]

En fait, en cherchant un peu, il existe des solutions pour monter un fichier tar, voir par exemple AVFS, tarfs, archivemount et GVfs.

Certains permettent d'aller plus loin que la lecture seule et autorisent la modification ou l'effacement de fichiers.

On peut aussi ouvrir un .tar ou un .tgz avec emacs...

[NVCfrm]

En fait, en cherchant un peu, il existe des solutions pour monter un fichier tar, voir par exemple AVFS, tarfs, archivemount et GVfs.
.

Je découvres ces solutions intéressantes Je comptes en apprendre un peu plus.
Sinon je m'apprêtais à lui proposer de compresser avec mksquashfs. C'est en lecture bien sûr au montage, mais avec une combinaison d'union avec aufs, il peut écrire olà dessus et compresser à nouveau sans avoir vraiment décompresser l'archive source. Cet article des trucs : La magie des filesystems

[disedorgue]

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
if tar tfz "$rep.tgz" 1>/dev/null; then
	rm -rf "$rep" 2>/dev/null || echo "Impossible d'effacer $rep"
else
	echo "Archivage $rep échoué !!!"
fi

Je pense qu'il y a une typo ici, tar tfz, en principe ne fonctionne pas, car c'est le connecteur f qui prend un paramètre...
Sinon, en continuant sur la syntaxe de jlliagre, le code ci-dessus donnerait quelque chose du genre (en bash ) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tar tzf "$rep.tgz" 1>/dev/null && { rm -rf "$rep" 2>/dev/null || echo "Impossible d'effacer $rep" ; : ; } || echo "Archivage $rep échoué !!!"

[jlliagre]

Je pense qu'il y a une typo ici, tar tfz, en principe ne fonctionne pas, car c'est le connecteur f qui prend un paramètre...

En fait si, cette commande fonctionne correctement malgré cette syntaxe même si elle n'est pas explicitement autorisée par la documentation.

La commande tar ne respecte pas l'usage traditionnel des options et arguments. Le premier argument de tar est une combinaison de lettres indiquant les options à utiliser. Si la lettre f est présente, le deuxième argument représente le nom du fichier archive à utiliser. L'ordre des lettres dans le premier argument n'est pas significatif. Le premier argument n'est à l'origine pas précédé d'un tiret, comme les commandes habituelles.

Comme beaucoup d'utilisateurs mettaient quand même un tiret, les implémentations de tar ont fini par l'accepter comme premier caractère optionnel du premier argument.

L'implémentation traditionnelle (Unix) de tar n'a pas modifié pour autant sa tolérance avec l'ordre indifférent des lettres mais l'implémentation GNU de tar traite différemment ce cas. En conséquence:

1: Est accepté quelle que soit l'implémentation de tar:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tar ftv file.tar

2: Ne fonctionne pas avec GNU tar et busybox tar, mais est OK avec Unix tar:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tar -ftv file.tar

3: Fonctionne avec GNU tar mais provoque une erreur avec Unix tar:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
tar -t -v -f file.tar
tar -f file.tar -tv

La lettre "z" (compression avec gzip) est une extension GNU. Elle n'est pas toujours acceptée par les autres implémentations de tar.

Voir http://xkcd.com/1168/