Discussion :

[junior76]

Bonjour,

je souhaite réaliser mon 1er batch sous Linux. J'ai un répertoire avec une centaine de répertoires. Je souhaite créer un TAR pour chacun des répertoires et supprimer le répertoire en question.

Ex :
* Rep1
* Rep 1-1
* Fichier 1-1-1
...
* Fichier 1-1-n
* Rep 1-2
* ....

* Rep2
* ....

Je souhaite à la fin avoir un fichier "Rep1.zip", un fichier "Rep2.zip", ... en lançant mon fichier Batch dans le répertoire parent de Rep1, Rep2, ...

J'espère que je suis clair.

Voici le code que je compte tester :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
#!/bin/bash
 
liste_files=`ls`
 
for Rep in $liste_files
do
    if [ -d $Rep ]
    then
        echo "Répertoire $Rep en cours de traitement"
        tar cf $Rep.tar" $Rep
        rm -Rf $Rep
    fi  
done

Avant de la lancer, j'aimerais que vous me disiez si ça à une chance de marcher et quelles "sécurités" je peux mettre pour éviter de perdre des données (si l'instruction TAR plante, est ce que le script va continuer et donc m'effacer des répertoires non archivés ?, ... )

Merci d'avance pour votre aide.

[Christophe]

Je suis pas un spécialiste de Bash (loin de là ) mais voila mes remarques :

Il ne faut pas utiliser ls dans un script, NBah t'expliquera bien mieux que moi pourquoi. (je l'ai appris ici).
regarde ce POST :
http://www.developpez.net/forums/d10...-d-repertoire/

Ensuite, effectivement si ton tar ne se passe pas bien, tes fichiers seront supprimés.
En bash, Tu peux récupérer le code retour de la dernière commande avec :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

echo $?

tar a une option pour vérifier la validité d'une archive.

Un test plus efficace serait de décompresser le tar dans un dossier temporaire, de comparer son contenu avec le dossier source, et de n’exécuter la commande rm qu'en cas de test réussi. Ceci necessite cependant du temps et de l'espace disque.

[Sve@r]

je souhaite réaliser mon 1er batch sous Linux. J'ai un répertoire avec une centaine de répertoires. Je souhaite créer un TAR pour chacun des répertoires et supprimer le répertoire en question.
Je souhaite à la fin avoir un fichier "Rep1.zip", un fichier "Rep2.zip", ... en lançant mon fichier Batch dans le répertoire parent de Rep1, Rep2, ...

Bonjour

Déjà une grosse erreur: Le tar de base ne compresse pas. Il ne fait que stocker les fichiers (et leurs caractéristiques). Si tu veux compresser le fichier ".tar", il te faut alors le passer par gzip (et ça donnera un ".gz" et non un ".zip")
Ceci dit, les commandes "tar" modernes possèdent une option de compression "z" qui s'occupe de cette étape. Sauf que toi, tu ne l'as pas mise !!!

Sinon voici ce que je ferais:

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
#!/bin/bash
 
for rep in *
do
	test ! -d "$rep" && continue
 
	echo "Répertoire $rep en cours de traitement"
	tar cfz "$rep.tgz" "$rep" && rm -rf "$rep" || echo "Archivage $rep échoué !!!"
done

Script pas très différent du tien. La petite différence c'est que moi j'ai plutôt l'habitude d'éliminer ce que je ne veux pas traiter. Ca a juste l'avantage d'être plus court à écrire et de supprimer une tabulation.
Le gros truc, c'est que je teste le retour de "tar" (comme l'a dit chrtophe mais j'utilise un raccourci syntaxique qui m'évite de regarder "$?") et, seulement en cas de réussite, j'efface le répertoire.

Une petite variante...

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
#!/bin/bash
 
for rep in *
do
	test ! -d "$rep" && continue
 
	echo "Répertoire $rep en cours de traitement"
	tar cfz "$rep.tgz" "$rep"
	tar tfz "$rep.tgz" 1>/dev/null && rm -rf "$rep" || echo "Archivage $rep échoué !!!"
done

...où je demande à relire (de façon invisible) l'archive générée pour être sûr qu'on peut effectivement la relire.

Un truc quand-même à garder à l'esprit: toujours penser à encapsuler les variables contenant des chaines par des guillemets. Ca évite les soucis surtout si la chaine (ici un nom de dossier) contient des espaces...

tar a une option pour vérifier la validité d'une archive.

Là je ne vois pas trop de laquelle il s'agit. A moins que tu ne parles de l'option "t" mais dans ce cas, elle est plus là pour "lister" l'archive que pour vérifier sa validité (même si faire l'un permet alors d'en déduire l'autre).

Un test plus efficace serait de décompresser le tar dans un dossier temporaire, de comparer son contenu avec le dossier source, et de n’exécuter la commande rm qu'en cas de test réussi. Ceci necessite cependant du temps et de l'espace disque.

Dans l'absolu tu as tout à fait raison, c'est la parade absolue. Maintenant ça dépend quand-même de la criticité du truc et du rapport "risque/temps de développement/temps d'exécution"

[Christophe]

ah, oui "&&"

Mais comme précisé, je suis pas un spécialiste.

[junior76]

Bonjour

Déjà une grosse erreur: Le tar de base ne compresse pas. Il ne fait que stocker les fichiers (et leurs caractéristiques). Si tu veux compresser le fichier ".tar", il te faut alors le passer par gzip (et ça donnera un ".gz" et non un ".zip")
Ceci dit, les commandes "tar" modernes possèdent une option de compression "z" qui s'occupe de cette étape. Sauf que toi, tu ne l'as pas mise !!!

Très bonne remarque -> je me suis relu et je n'ai pas été très juste dans le descriptif de mon besoin. Comme ces dossiers comportent de nombreuses photos en JPEG, je ne pense pas gagner beaucoup en compressant (par contre, ça va ajouter un long temps de traitement, non ?).

De plus, je compte accéder à ces archives en les montant pour pouvoir les consulter, effacer des fichiers, renommer des fichiers, ... -> je pense (peut-être à tord) qu'une version non compressée sera bien plus réactive qu'une version compressée. Qu'en penses-tu ?

Une petite variante...

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
#!/bin/bash
 
for rep in *
do
	test ! -d "$rep" && continue
 
	echo "Répertoire $rep en cours de traitement"
	tar cfz "$rep.tgz" "$rep"
	tar tfz "$rep.tgz" 1>/dev/null && rm -rf "$rep" || echo "Archivage $rep échoué !!!"
done

J'adore ton code, j'ai mis en peu de temps à comprendre toutes les fonctions mais maintenant, c'est clair (et effectivement plus court que mon code).

[Christophe]

Quel est l’intérêt de faire des tar sur des dossiers sur lesquels tu veux faire des modifications ? même si il est possible d’ajouter/supprimer des fichiers à un .tar.

[junior76]

Quel est l’intérêt de faire des tar sur des dossiers sur lesquels tu veux faire des modifications ? même si il est possible d’ajouter/supprimer des fichiers à un .tar.

En tout, j'ai 400 000 fichiers -> A chaque synchro via LuckyBackup (RSync), ça prends une plombe juste pour lister les différences. Je ne travaillerai pas tous les jours sur ces TAR mais je souhaite pouvoir, quand j'ai un peu de temps faire tu tries sur un répertoire (TAR). Maintenant, je suis ouvert à toute suggestion.

De plus, je viens de tester, la compression me fait gagner 1% d'espace disque (dans mon exemple, je passe de 96Mo avec compression à 97Mo sans). Par contre, le temps d'archivage est presque instantanée sans compression ce qui n'était pas le cas avec la compression activée.

[Christophe]

Le problème est que tu devras avant chaque modification désarchiver, effectuer les modifs, réarchiver, puis recopier la nouvelle version du .tar.

Tu peux gagner du temps en excluant les dossiers non modifiés dans ta commande rsync ou ton soft de sauvegarde (ou inversement ne prendre que certains dossiers). Ce sera à mon avis plus pratique et efficace.

[Sve@r]

Comme ces dossiers comportent de nombreuses photos en JPEG, je ne pense pas gagner beaucoup en compressant (par contre, ça va ajouter un long temps de traitement, non ?).

Tout à fait exact. Compresser un truc qui est déjà dans un format compressé...

De plus, je compte accéder à ces archives en les montant pour pouvoir les consulter, effacer des fichiers, renommer des fichiers, ... -> je pense (peut-être à tord) qu'une version non compressée sera bien plus réactive qu'une version compressée. Qu'en penses-tu ?

On ne peut pas "monter" un ".tar" (comme on peut le faire avec par exemple un ".iso"). Faut bien savoir que "tar" signifie "Tape ARchive" (archivage sur bande). C'est un outil destiné à l'origine à sauvegarder les fichiers sur bandes magnétiques (d'où le "facteur de blocage" qui est encore présent aujourd'hui même si son utilité devient obsolète). Et une bande magnétique n'est pas vraiment un "support adressable"...
De plus, même les "iso" montés comme disques ne sont pas modifiables "à chaud".

Maintenant, checkons la:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ tar xvz --to-command=md5sum -f develop.tgz | awk '/\/$/{next};{ff=$1;getline;print $1" "ff}' | md5sum -c

Joli, je ne connaissais pas le "--to-command"...

[junior76]

On ne peut pas "monter" un ".tar" (comme on peut le faire avec par exemple un ".iso"). Faut bien savoir que "tar" signifie "Tape ARchive" (archivage sur bande). C'est un outil destiné à l'origine à sauvegarder les fichiers sur bandes magnétiques (d'où le "facteur de blocage" qui est encore présent aujourd'hui même si son utilité devient obsolète). Et une bande magnétique n'est pas vraiment un "support adressable"...
De plus, même les "iso" montés comme disques ne sont pas modifiables "à chaud".

C'est juste, j'ai fait le test en TAR et effectivement, je ne peut le modifier (je pensais au début quer c'était un problème de paramètrage lors du montage (type RW ou autre).

Donc, tu me confirmes qu'il n'existe aucun format d'archive ou compression (TAr, ZIP, ISO, ...) que l'on peut monter et sur lequel je pourrais travailler à chaud (renommer, effacer des fichiers) ?

[jlliagre]

Donc, tu me confirmes qu'il n'existe aucun format d'archive ou compression (TAr, ZIP, ISO, ...) que l'on peut monter et sur lequel je pourrais travailler à chaud (renommer, effacer des fichiers) ?

En fait, en cherchant un peu, il existe des solutions pour monter un fichier tar, voir par exemple AVFS, tarfs, archivemount et GVfs.

Certains permettent d'aller plus loin que la lecture seule et autorisent la modification ou l'effacement de fichiers.