Archivage et condition

Version imprimable

Salut,

Suite à un espace disque saturé sur une machine d’intégration. Je souhaite faire un archivage automatique mensuel (lancement du script via crontab).

Je suis donc parti sur une script de compression .tar.bz2 pour un meilleur gain de place.
Le hic, je voudrais qu'il m'archive tout les fichiers >30J en excluant certain dossier/fichier (extension particulière).
Et nettoyer ce qui est archivé, le script étant exécuter une fois mensuellement.

J'ai commenté là où je calle pour la fonction des >30J
Code:

1 2 3 4 5 6 7 8 9 #!/bin/bash #Archivage.sh EXT= # type de fichier NOM= #nom de fichier for i in /home/dossier/aaa; do tar -cjf /home/dossier/aaa/$NOM.tar.bz2 --exclude '/home/dossier/aaa/bbb' /home/archive <= #fonction de date pour archiver les fichiers >30J rm #nettoyage des fichiers archivers > 30J done
Tous les fichiers ont le même entête, incrémenter soit du numéro de jour de l'année en extension, soit de la date.

Ce qui donne TESTINT.054 TESTINT.055 ou TESTINT.20130227....Je suis parti à archiver puis nettoyer, je sais que je pourrai faire aussi un move suivi de ma compression, mais dans tout les cas j'aurai un RM pour nettoyer les fichiers ajoutés à l'archive.

27/02/2013, 16h18
N_BaH

Bonjour,

je chercherais et exclurais les fichier souhaités avec find, dont j'enverrais la sortie à tar :

Code:

find ... -mtime ... | tar -cjf tonArchive -T -

Dans mon man j'ai

Code:

-daystart Mesurer les temps (avec -amin, -atime, -cmin, -ctime, -mmin, et -mtime) depuis le début de la journée plutôt que depuis 24 heures.

Cela prendrai donc la forme
Code:

1 2 find /mondossier/ -name $NAME -mtime 30 | tar -cjf /home/dossier/aaa/$NOM.tar.bz2 | rm -f #si nom spécifique find /mondossier/ -type $EXT -mtime 30 | tar -cjf /home/dossier/aaa/$NOM.tar.bz2 | rm -f #si fichier excel
Si je comprends bien que mtime compte le nombre de jour par rapport à la date actuel.

Je pense qu'ill me manque une condition aussi sur le RM aussi, ou coupler avec le FIND ainsi il va m'effacer les fichiers trouvés (j'utilise rarement find couplé à rm par sécurité)

27/02/2013, 20h36
disedorgue

Bonjour,

ATTENTION: le -type de find n'a aucun rapport avec l'extension d'un fichier, ici on parle du type sur un point de vu système:

Code:

-type f

pour fichier ordinaire

Code:

-type d

pour répertoire
Etc...

Cordialement.
27/02/2013, 20h49
N_BaH

et, deux find, oui, mais, un pour archiver, et un autre (± identique) pour -exec rm \+.

Merci encore une fois pour votre aide bien explicative à tous les deux

Je partage quand même le final:

Code:

1
2
3
4
5
6
#!/bin/bash
#Archivage.sh
#EXT=  # type de fichier par extension
NAME= 	#nom de fichier
find /mondossier/ -type f $NAME -mtime 30 | echo tar -cjf  /home/dossier/aaa/$NOM.tar.bz2 #recherche fichier puis compression
find /mondossier/ -type f $NAME -mtime 30 | echo rm -f   #recherche fichier puis delete

Juste à retirer les echo

04/03/2013, 15h32
jack-ft

en espérant ne pas avoir le manque de bol qu'un nouveau fichier soit créé pile poil entre les 2 find... (le chipoteur fou...) :mouarf:
06/03/2013, 10h44
aerane

Non ça va les fichiers sont créés ou déplacés par tranches horaires, donc si j’exécute ça dans un des trous ça suffit :)
07/03/2013, 10h50
aerane
Parcontre bizarrement sous un ubuntu 8 desktop(oui un peu ancien) je me retrouve avec du
Code:

1 2 find: paths must precede expression: file1.txt Usage: find [-H] [-L] [-P] [-Olevel] [-D help|tree|search|stat|rates|opt|exec] [path...] [expression]
Sachant que même si il marche sur une machine je dois montrer qu'il fonctionnera sur la suivante par une autre "phase test" selon la politique de la boite :/

J'ai testé le code sous 3 formes:

Code:

find /home/irwin/Bureau -mtime -1 \! -type f *.xls -print > /liste.jour | tar -cv -T /home/irwin/Documents/liste.jour -f /home/irwin/Images

Code:

find /home/irwin/Bureau -name *.txt -exec tar -cjf /home/irwin/Documents/testeeee.tar {} \;

ou encore la solution que j'ai posté plus haut donné par N_Bah. Je me doute qu'il me manque une condition mais je tourne un peu en rond encore une fois :mouarf:
07/03/2013, 13h03
jack-ft
Code:

find /home/irwin/Bureau -mtime -1 \! -type f *.xls -print > /liste.jour | tar -cv -T /home/irwin/Documents/liste.jour -f /home/irwin/Images

Attention! Avec find, il faut (quasiment) toujours mettre les globs entre apostrophes ou guillemets, c'est-à-dire remplacer *.xls par "*.xls", sinon il y a un risque d'expansion non voulu.

De plus, il y a une erreur de syntaxe: c'est soit -type f soit -name '*.xls' soit les deux, mais joints par un -a ou -o.

Même erreur pour:
Code:

1 2 # Pas bon s'il existe localement un ou plusieurs fichiers *.txt find /home/irwin/Bureau -name *.txt -exec tar -cjf /home/irwin/Documents/testeeee.tar {} \;
à remplacer par:

Code:

find /home/irwin/Bureau -name '*.txt' -exec tar -cjf /home/irwin/Documents/testeeee.tar {} \;
07/03/2013, 13h46
aerane

Merci de la réponse en effet, j'avais un doute sur une synthaxe ou quote d'où ma réouverture du sujet... Quand on est trop dedans on ne voie parfois pas l’erreur sautant pourtant aux yeux d'un autre .

Donc la version que tu m'as fournit avec le -exec fonctionne mais il ne me compresse qu'un fichier .txt alors que j'en ai plusieurs pour mon teste.

Citation:

Envoyé par jack-ft

à remplacer par:

Code:

find /home/irwin/Bureau -name '*.txt' -exec tar -cjf /home/irwin/Documents/testeeee.tar {} \;

J'avoue que par la suite j'y insérerai un -mtime 31pour archiver les fichiers par mois.

J'ai voulu essayer en remplaçant le -name par un -type f mais je me retrouve encore avec le find: paths must précède expression: *.txt pourtant renseigner tel que tu me l'a corrigé.
07/03/2013, 14h36
jack-ft
Citation:

Envoyé par aerane

Merci de la réponse en effet, j'avais un doute sur une synthaxe ou quote d'où ma réouverture du sujet... Quand on est trop dedans on ne voie parfois pas l’erreur sautant pourtant aux yeux d'un autre .

Donc la version que tu m'as fournit avec le -exec fonctionne mais il ne me compresse qu'un fichier .txt alors que j'en ai plusieurs pour mon teste.

Oops! Je n'ai même pas "lu" la commande que j'ai recopiée (j'ai juste corrigé les quotes)! :oops:
Attention! Le find exécute la partie "exec" pour CHACUN des fichiers trouvés, c'est-à-dire qu'il va créer un 1er .tar avec le 1er .txt puis écraser le même .tar avec le 2ème .txt etc. ce qui n'est probablement pas ce que tu veux.
Si aucun des fichiers ou sous-répertoires ne contient d'espace, tu devrais préférer:

Code:

find /home/irwin/Bureau -name '*.txt' -print | xargs tar -cjf /home/irwin/Documents/testeeee.tar.bz2

ou bien

Code:

tar -cjf /home/irwin/Documents/testeeee.tar.bz2 $(find /home/irwin/Bureau -name '*.txt' -print)

PS: j'ai ajouté l'extension .bz2 parce que tu utilises l'option -j

Citation:

J'avoue que par la suite j'y insérerai un -mtime 31 pour archiver les fichiers par mois.

J'ai voulu essayer en remplaçant le -name par un -type f mais je me retrouve encore avec le find: paths must précède expression: *.txt pourtant renseigner tel que tu me l'a corrigé.

Plutôt qu'un long discours, c'est plus simple à faire (pour toi) et à lire (pour nous) de nous envoyer la commande que tu as utilisée et le message d'erreur correspondant.

Je soupçonne que tu as utilisé quelque chose comme:

Code:

find /home/irwin/Bureau -mtime -1 \! -type f '*.xls' -print # Pas bon

Dans mon message précédent, j'ai dit qu'il fallait JOINDRE les conditions, avec quelque chose comme -a ou -o, mais surtout, il faut des conditions. Or, dans -type f '*.xls', si -type f est bien une condition valide, le reste '*.xls' n'est PAS une condition. Sémantiquement parlant, il manque -name, ce qui fait que '*.xls' est considéré comme un path (et non une condition) et que "find" n'est pas content car il veut que les paths (comme /home/irwin/Bureau) soient AVANT les conditions, d'où le message d'erreur.

Voici un exemple de jonction OR de 2 conditions:
Code:

1 2 3 4 5 $ find . -name 'to*' -o -name '*tu' ./tutu ./toto ./totu ./bibi2/tutu
Soit, ici (sous réserve que ce soit la sémantique que tu souhaites):

Code:

find /home/irwin/Bureau -mtime -1 \! -type f -o -name '*.xls' -print

PS: par défaut, il y a une jointure AND implicite -a:
Code:

1 2 3 4 5 $ find . -name 'to*' -name '*tu' ./totu $ find . -name 'to*' -name '*to' ./toto
07/03/2013, 16h20
N_BaH

Citation:

Donc la version que tu m'as fournit avec le -exec fonctionne mais il ne me compresse qu'un fichier .txt alors que j'en ai plusieurs pour mon teste.

Code:

find ... -exec tar ... \+

il y a une différence entre \; et \+.
la première envoi les fichiers trouvés un par un à la commande suivant l'-exec,
l'autre envoi tous les fichiers trouvés.
08/03/2013, 10h08
aerane

Un Nieme merci pour vos réponses.

Alors avec les fichiers du mois dernier que j'avais en test pour le mtime, en fusionnant vos 2 réponses j'ai un script tout à fait opérationnel :ccool:

Code:

find /home/irwin/Bureau -mtime -1 \! -type f -o -name '*.txt' -exec tar -cjf testeeee.tar.bz2 {} \+ -print

J'y ai juste réinclu mon tar.bz2 (l'utilisant aussi de base) car des fichiers XLS prenant 1.6Go au total une fois la passe optimum de compression je descends à 5mo...voir moins.

J'ai laissé le print la en affichage des fichiers compressé rien de plus :)

Je commence enfin a apprécier le find comme il se doit :mouarf:

Il me semble bien moins l'usine à gaz de l'épouvante avec vos explications. Puissant mais faut le comprendre.
10/03/2013, 11h23
disedorgue

Bonjour,

Si on traduit en langage claire la partie suivante:

Code:

\! -type f -o -name '*.txt'

On demande au find de retourner tout ce qui n'est pas de type fichier ou tout ce qui ce termine par '.txt' .
Or dans tout ce qui n'est pas fichier, il y a entre autre les répertoires.
Ce qui fait que dans la partie tar, tu archives dés le départ le répertoire source du find ( /home/irwin/Bureau ) ce qui revient a faire (beaucoup plus simple):

Code:

tar -cjf testeeee.tar.bz2 /home/irwin/Bureau

Et je ne parle pas des sous-répertoires retournés par le find au tar qui les archivera aussi et donc fera des archives plus volumineuses que necessaire :aie:

Cordialement.
15/03/2013, 10h42
aerane

J'ai dit que ça fonctionne, je n'ai pas précisé le peaufinage à faire derrière :mrgreen:

Dans le cas présent je n'ai rien d'autre qui contient ces extensions, il s'agit d'un répertoire final. ;)

Bon j'avais mit ca un peu de côté pas mal de demande plus urgentes..