Tri dans un dossier d'archives (script shell?)

Bonjour à tous,

Alors voila, j'ai un dossier contenant des archives. Elle sont toutes nommées comme ceci : xxxx-0001, xxxx-0002, .. Le nombre en gras détermine l’ancienneté de l'archive (l'archive se terminant par "0003" est plus ancienne que celle qui se termine par "0005" mais plus récente que celle qui se termine par "0002" etc..) Dans chacune des archives, il y a un fichier XML. Or le fichier XML peut être le même dans plusieurs archives (le même = même nom de fichier).
Ce que je souhaite c'est ne garder que l'archive la plus recente par fichier XML unique.

Par exemple si l'archive xxxx-0003 et xxxx-0034 contiennent le même fichier XML, l'archive xxxx-0003 soit supprimée.

Je voulais savoir quelle étaient les solutions possibles et vu qu'on m'a parle de script SHELL, la difficulté de ce dernier.

Merci d'avance à tous ceux qui m'apporteront leur aide.

EDIT : Merci disedorgue. Oui en effet en relisant, j'ai dit l'inverse de ce que je voulais :aie: Modifié !

Bonjour,

Citation:

---

Envoyé par DarKaa

Bonjour à tous,

Alors voila, j'ai un dossier contenant des archives. Elle sont toutes nommées comme ceci : xxxx-0001, xxxx-0002, .. Le nombre en gras détermine l’ancienneté de l'archive (l'archive se terminant par "0003" est plus ancienne que celle qui se termine par "0005" mais plus récente que celle qui se termine par "0002" etc..) Dans chacune des archives, il y a un fichier XML. Or le fichier XML peut être le même dans plusieurs archives (le même = même nom de fichier).
Ce que je souhaite c'est ne garder que l'archive la plus ancienne par fichier XML unique.

Par exemple si l'archive xxxx-0003 et xxxx-0034 contiennent le même fichier XML, l'archive xxxx-0003 soit supprimée.

Je voulais savoir quelle étaient les solutions possibles et vu qu'on m'a parle de script SHELL, la difficulté de ce dernier.

Merci d'avance à tous ceux qui m'apporteront leur aide.

---

En rouge, ce qui semble incohérent.

Bonjour,

c'est quoi une archive ? tar ? zip ? tar.gz ?

Un exemple de ce qui est possible:

Des archives:

Code:

---

1 2 3 4 5

$ find /tmp/ -iname "testarchive*" | sort /tmp/testarchive001.tar.gz /tmp/testarchive002.tar.gz /tmp/testarchive003.tar.gz /tmp/testarchive004.tar.gz

---

Les archives et le fichier ciblé (ici un txt mais ça peut être un xml):

Code:

---

1 2 3 4 5

$ find /tmp/ -iname "testarchive*" | sort| xargs -ITT bash -c 'echo -ne TT"\t";tar -ztf TT' /tmp/testarchive001.tar.gz titi.txt /tmp/testarchive002.tar.gz titi.txt /tmp/testarchive003.tar.gz toto.txt /tmp/testarchive004.tar.gz titi.txt

---

On sépare les champs:

Code:

---

1 2 3 4 5

$ find /tmp/ -iname "testarchive*" | sort| xargs -ITT bash -c 'echo -ne TT"\t";tar -ztf TT'|sed 's/.*testarchive/&\t/;s/.tar.gz.*/\t&/' /tmp/testarchive 001 .tar.gz titi.txt /tmp/testarchive 002 .tar.gz titi.txt /tmp/testarchive 003 .tar.gz toto.txt /tmp/testarchive 004 .tar.gz titi.txt

---

La liste des archives à garder:

Code:

---

1 2 3

$ find /tmp/ -iname "testarchive*" | sort| xargs -ITT bash -c 'echo -ne TT"\t";tar -ztf TT'|sed 's/.*testarchive/&\t/;s/.tar.gz.*/\t&/'|awk '{mem[$4]=$2} END{for (fic in mem) print "/tmp/testarchive"mem[fic]".tar.gz";}' /tmp/testarchive003.tar.gz /tmp/testarchive004.tar.gz

---

Il ne reste plus qu'à soustraire ces adresses de la liste des fichiers supprimables (grep -v -f) et de supprimer (rm -i ou rm -f).

Bonjour et merci de ta réponse.

Alors d'abord oui ce sont des archives .zip

Ensuite j'avoue être un débutant (et encore c'est beaucoup dire) pour ce qui est script shell :oops:

Moi j’étais un peu parti vers quelque chose comme ça (j'avance pas par pas :P) :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

#!/bin/zsh   getFiles() { Rep="$1" for item in $Rep/* //parcourir les archives do [ -f "$item" ] && file=$(echo "$item") #je stocke le nom du fichier dans une variable unzip $file #je dezip l'archive (et faudrait que je stocke le fichier XML qu'il y a dedans) #pseudo code car j'en suis la : #reparcourir les archives en partant de la ou je suis dans le répertoire #en deziper une et comparer les nom des fichiers XML #si les noms sont identiques, je supprime la première archive et les fichiers XML qui ont été extraits et je continue done }   [ -d "${1:-.}" ] && getFiles ${1:-.}

---

Quand je vois qu'en une ligne tu arrives deja a faire les comparaisons etc.. Je me dis que je passe a cote de quelque chose mais j'avoue ne pas trop comprendre ce que tu as fait.

Déjà, le $, c'est l'invite de commande ... il ne faut pas la reprendre.

Après j'utilise une conduite, une suite de commandes séparés par un pipe |, qui donne à la commande suivante le résultat de son travail sur ce que lui a donné la commande précédente

Code:

---

$ commande1 | commande2 | commande3

---

Du coup, au lieu de faire une boucle sur les fichiers comme tu le fais, je travaille directement avec "un fichier" qui contient la liste de mes cibles, récupérées par un find. Les deux sont bien, c'est une question de préférence.

Je m'assure que les plus récents seront les plus bas dans la liste en la triant avec sort.

Puis je traite les cibles une à une avec xargs en demandant d'afficher (echo) le nom et le contenu (tar -t).

Ensuite, je sépare le numéro avec sed pour le traiter dans awk. Certains vont hurler car awk peut le faire. Question de préférence, encore.

Enfin, la commande awk permet de transformer un fichier texte en considérant ses "champs". C'est la 2ème et la 4ème colonne qui nous intéressent. On ne garde que le plus récent numéro pour un nom de fichier contenu dans l'archive.

Avec grep, on filtre la liste des archives avec la liste qu'on vient d'obtenir.

Et avec rm, on supprime tout ça.

Est-ce plus clair? Y a pas mal à étudier. ;)

Merci encore.

Oui ça va (un peu:mrgreen:) mieux quand c'est découpé car je connais ces commandes c'est juste que c’était en première année et que les arguments et les paramètres sont un peu tordu :mrgreen:

Bon alors j'ai cree trois archives :
- AKO_01.zip (contenant le fichier "1.xml")
- AKO_02.zip (contenant le fichier "2.xml")
- AKO_03.zip (contenant le fichier "1.xml")

Et j'aimerai après exécution du script qu'il me reste AKO_02.zip et AKO_03.zip (suivant la règle de gestion décrite)

et j'ai tente d'utiliser la commande que tu m'as donne mais je trébuche très vite :aie:

Code:

---

1 2	find . -iname "AKO_*" | sort| xargs -ITT bash -c 'echo -ne TT"\t";unzip TT'|sed 's/.*AKO_/&\t/;s/.zip.*/\t&/'|awk '{mem[$4]=$2} END{for (fic in mem) print "./AKO_"mem[fic]".zip";}'

---

La sortie n'est pas terrible..

Puis comme en fait c'est les XML qui m’intéresse (donc n'avoir après l’exécution du script) que les fichiers "2.xml" et "1.xml" (mais de l'archive AKO_03.zip)
Ne serait pas plus simple de boucler sur les archives rangées et faire un unzip -u (qui écraserait les xml portant le même nom) ?

1. Ah! Oui. Dans l'emportement, j'ai oublié de tapé ceci: pour obtenir la liste des fichiers avec unzip, c'est l'option -l.
2. Pour avoir les xml, filtre avec grep.
   
   J'ai ajouter un fichier tata.pdf à l'archive numéro 2. Je filtre de la manière suivante:
   
   Code:

   ---

   1 2 3

   $ find /tmp/ -iname "testarchive*" | sort| xargs -ITT bash -c 'echo -ne TT"\t";tar -ztf TT|grep txt'|sed 's/.*testarchive/&\t/;s/.tar.gz.*/\t&/'|awk '{mem[$4]=$2} END{for (fic in mem) print "/tmp/testarchive"mem[fic]".tar.gz";}' /tmp/testarchive003.tar.gz /tmp/testarchive004.tar.gz

   ---

   A toi de remplacer txt par xml.
3. Citation:

   ---

   Ne serait pas plus simple de boucler sur les archives rangées et faire un unzip -u (qui écraserait les xml portant le même nom) ?

   ---

   Mais tu veux quoi ? Au début, tu voulais supprimer des archives et maintenant tu veux récupérer un xml...

Bon j'avoue je ne suis pas très clair :mouarf:

Bah pour avoir tous les XML uniques les plus récents (en fonction de leur archive parente), j'ai utilisé ça :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

#!/bin/zsh   getFiles() { Rep="$1" sort $Rep/ for item in $Rep/* do [ -f "$item" ] && file=$(echo "$item") if [ ${file##*.} = 'zip' ] then unzip -uo $file fi #[ -d "$item" ] && getFiles "$item" done }   [ -d "${1:-.}" ] && getFiles ${1:-.}

---

Et ça a l'air de bien marcher :roll:

Maintenant je suis curieux et j'ai envie de comprendre la ligne de code que tu m'as donnée et faire la même chose :P (Enfin si je peux après cette commande n'avoir que les archives les plus récentes par fichier XML unique, j'imagine qu’après il me reste a boucler sur toute les archives et unzip :P). Mais la je bloque ! :aie:

J'ai pas beaucoup touche a la commande mais je piétine :?

Code:

---

1 2	find . -iname "AKO_*" | sort| xargs -ITT bash -c 'echo -ne TT"\t";unzip -l TT|grep xml'|sed 's/.*AKO_/&\t/;s/.zip.*/\t&/'|awk '{mem[$4]=$2} END{for (fic in mem) print "AKO_"mem[fic]".zip";}'

---

J'aimerai arriver a faire marcher cette commande mais de toute façon j'ai le résultat voulu avec la première solution. C'est juste que la deuxième solution est beaucoup plus puissante car elle unzip rien et supprime direct les archives :lol:

• Citation:

  ---

  J'aimerai arriver a faire marcher cette commande mais

  ---

  Ne marche-t-elle pas ? Quel message d'erreur ? Quel étage de la commande ne donne pas le bon résultat intermédiaire ?
• Tu sembles utiliser zsh. Pourquoi zsh ?

Code:

---

1 2 3

#!/bin/zsh   find . -iname "AKO_*" | sort| xargs -ITT bash -c 'echo -ne TT"\t";unzip -l TT|grep xml'|sed 's/.*AKO_/&\t/;s/.zip.*/\t&/'|awk '{mem[$4]=$2} END{for (fic in mem) print "AKO_"mem[fic]".zip";}'

---

Sortie:

Citation:

---

AKO_3.zip

---

Code:

---

1 2 3

#!/bin/zsh   find . -iname "AKO_*" | sort

---

Sortie:

Citation:

---

./AKO_1.zip
./AKO_2.zip
./AKO_3.zip

---

Si je teste le reste de la commande ca bloque :roll:
J'utilise Babun qui est un shell sous Windows qui ne n'oblige pas son utilisateur d'avoir les droits administrateurs car je désirais juste faire ce script (et non merci les cmd windows :aie:)

Que donne unzip -l AKO_3.zip ?

Sortie :

Citation:

---

Archive: AKO_3.zip
Length Date Time Name
--------- ---------- ----- ----
9 02-09-2015 16:57 1.xml
--------- -------
9 1 file

---

Effectivement, le filtrage pour récupérer le nom du xml est plus important que simplement avoir la ligne.
Tes xml n'ont pas d'espace dans le nom de fichier ?
Si c'est le cas, tu peux remplacer grep xml par

Code:

---

sed -n '/xml/{s/.* \(.*\.xml\)/\1/p}'

---

Je voudrais la sortie juste après cet étage.

Tu aimerais donc que je teste la commande suivante ? :

Code:

---

find . -iname "AKO_*" | sort| xargs -ITT bash -c 'echo -ne TT"\t";unzip -l TT|sed -n "/xml/{s/.* \(.*\.xml\)/\1/p}"'

---

EDIT : Je pense que c'est le cas vu le résultat, je te poste la sortie :

Citation:

---

./AKO_1.zip 1.xml
./AKO_2.zip 2.xml
./AKO_3.zip 1.xml

---

Super résultat. Toute la ligne doit marcher, non?

En effet, ça a l'air de marcher car la sortie est :

Citation:

---

AKO_3.zip
AKO_2.zip

---

Donc si je veux avoir que ces deux archives il faudrait que je les redirige dans un répertoire ou bien supprimer celles inutiles (dans le cas, AKO_1.zip), quel est le plus facile?

J'imagine que dans le premier cas, je dois rajouter un mv a la commande alors que dans l'autre cas il me faut le résultat inverse que je couple par un rm.

mv n'est pas une mauvaise idée. Tout dépend de ton but.
Personnellement, je ferais ce que je proposais au début. Un grep et un rm.

Code:

---

blablabla | grep -v -f - <(find . -iname "AKO_*" )

---

puis, quand tu es sûr:

Code:

---

blablabla | grep -v -f - <(find . -iname "AKO_*" ) | xargs rm -f

---

Euuuh j'ai fait "man blablabla" et rien.. :aie:
Bon d'accord j’arrête d’être *** :mrgreen:

Pour bien comprendre, pour les paramètres du grep :
-v : j'inverse le résultat de la sélection
-f : je prend les fichiers
- <(find . -iname "AKO_*) : qui commencent par AKO_

Est ce a peu près ça?

Et pour le xargs (j'avais jamais vu cette commande mais elle a l'air puissante) j'arrive pas a saisir pourquoi un "| rm -f" (ou mv) ne suffit pas :oops:

Bonjour,

Oui, il n'y a pas de manuel pour 'blablabla', et comme certain qui le mette dans leur signature, on peut faire un man man mais pas man woman...:aie:

Bon, sérieusement, concernant xargs, il permet de passer des arguments à des commande qui en attendent:
-le pipe est comme un fichier, la commande à sa gauche écrit dedans, la commande à sa droite lit dedans.
-Tu as 2 type de commande standard sous unix/linux, celles qui attendent un fichier en paramètre, et celles qui attendent un argument.
Et donc comme le pipe est un fichier, la commande à sa droite doit être du type de celle qui attendent un fichier.
Pour les commandes qui attendent un argument que l'on veut utiliser avec un pipe, il y a la commande xargs.

Hum... pas très clairs mes explications...:calim2:

Le pipe est un "évitement" de fichier temporaire. Au lieu d'avoir

Code:

---

1 2 3

ls >/tmp/montmp grep 'txt' /tmp/montmp rm -f /tmp/montmp

---

on fait

Code:

---

ls | grep 'txt'

---

[Ce que tu sembles avoir loupé]

• le tiret indique l'entrée (ou sortie) standard.
  Ici, on indique à grep que le fichier utilisé par l'option -f est l'entrée standard, donc ce qui sort du pipe.
• <( ) est un substitution de processus. Le résultat est considéré comme un fichier.
  Ainsi on peut avoir une commande while .... do ... done < <( ... ) et l'espace entre les '<' n'est pas inutile du tout. C'est une redirection d'une substitution de processus considérée comme fichier.
• Au final, on filtre notre liste de bon fichier d'une liste de tous les fichiers possibles.

[/Ce que tu sembles avoir loupé]

Bon bah j'ai loupé pas mal de chose alors :aie:

Merci de votre patience et de votre aide ;)