Discussion :

[troumad]

Bonsoir

J'aimerai générer un liste des md5 des fichiers d'un répertoires et de ses sous répertoires. J'ai trouvé ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find * . -exec md5sum {} \; 2>/dev/null

Je récupère ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
bdb8382a35bc6fe5017ffb9fd60dcf72  common/installed/TomTom-Cfg/release.nfo
23f2ad75e1fe8e44ad5d5768d7b101cf  common/installed/electric_vehicle_resources/ev_pois/electric_vehicle_stationOv2.ver
266e217fd77047a5a29444b7d98a300d  common/installed/electric_vehicle_resources/ev_pois/electric_vehicle_station.inf
99eaa13133365469966ce0a0af160d31  common/installed/electric_vehicle_resources/ev_pois/electric_vehicle_station.rpf

Mais j'aurais aimé avoir ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
bdb8382a35bc6fe5017ffb9fd60dcf72  *common/installed/TomTom-Cfg/release.nfo
23f2ad75e1fe8e44ad5d5768d7b101cf  *common/installed/electric_vehicle_resources/ev_pois/electric_vehicle_stationOv2.ver
266e217fd77047a5a29444b7d98a300d  *common/installed/electric_vehicle_resources/ev_pois/electric_vehicle_station.inf
99eaa13133365469966ce0a0af160d31  *common/installed/electric_vehicle_resources/ev_pois/electric_vehicle_station.rpf

Il y a une astuce simple en bash ? Ou je dois me faire un petit programme en C ? Juste pour le plaisir de voir une astuce bash...

[BufferBob]

salut,

déjà on doit pouvoir améliorer juste un chouillat le find find * -type f -exec md5sum {} \;, on ne sélectionne que les fichiers, comme ça on est tranquille.

ensuite si je comprends bien il s'agit juste de rajouter une astérisque devant le nom de fichier, comme ce qui le précède est de taille fixe on peut s'en sortir assez facilement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find * -type f -exec md5sum {} \; | awk '{print substr($0,1,34) "*" substr($0,35)}'

la version bash :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
find * -type f -exec md5sum {} \; | while read line; do
   echo "${line:0:33} *${line:34}"
done

[troumad]

Merci

Tu avais tout bien compris. Ça marche. Par contre, je ne comprends pas exactement tout...

Je ne vois pas où trouver la doc sur le print, enfin quelque chose de plus clair que le man en anglais.
Où peut-on trouver une doc sur le "${line:0:33}" ?

[troumad]

Encore moi...

je me suis rendu compte qu'il valait mieux faireun tri dans l'ordre alphabétique des noms. Je n'ai pas trouvé l'option avec find, j'ai donc fait ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find * -type f |  sort | while read line; do echo `md5sum "$line"`; done | while read line; do    echo "${line:0:32} *${line:33}"; done

Mais, y a t'il plus simple ?

(toujours épaté par la force du bash)

[Flodelarab]

Bonjour

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find * -type f -exec md5sum {} \; | sed 's/  /  */' | sort

D'abord, "find" ne fait pas de tri.

Ensuite, je trouve louche de mettre * pour cible de "find".

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find -type f -exec md5sum {} \; | sed 's@  ./@  *@' | sort

Ces 2 commandes donnent le même résultat, non ?

[troumad]

Ces deux commandes génèrent bien le même résultat, mais le tri n'est pas le tri demandé : en fonction du nom du fichier.

[Flodelarab]

Demande la deuxième colonne pour tri.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find -type f -exec md5sum {} \; | sed 's@  ./@  *@' | sort -k2

[disedorgue]

Non, pas besoin de sed et autre awk, le monsieur veux traiter des fichiers "binaires", donc ceci devrait suffire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find -type f -exec md5sum -b {} \; | LC_COLLATE=C sort -k2

Le LC_COLLATE=C est pour forcer le sort à utiliser la locale C pour le tri et le -k2 pour lui dire de trier sur la deuxième colonne, donc les noms de fichiers.

[troumad]

Je viens de voir la différence entre "find" et "find *".
C'est le "find *" qui me convient. Voici dans l'ordre les deux sorties :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
be086323f0bb846946671dc910356b42 *./HELP/.DS_Store
be086323f0bb846946671dc910356b42 *HELP/.DS_Store

Donc, le

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find * -type f -exec md5sum -b {} \; | LC_COLLATE=C sort -k2

semble convenir.

Le * apparait à cause du -b de md5sum. Mais, on dirait que ça ne donne rien quant aux fichiers choisis et au md5sum final.

[N_BaH]

intuitivement, find * ne me plaît pas.
je subodore une problème pouvant survenir sur la longueur d'une ligne de commande, parce que c'est le shell qui interprète cet astérisque.
donc, si tu beaucoup de fichiers dans le répertoire local, avec, en plus, des noms très longs, le noyau va dire "stop : ligne trop longue, blablabla...".

de plus, moi, j'ai toujours un fichier nommé

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
mon
fait
chier

le bien nommé. et, là, patatras pour les pipes
=>

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
rep='./'
find "$rep" -type f -exec md5sum --binary --zero {} \; | sort --zero-terminated --key=2,2 | xargs --replace={} --null echo "{}" |  sed 's@*'"$rep"'@*@'

[troumad]

Salut

Comment crées-tu ton fichier "chiant" ?

Au sort, pourquoi le ,2 au --key2,2 ? Comme tous les fichiers ont tous ./ au début.
Je ne comprends pas non plus le xargs. Le --remplace remplace quoi exactement ? Le --null est là pour des fichiers qui contiennent quelle(s) sorte(s) d'anomalie(s) ?
Et le sed n'a pas de / mais des @. Pourquoi ?

[N_BaH]

dans l'ordre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
> mon'
'fait'
'chier

le > n'est pas le PROMPT du terminal; c'est un opérateur de redirection.

l'habitude de définir précisément le champ sur lequel doit s'appliquer le tri - ici, du champ #2 au champ #2.

le replace remplace/"matérialise" l'argument passé sur l'entrée standard de xargs - ici, le nom du fichier.

le null définit le séparateur d'argument - \0 (NULL) à la place de \n.

parce que le chemin contient des /, alors sed ne va pas comprendre où commencent et finissent les parties de la substitution.

autre chose ?
je peux...?

[jack-ft]

parce que le chemin contient des /, alors sed ne va pas comprendre où commencent et finissent les parties de la substitution.

autre chose ?
je peux...?

Oui: autre chose ?
je peux...?

Et ça marche aussi avec un fichier "@ussi chi@nt" ?

Du coup, il me semble que, outre la possibilité (un peu alambiquée et à l'issue pas nécessairement sûre) de chercher (et peut-être trouver) un caractère absent du nom du fichier à utiliser comme séparateur de la substitution de "sed", la solution sécurisée consisterait plutôt à choisir n'importe quel séparateur (par exemple, le "/") et à quoter toutes ses occurrences dans le nom de fichier, non?

Disons quelque chose comme (partiellement testé):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
rep='./'
find "$rep" -type f -exec md5sum --binary --zero {} \; | sort --zero-terminated --key=2,2 | xargs --replace={} --null echo "{}" \
  |  sed -e "s/*$(echo "$rep" | sed -e 's|/|\\/|g')/*/"

ou bien, pour faire plus joli (et plus lisible...):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
rep='./'
find "$rep" -type f -exec md5sum --binary --zero {} \; | sort --zero-terminated --key=2,2 | xargs --replace={} --null echo "{}" \
  |  sed -e "s/*$(echo "$rep" | sed -e 's/\//\\\//g')/*/"

Pour simplifier encore plus, j'imagine qu'on peut aussi utiliser les (tout aussi élégants et lisibles) Remplacements des paramètres (merci N_BaH pour le lien):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
rep='./'
find "$rep" -type f -exec md5sum --binary --zero {} \; | sort --zero-terminated --key=2,2 | xargs --replace={} --null echo "{}" \
  |  sed 's/*'"${rep//\//\\/}"'/*/'

J'ai encore entendu quelqu'un dire que je pinaillais...

[Flodelarab]

(merci N_BaH pour le lien)

Vous êtes gonflés. C'est le manuel.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

man bash

Fonctionne même sans internet.

[disedorgue]

Si on veut pinailler, on peut se passer aussi du sed :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
rep='./'
find "$rep" -type f -printf "%P\0" | sort --zero-terminated | xargs --null --replace={} md5sum -b "{}"

PS: Ma version de md5sum n'a pas l'option --zero.

[troumad]

Cette fois, je commence à être complètement perdu... Le soir avant aller se coucher, ça n'aide pas pour faire une bonne nuit tout ça !

La variable rep devient inutile dans le dernier. Non ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find "./" -type f -printf "%P\0" | sort --zero-terminated | xargs --null --replace={} md5sum -b "{}"

[jack-ft]

[HS]

man bash fonctionne même sans internet.

Ouais... C'est pas faux!

Sauf que:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ man bash | wc -l
    4890
$ echo "$(man bash | wc -l) / $LINES" | bc
92

Voilà! Un manuel qui fait 92 pages, j'ai une très légère préférence pour le regarder avec un vrai formatage et des bons outils de navigation (comme: je vois d'un coup d'oeil la liste de tous les chapitres et sous-chapitres et je clique sur celui qui m'intéresse) plutôt qu'en VT100...
Na!
[/HS]