Discussion :

[marcoxavier]

Bonjour,

j'ai fais un petit script shell pour faire le listing des fichiers d'un répertoire et le comparer à tous les fichiers de 2 autres répertoire, afin de vérifier s'il trouve 2 fichiers identiques.

Voici mon script:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
#!/bin/bash
 
files1=()
files2=()
 
# Directories to compare. Adding quotes at the begining and at the end of each files found in content1 & content3
 
content2=$(find /data/logs -name "*.log" -type f)
content1=$(find /data/other/logs1 -type f | sed 's/^/"/g' | sed 's/$/"/g')
content3=$(find /data/other/logs2 -type f | sed 's/^/"/g' | sed 's/$/"/g')
 
# ADDING CONTENT INTO FILES1 & FILES2 ARRAY
while read -r line; do
        files1+=("$line")
done <<< "$content1"
 
# content1 and content3 goes into the same array
while read -r line3;do
        files1+=("$line3")
done <<< "$content3"
 
while read -r line2; do
        files2+=("$line2")
done <<< "$content2"
 
 
# Here i'm trying to compare 1 by 1 the files in files2 to all files1
for ((i=0; i<${#files2[@]}; i++))
do
        for ((j=0; j<${#files1[@]}; j++))
        do
                if [[ -n ${files2[$i]} ]];then
                        diff -s "${files2[$i]}" "${files1[$j]}" > /dev/null
                        if [[ $? == 0 ]]; then
                                echo ${files1[$j]} "est identique a" ${files2[$i]}
                                unset 'files2[$i]'
                                break
                        fi
                fi
        done
done
 
#SHOW THE FILES THAT DIDN'T MATCHED ANYTHING
echo ${files2[@]}

J'ai l'erreur suivante : diff: "/data/content3/other/log2/perso log/somelog.log": Aucun fichier ou dossier de ce type

Pourtant le fichier existe quand je fait un ls sur le même chemin:

ll "/data/content3/other/log2/perso log/somelog.log"
-rw-rw-r-- 2 lopom lopom 551M 30 oct. 18:53 '/data/content3/other/logs2/perso log/somelog.log'

J'ai selon moi besoin des guillements car dans certains chemins il peut y avoir des espaces, et diff l'interprète mal.

J'ai essayé de mettre les valeurs dans les tableaux avec des simples guillemets mais ca ne résous pas le problème.

J'espère avoir été assez compréhensible, je reste disponible si vous avez des questions.

Merci par avance

[papajoker]

bonjour

J'ai l'erreur suivante : diff: "/data/content3/other/log2/perso log/somelog.log": Aucun fichier ou dossier de ce type
Pourtant le fichier existe

En fait existe le fichier /data/content3/other/log2/perso log/somelog.log mais pas "/data/content3/other/log2/perso log/somelog.log"Il faut donc juste supprimer les sed avec le find

[marcoxavier]

bonjour

En fait existe le fichier /data/content3/other/log2/perso log/somelog.log mais pas "/data/content3/other/log2/perso log/somelog.log"Il faut donc juste supprimer les sed avec le find

Hello,

Merci de ta réponse, mais dans ce cas comment je fais pour pas que l'espacement dans le chemin du fichier pose problème lors du diff ? Parce que du coup sans les guillements il m'interprète l'espace comme une valeur à comparer.
Ca me sort l'erreur :

diff: opérande supplémentaire « log/somelog.log »

[balkany]

Pas de variable, lecture directe avec séparateur nul :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
while IFS='' read -r -d '' line; do
  …
done < <(find /data/other/logs1 -type f -print0)

[N_BaH]

• l'initialisation des tableau n'est pas utile
• pourquoi stocker les données dans des variables "plates" pour ensuite les mettre dans un tableau ?!
• le parcours du deuxième tableau autant de fois qu'il y a d'éléments dans le premier peut prendre énormément de temps.
• Rappel : la structure de [if] c'est if COMMANDES; then COMMANDES; [ elif COMMANDES; then COMMANDES; ]... [ else COMMANDES; ] fi, donc, tester la valeur de retour d'une commande qui vient d'être exécutée est un non-sens.
• unset 'tableau[$indice]' va continuellement supprimer le premier élément du tableau, parce que $indice ne sera développé entre des apostrophes !

pourquoi ne pas parcourir l'arborescence du premier répertoire, et tester l'existence et la similitude du fichier correspondant dans le second répertoire ?
il faut nous en dire plus sur la profondeur des répertoires.

[marcoxavier]

Bonjour,

Merci de vos réponse.
Pour te répondre N_BaH point par point :

- l'initialisation des tableau n'est pas utile
- pourquoi stocker les données dans des variables "plates" pour ensuite les mettre dans un tableau ?!

Pour ces deux points je ne suis pas encore passé sur la relecture et l'optimisation du script, effectivement c'est à revoir.

- Le parcours du deuxième tableau autant de fois qu'il y a d'éléments dans le premier peut prendre énormément de temps.

C'est vrai mais ce n'est pas un problème pour l'utilisation que je vais en faire, après si tu as une solution pour optimiser le temps de traitement je suis preneur.

- Rappel : la structure de [if] c'est if COMMANDES; then COMMANDES; [ elif COMMANDES; then COMMANDES; ]... [ else COMMANDES; ] fi, donc, tester la valeur de retour d'une commande qui vient d'être exécutée est un non-sens.

Je suppose que tu parle de cette ligne : if [[ -n ${files2[$i]} ]]

Effectivement dans une ancienne version du script ca posait problème de ne pas le mettre, mais je peux le retirer.

unset 'tableau[$indice]' va continuellement supprimer le premier élément du tableau, parce que $indice ne sera développé entre des apostrophes !

Je ne vois pas ce que tu veux dire par la, si tu peux développer ?

pourquoi ne pas parcourir l'arborescence du premier répertoire, et tester l'existence et la similitude du fichier correspondant dans le second répertoire ?

Alors pour être plus précis, j'utilise diff car le nom des fichiers n'est pas le même entre les 2 répertoires. Ensuite il existe beaucoup de sous dossier, l'arborescence pour un même fichier n'est pas identique dans les 2 répertoires. Justement la double boucle for, me permet de tester s'il existe 2 fichiers identiques dans ces deux répertoires, ce que je ne sais pas en avance.
Le find -type f lui prend tous les fichiers du dossier que je lui donne y compris les sous dossier.

En fait je ne suis pas sur de comprendre ce que tu entends pas la, car c'est déjà ce que je fais ? Je prend le fichier 1 et je regarde s'il existe un même fichier dans l'autre répertoire.

J'espère que j'aurai été assez clair :s ?

Merci encore.

[marcoxavier]

Pas de variable, lecture directe avec séparateur nul :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
while IFS='' read -r -d '' line; do
  …
done < <(find /data/other/logs1 -type f -print0)

C'est une possibilité mais je ne pense pas que cela règle le problème du diff

[balkany]

Si, tes noms de fichier seront correctement protégés.

[jack-ft]

Voici mon script:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
#!/bin/bash
...
                if [[ -n ${files2[$i]} ]];then
                        diff -s "${files2[$i]}" "${files1[$j]}" > /dev/null
                        if [[ $? == 0 ]]; then

• Rappel : la structure de [if] c'est if COMMANDES; then COMMANDES; [ elif COMMANDES; then COMMANDES; ]... [ else COMMANDES; ] fi, donc, tester la valeur de retour d'une commande qui vient d'être exécutée est un non-sens.

Ce que j'imagine que veut dire N_BaH, c'est que tu peux remplacer ce code par:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
#!/bin/bash
...
                if test -n "${files2[$i]}"; then
                        if diff -s "${files2[$i]}" "${files1[$j]}" > /dev/null
                        then

d'ailleurs, si tu veux juste comparer 2 fichiers sans réellement te préoccuper des différences, il est probablement beaucoup plus efficace d'utiliser cmp, car son algorithme est bôôôôcoup plus simple et, entre autres, il arrête la comparaison à la première différence trouvée :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
#!/bin/bash
...
                if test -n "${files2[$i]}"; then
                        if cmp -s "${files2[$i]}" "${files1[$j]}"
                        then

[N_BaH]

Ce que j'imagine que veut dire N_BaH, c'est que tu peux remplacer ce code par:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
#!/bin/bash
...
                if test -n "${files2[$i]}"; then
                        if diff -s "${files2[$i]}" "${files1[$j]}" > /dev/null
                        then

non, non.
ce dont je parle, c'est ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
diff -s "${files2[$i]}" "${files1[$j]}" > /dev/null
if [[ $? == 0 ]]

qui devrait être

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

if diff -s "${files2[$i]}" "${files1[$j]}" > /dev/null; then... fi

j'ai de gros doutes avec "diff -r"

j'utilise diff car le nom des fichiers n'est pas le même entre les 2 répertoires.

Donc ici on compare toto.txt avec tata.txt ? "diff -r" ne le fait pas

évidemment !


EDIT : puisque tu n'utilises pas de bornes, for ((i=0; i<${#files2[@]}; i++)) peut être remplacé par for i in ${!files2[*]}; pareil pour j.

[Flodelarab]

Bonjour

Pourquoi un test étendu if [[ $present == "no" ]]; then, quand un test simple suffit ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
if [ "$present" = "no" ]
then

[marcoxavier]

Effectivement je l'ai corrigé, et d'autres chose d'ailleurs, que je n'ai pas reposté depuis.
Par exemple j'ai mis mon diff dans une condition IF comme me l'a préconisé N_BaH plus tôt dans la discution, je n'ai simplement pas posté le script à jour. Néanmoins celui que j'ai mis fonctionne, il y juste quelques petites améliorations à faire

[jack-ft]

j'ai mis mon diff dans une condition IF comme me l'a préconisé N_BaH plus tôt dans la discution

Et ma préconisation de remplacer diff par cmp ?

cmp fait une très simple comparaison byte par byte et sort dès qu'un byte diffère.

diff, lorsqu'il trouve des différences, essaie de trouver des morceaux qui se ressemblent, en comparant diverses lignes en avant et en arrière (grosso modo).
Il est prévu pour afficher une visualisation lisible par un humain (ou pour générer de quoi faire un merge).

Il me semble que cmp répond mieux à ton besoin que diff, non ?

[N_BaH]

Pourquoi un test étendu if [[ $present == "no" ]]; then, quand un test simple suffit ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
if [ "$present" = "no" ]
then

voire un simple test :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

if test "$present" = 'no'

[jack-ft]

non, non.

[chipotage]J'aurais préféré un "non, oui" plutôt qu'un "non, non" ;-)

J'ai voulu faire vite... je ne voulais pas dire que tu préconisais if test...,

mais, pour la ligne suivante if diff..., je ne vois pas de différence entre nos codes.

[/chipotage]