Discussion :

[marcoxavier]

Bonjour,

j'ai fais un petit script shell pour faire le listing des fichiers d'un répertoire et le comparer à tous les fichiers de 2 autres répertoire, afin de vérifier s'il trouve 2 fichiers identiques.

Voici mon script:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
#!/bin/bash
 
files1=()
files2=()
 
# Directories to compare. Adding quotes at the begining and at the end of each files found in content1 & content3
 
content2=$(find /data/logs -name "*.log" -type f)
content1=$(find /data/other/logs1 -type f | sed 's/^/"/g' | sed 's/$/"/g')
content3=$(find /data/other/logs2 -type f | sed 's/^/"/g' | sed 's/$/"/g')
 
# ADDING CONTENT INTO FILES1 & FILES2 ARRAY
while read -r line; do
        files1+=("$line")
done <<< "$content1"
 
# content1 and content3 goes into the same array
while read -r line3;do
        files1+=("$line3")
done <<< "$content3"
 
while read -r line2; do
        files2+=("$line2")
done <<< "$content2"
 
 
# Here i'm trying to compare 1 by 1 the files in files2 to all files1
for ((i=0; i<${#files2[@]}; i++))
do
        for ((j=0; j<${#files1[@]}; j++))
        do
                if [[ -n ${files2[$i]} ]];then
                        diff -s "${files2[$i]}" "${files1[$j]}" > /dev/null
                        if [[ $? == 0 ]]; then
                                echo ${files1[$j]} "est identique a" ${files2[$i]}
                                unset 'files2[$i]'
                                break
                        fi
                fi
        done
done
 
#SHOW THE FILES THAT DIDN'T MATCHED ANYTHING
echo ${files2[@]}

J'ai l'erreur suivante : diff: "/data/content3/other/log2/perso log/somelog.log": Aucun fichier ou dossier de ce type

Pourtant le fichier existe quand je fait un ls sur le même chemin:

ll "/data/content3/other/log2/perso log/somelog.log"
-rw-rw-r-- 2 lopom lopom 551M 30 oct. 18:53 '/data/content3/other/logs2/perso log/somelog.log'

J'ai selon moi besoin des guillements car dans certains chemins il peut y avoir des espaces, et diff l'interprète mal.

J'ai essayé de mettre les valeurs dans les tableaux avec des simples guillemets mais ca ne résous pas le problème.

J'espère avoir été assez compréhensible, je reste disponible si vous avez des questions.

Merci par avance

[papajoker]

bonjour

J'ai l'erreur suivante : diff: "/data/content3/other/log2/perso log/somelog.log": Aucun fichier ou dossier de ce type
Pourtant le fichier existe

En fait existe le fichier /data/content3/other/log2/perso log/somelog.log mais pas "/data/content3/other/log2/perso log/somelog.log"Il faut donc juste supprimer les sed avec le find

[marcoxavier]

bonjour

En fait existe le fichier /data/content3/other/log2/perso log/somelog.log mais pas "/data/content3/other/log2/perso log/somelog.log"Il faut donc juste supprimer les sed avec le find

Hello,

Merci de ta réponse, mais dans ce cas comment je fais pour pas que l'espacement dans le chemin du fichier pose problème lors du diff ? Parce que du coup sans les guillements il m'interprète l'espace comme une valeur à comparer.
Ca me sort l'erreur :

diff: opérande supplémentaire « log/somelog.log »

[balkany]

Pas de variable, lecture directe avec séparateur nul :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
while IFS='' read -r -d '' line; do
  …
done < <(find /data/other/logs1 -type f -print0)

[N_BaH]

• l'initialisation des tableau n'est pas utile
• pourquoi stocker les données dans des variables "plates" pour ensuite les mettre dans un tableau ?!
• le parcours du deuxième tableau autant de fois qu'il y a d'éléments dans le premier peut prendre énormément de temps.
• Rappel : la structure de [if] c'est if COMMANDES; then COMMANDES; [ elif COMMANDES; then COMMANDES; ]... [ else COMMANDES; ] fi, donc, tester la valeur de retour d'une commande qui vient d'être exécutée est un non-sens.
• unset 'tableau[$indice]' va continuellement supprimer le premier élément du tableau, parce que $indice ne sera développé entre des apostrophes !

pourquoi ne pas parcourir l'arborescence du premier répertoire, et tester l'existence et la similitude du fichier correspondant dans le second répertoire ?
il faut nous en dire plus sur la profondeur des répertoires.

[marcoxavier]

Bonjour,

Merci de vos réponse.
Pour te répondre N_BaH point par point :

- l'initialisation des tableau n'est pas utile
- pourquoi stocker les données dans des variables "plates" pour ensuite les mettre dans un tableau ?!

Pour ces deux points je ne suis pas encore passé sur la relecture et l'optimisation du script, effectivement c'est à revoir.

- Le parcours du deuxième tableau autant de fois qu'il y a d'éléments dans le premier peut prendre énormément de temps.

C'est vrai mais ce n'est pas un problème pour l'utilisation que je vais en faire, après si tu as une solution pour optimiser le temps de traitement je suis preneur.

- Rappel : la structure de [if] c'est if COMMANDES; then COMMANDES; [ elif COMMANDES; then COMMANDES; ]... [ else COMMANDES; ] fi, donc, tester la valeur de retour d'une commande qui vient d'être exécutée est un non-sens.

Je suppose que tu parle de cette ligne : if [[ -n ${files2[$i]} ]]

Effectivement dans une ancienne version du script ca posait problème de ne pas le mettre, mais je peux le retirer.

unset 'tableau[$indice]' va continuellement supprimer le premier élément du tableau, parce que $indice ne sera développé entre des apostrophes !

Je ne vois pas ce que tu veux dire par la, si tu peux développer ?

pourquoi ne pas parcourir l'arborescence du premier répertoire, et tester l'existence et la similitude du fichier correspondant dans le second répertoire ?

Alors pour être plus précis, j'utilise diff car le nom des fichiers n'est pas le même entre les 2 répertoires. Ensuite il existe beaucoup de sous dossier, l'arborescence pour un même fichier n'est pas identique dans les 2 répertoires. Justement la double boucle for, me permet de tester s'il existe 2 fichiers identiques dans ces deux répertoires, ce que je ne sais pas en avance.
Le find -type f lui prend tous les fichiers du dossier que je lui donne y compris les sous dossier.

En fait je ne suis pas sur de comprendre ce que tu entends pas la, car c'est déjà ce que je fais ? Je prend le fichier 1 et je regarde s'il existe un même fichier dans l'autre répertoire.

J'espère que j'aurai été assez clair :s ?

Merci encore.

[marcoxavier]

Pas de variable, lecture directe avec séparateur nul :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
while IFS='' read -r -d '' line; do
  …
done < <(find /data/other/logs1 -type f -print0)

C'est une possibilité mais je ne pense pas que cela règle le problème du diff

[balkany]

Si, tes noms de fichier seront correctement protégés.

[disedorgue]

Si tout est mis correctement dans tes tableaux, autant passer par des boucle for de type liste d'argument, comme ça pas de soucis avec les espaces...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
for i in ${file2[@]}
do
...
...
done

Ici, c'est "$i" qui porte le nom du fichier...

[N_BaH]

- Rappel : la structure de [if] c'est if COMMANDES; then COMMANDES; [ elif COMMANDES; then COMMANDES; ]... [ else COMMANDES; ] fi, donc, tester la valeur de retour d'une commande qui vient d'être exécutée est un non-sens.

Je suppose que tu parle de cette ligne : if [[ -n ${files2[$i]} ]]

non, je parle du if après le diff.

unset 'tableau[$indice]' va continuellement supprimer le premier élément du tableau, parce que $indice ne sera développé entre des apostrophes !

Je ne vois pas ce que tu veux dire par la, si tu peux développer ?

ah! je viens de refaire un test, et il y a un truc bizarre :
une variable entre apostrophe n'est pas développée :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
$ var=abc
$ echo '$var'
$var

mais lors d'une "désassignation" par unset d'un élément d'un tableau désigné par un indice, le développement est correctement effectué. bizarre.
ne tiens pas compte de ma remarque alors.

pourquoi ne pas parcourir l'arborescence du premier répertoire, et tester l'existence et la similitude du fichier correspondant dans le second répertoire ?

Alors pour être plus précis, j'utilise diff car le nom des fichiers n'est pas le même entre les 2 répertoires. Ensuite il existe beaucoup de sous dossier, l'arborescence pour un même fichier n'est pas identique dans les 2 répertoires. Justement la double boucle for, me permet de tester s'il existe 2 fichiers identiques dans ces deux répertoires, ce que je ne sais pas en avance.
Le find -type f lui prend tous les fichiers du dossier que je lui donne y compris les sous dossier.

En fait je ne suis pas sur de comprendre ce que tu entends pas la, car c'est déjà ce que je fais ? Je prend le fichier 1 et je regarde s'il existe un même fichier dans l'autre répertoire.

ok, je note.

déjà, on peut "simplifier" :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
#!/bin/bash
 
readarray -d '' files1 < <(find /data/logs -name "*.log" -type f -print0; find /data/other/logs1 -type f -print0)
readarray -d '' files2 < <(find /data/other/logs2 -type f -print0)

mais... sais-tu que diff peut faire du récursif et remonter les fichiers qui différent dans des hiérarchies différentes ? ton script n'a alors plus beaucoup de raison d'être.

[marcoxavier]

Merci pour la simplification à la fin, c'est plus optimisé et marche tout pareil !

Alors pour le diff, ouais je viens de voir avec -r pour la récursivité. Mais bon pour tester tous mes fichiers du répertoire 1 a ceux du répertoire 2 je dois toujours faire une boucle.
Mais whatever; je sais même plus si mon problème persiste avec toutes les modifications que j'ai faite.

Je fais le point avec moi même et je reviens vers vous, merci

[N_BaH]

Mais bon pour tester tous mes fichiers du répertoire 1 a ceux du répertoire 2 je dois toujours faire une boucle.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
diff -qr /data/logs /data/other/logs2
diff -qr /data/other/logs1 /data/other/logs2

et hop!
pourquoi pas ?

[marcoxavier]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
diff -qr /data/logs /data/other/logs2
diff -qr /data/other/logs1 /data/other/logs2

et hop!
pourquoi pas ?

Ca ne va pas essayer de comparer tout le dossier a l'autre dossier ?
En plus de cela je dois garder dans un tableau ou autre chaque fichier qui n'a pas été trouvé dans le 2ème répertoire

[N_BaH]

Ca ne va pas essayer de comparer tout le dossier a l'autre dossier ?

ce n'est pas ce que tu veux faire ?

En plus de cela je dois garder dans un tableau ou autre chaque fichier qui n'a pas été trouvé dans le 2ème répertoire

on peut traiter la sortie des diff dans une boucle...

Code En gros :

Sélectionner tout - Visualiser dans une fenêtre à part

while read sortie; do case $sortie in 'je sais pas quoi' ) chaispasquoi+=( "$sortie" );; 'quoi dautre') quoidautre+=( "$sortie");; esac; done < <(diff ...; diff ...)

[papajoker]

j'ai de gros doutes avec "diff -r"

j'utilise diff car le nom des fichiers n'est pas le même entre les 2 répertoires.

Donc ici on compare toto.txt avec tata.txt ? "diff -r" ne le fait pas

[jack-ft]

Voici mon script:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
#!/bin/bash
...
                if [[ -n ${files2[$i]} ]];then
                        diff -s "${files2[$i]}" "${files1[$j]}" > /dev/null
                        if [[ $? == 0 ]]; then

• Rappel : la structure de [if] c'est if COMMANDES; then COMMANDES; [ elif COMMANDES; then COMMANDES; ]... [ else COMMANDES; ] fi, donc, tester la valeur de retour d'une commande qui vient d'être exécutée est un non-sens.

Ce que j'imagine que veut dire N_BaH, c'est que tu peux remplacer ce code par:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
#!/bin/bash
...
                if test -n "${files2[$i]}"; then
                        if diff -s "${files2[$i]}" "${files1[$j]}" > /dev/null
                        then

d'ailleurs, si tu veux juste comparer 2 fichiers sans réellement te préoccuper des différences, il est probablement beaucoup plus efficace d'utiliser cmp, car son algorithme est bôôôôcoup plus simple et, entre autres, il arrête la comparaison à la première différence trouvée :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
#!/bin/bash
...
                if test -n "${files2[$i]}"; then
                        if cmp -s "${files2[$i]}" "${files1[$j]}"
                        then

[marcoxavier]

Hello,

J'ai modifié un peu le script et il fonctionne comme ca :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
#!/bin/bash
 
readarray -d '' files1 < <(find path1 -type f -print0; find path2 -type f -print0)
readarray -d '' files2 < <(find path3 -name *.log ! -name '*sample*' -type f -print0)
 
for ((i=0; i<${#files2[@]}; i++))
do
        for ((j=0; j<${#files1[@]}; j++))
        do
                diff -s "${files2[$i]}" "${files1[$j]}" > /dev/null
                if [[ $? == 0 ]]; then
                        present="yes"
                        echo ${files1[$j]} "est identique a" ${files2[$i]}
                        break
                else
                        present="no"
                fi
        done
        if [[ $present == "no" ]]; then
                if [[ -n ${files2[$i]} ]];then
                        result+=("${files2[$i]}")
                        echo ${result[@]} "n'est pas présent"
                fi
        fi
done
 
echo ${result[@]}

Merci pour votre aide

[N_BaH]

Ce que j'imagine que veut dire N_BaH, c'est que tu peux remplacer ce code par:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
#!/bin/bash
...
                if test -n "${files2[$i]}"; then
                        if diff -s "${files2[$i]}" "${files1[$j]}" > /dev/null
                        then

non, non.
ce dont je parle, c'est ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
diff -s "${files2[$i]}" "${files1[$j]}" > /dev/null
if [[ $? == 0 ]]

qui devrait être

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

if diff -s "${files2[$i]}" "${files1[$j]}" > /dev/null; then... fi

j'ai de gros doutes avec "diff -r"

j'utilise diff car le nom des fichiers n'est pas le même entre les 2 répertoires.

Donc ici on compare toto.txt avec tata.txt ? "diff -r" ne le fait pas

évidemment !


EDIT : puisque tu n'utilises pas de bornes, for ((i=0; i<${#files2[@]}; i++)) peut être remplacé par for i in ${!files2[*]}; pareil pour j.

[Flodelarab]

Bonjour

Pourquoi un test étendu if [[ $present == "no" ]]; then, quand un test simple suffit ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
if [ "$present" = "no" ]
then

[marcoxavier]

Effectivement je l'ai corrigé, et d'autres chose d'ailleurs, que je n'ai pas reposté depuis.
Par exemple j'ai mis mon diff dans une condition IF comme me l'a préconisé N_BaH plus tôt dans la discution, je n'ai simplement pas posté le script à jour. Néanmoins celui que j'ai mis fonctionne, il y juste quelques petites améliorations à faire