Shell et gestion de répertoire

Version imprimable

26/08/2010, 15h06
ptit_dav

Shell et gestion de répertoire

Bonjour,
pas trop familiarisé avec le shell, j'ai une demande de travaux avec, à savoir re-découper une arborescence de répertoire et je demande votre aide, au moins sur les pistes à suivre.

La problématique : Un répertoire existe et suite à une extraction de fichiers dedans, se présente autant de répertoires que de fichiers générés. Le problème c'est la volumétrie trop importante, car il y en a directement dedans 130.000, or le file system utilisé ne peut excéder les 30.000 éléments par répertoire, donc temporairement celui-ci a été changé, mais cela va revenir comme avant.

Au niveau du nommage du répertoire, il s'agit d'une séquence de 6 chiffres. L'idée serait donc de découper les répertoires en ensemble de sous répertoires de chiffre unitaire selon la séquence avec au final le fichier dedans. Ca boucle ainsi de chiffre en chiffre, on se retrouverait ainsi avec une arborescence à 7 niveaux au lieu de 1, ce qui allégerait considérablement le nombre de répertoires et fichier par répertoire et sous répertoire.

ex illustré (/ correspond au séparateur entre répertoire) :
- à la base :
. x le répertoire général racine d'accueil des répertoires et fichiers, nous avons donc =>
x / 123456 / fichier1.
. un deuxième exemple 123457 donne =>
x / 123457 / fichier2.
- résultat voulu : suite à la découpe algorithmique à effectuer, tel que décrite plus haut, nous voulons donc =>
. x / 1 / 2 / 3 / 4 / 5 / 6 / fichier1
. x / 1 / 2 / 3 / 4 / 5 / 7 / fichier2

Donc il va me falloir des pistes sur le nommage et le découpage de répertoire en boucle, car les fichiers ne seront que déplacés.

Je vous remercie pour vos réponses.

edit : Le shell est la piste de départ, mais pas forcément obligatoire non plus, ce qui compte c'est le résultat, si c'est plus simple en perl (que je ne gère pas vraiment non plus), je suis preneur.

Bonjour,

une petite démonstration en guise d'aiguillage :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
for file in x/*
do if [ -d "$file" ]
   then repP="${file%%/*}" repC="${file##*/}"
        printf '%s - %s -> ' "$repP" "$repC"
        for ((x=0; x<${#repC}; x++))
        do tempRep+=(${repC:x:1})
        done
        printf -vnewRep '%s/' "${tempRep[@]}"
        echo "$repP/$newRep"
        unset newRep tempRep
   fi
done
x - 123456 -> x/1/2/3/4/5/6/
x - 123457 -> x/1/2/3/4/5/7/

avec mkdir -p et rm -R, ça devrait rouler...
?

Citation:

Envoyé par N_BaH

Bonjour,

une petite démonstration en guise d'aiguillage :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
for file in x/*
do if [ -d "$file" ]
   then repP="${file%%/*}" repC="${file##*/}"
        printf '%s - %s -> ' "$repP" "$repC"
        for ((x=0; x<${#repC}; x++))
        do tempRep+=(${repC:x:1})
        done
        printf -vnewRep '%s/' "${tempRep[@]}"
        echo "$repP/$newRep"
        unset newRep tempRep
   fi
done
x - 123456 -> x/1/2/3/4/5/6/
x - 123457 -> x/1/2/3/4/5/7/

avec mkdir -p et rm -R, ça devrait rouler...
?

Peut-être un poil obscur pour qqun qui débute en shell non ??? :aie:

Je propose mon algo plus "académique"

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
#!/bin/sh
 
# Traitement de tous les répertoires de "x"
for dir in x/*
do
	# Si ce n'est pas un répertoire on le passe
	test ! -d "$dir" && continue
 
	# On enlève le "x/"
	dir=`basename $dir`
 
	# Décomposition chiffre en répertoires
	new=`echo $dir|sed -e "s/\([0-9]\)/\1\//g"`
	echo "$dir => $new"
 
	# Création de la nouvelle arborescence
	mkdir -p "x/$new"
 
	# Déplacement des fichiers de l'ancien vers le nouveau
	mv "x/$dir/"* "x/$new"
 
        # Effacement ancien répertoire devenu inutile
        rmdir "x/$dir"
done

Test sur cette arborescence

Code:

1
2
3
4
5
6
7
8
9
.
|-- tr.sh   => le script ci-dessus
`-- x
    |-- 123456
    |   `-- fichier1
    `-- 123457
        `-- fichier2
 
3 directories, 3 files

Exécution du script

Citation:

moi@debian:~/aaa$ ./tr.sh
123456 => 1/2/3/4/5/6/
123457 => 1/2/3/4/5/7/

Arborescence après exécution

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
.
|-- tr.sh
`-- x
    `-- 1
        `-- 2
            `-- 3
                `-- 4
                    `-- 5
                        |-- 6
                        |   `-- fichier1
                        `-- 7
                            `-- fichier2
 
8 directories, 3 files

30/08/2010, 17h26
ptit_dav

Impeccable, ça marche parfaitement ! :ccool:

Enfin, j'ai testé sur 200 répertoires, le vrai test, sera sur les 130000, espérons que ce soit juste plus long.