Suppression d'une partie de l'arborescence

Version imprimable

04/01/2015, 01h18
thecrazydonut

2 pièce(s) jointe(s)

Suppression d'une partie de l'arborescence

Bonjour,

Je cherche à réorganiser des données. Un joli dessin vaut mieux qu'un long discours pour décrire la structure de mes données. Actuellement mes données sont organisées comme ça : Pièce jointe 165290

Chaque case sur le joli dessin que j'ai fait représente un dossier. Donc j'ai plusieurs niveaux de dossiers, le premier une année (de 2008 à 2010), le 2e le type de donnée (Pt, Tmin, Tmax), le 3e un nombre (1 à 50), le 4e un autre nombre (1 à 10). Ce dernier dossier contient quelques milliers de fichiers avec un nom unique.

L'arborescence est trop complexe à mon goût et ne facilite pas du tout le traitement des données. Je voudrais réorganiser les données comme ça :
Pièce jointe 165291

C'est à dire que je voudrais donc fusionner les années mais aussi le dernier niveau. Comme les fichiers ont un nom unique, ça ne pose pas de problème de les mettre dans un même dossier.

Ensuite il y a quelques contraintes : j'ai un très grand nombre de fichiers, au total près de 5 millions (oui rien que ça :aie:). Je ne dispose pas d'espace supplémentaire pour faire beaucoup de copier-coller (je ne peux pas avoir 10 millions de fichiers temporairement). Accessoirement, je n'ai pas le droit de perdre des fichiers :P -> fausse manip et je massacre tout ce qui passe à ma portée !

Je patauge, je ne sais pas comment procéder (j'ai même pas une ébauche de code à vous proposer cette fois...)

Merci beaucoup à tous ceux qui se pencheront sur ce problème !

PS : disque dur formaté en fat32. J'ai lu pas mal de choses divergentes sur le nombre de fichiers max que peut contenir un dossier. Est ce que ça peut être un problème ici ?
04/01/2015, 11h40
disedorgue

Bonjour,

En fat32, tu as droit à 2^16 entrées par répertoire nom long compris, donc même si tu as un nombre de fichiers "équi-réparti" dans ton arborescence, tu dépasseras la capacité dans chaque répertoire:

3*50=150
5 000 000/150=33333,333
2^16=65536

Cela semble tenir, mais comme tu précises que tes fichiers ont un nom unique, je suppose que tu utilises des noms longs, on peut donc diviser au moins par 2 le nombre max par répertoire:
65536/2=32768

Petite précision: un nom court sous fat32 c'est 8+3 caractères, un fichier est toujours accessible par un nom court, la casse (minuscule/majuscule) n'est pas prise en compte.

En conclusion: pour l'instant tu es bloqué par ton système de fichier.
04/01/2015, 17h56
thecrazydonut

Merci beaucoup Disedorgue ! Oui tu as raison, ce sont des noms longs qui comportent environ 50 caractères.

Bon, bon, alors je vais devoir revoir mes exigences à la baisse. Bon alors je pose à nouveau la question mais ce coup-ci on garde les dossiers années. Ça reviendrait à simplement fusionner les dossiers de 1 à 10 tout en bas de l'arborescence.

3*3*50=450
5000000/450=11111

Donc c'est censé passer !

Merci !
04/01/2015, 19h06
disedorgue

En fait, après une petite recherche sur le net, j'ai un doute sur la limitation du nombre de fichier possible dans un répertoire (celle-ci semble seulement limité par la taille de la partition, info ICI) :oops:

Ce qui est sur, c'est qu'un nom de fichier de 50 caractères occupe 5 entrées...

Comme tu sembles limité en espace disque, et avant de prendre le moindre risque, peut-être pourrais-tu exposer le pourquoi il te semble plus complexe de garder ton arborescence tel quel ?
04/01/2015, 20h55
thecrazydonut

Comme je l'ai dit dans le premier post, moi aussi je suis tout mêlé à propos du nombre limite de fichiers que peut contenir un dossier. :mouarf:

Alors pourquoi je veux réorganiser ces données : ces données ont été extraite d'une base de données par une tierce personne. Cette personne les a organisé selon un arrangement qui a du sens pour elle. Comme ces données seront amenées à être réutilisées par d'autres personnes que moi, je voulais les réarranger selon une classification plus "neutre".
Le problème majeur vient surtout de la classification entre les fichiers en bas de l'arborescence (ceux du dossier 1->10). Il y a en fait des fichiers qui sont dans le dossier 2 qui devraient appartenir au dossier 1, des fichiers du dossiers 3 qui devraient appartenir au 2, etc. Dernier point, d'un point de vue conceptuel, il me semble que ces fichiers ne devraient pas être séparés.

Oui je suis peut être un peu pinailleur, mais je me dis que c'est aussi bien de faire la manip proprement une fois que de faire une pirouette informatique pas très élégante à chaque fois.

Edit : pourquoi on aurait besoin d'espace supplémentaire pour faire ces changements ? Lorsqu'on renomme un dossier contenant des fichiers, tous les chemins de ces fichiers sont instantanément modifiés... par exemple, si je renomme mon dossier 2008 de l'exemple en 2999, ça se fait instantanément bien qu'il contienne plus de 1M de fichiers.
06/01/2015, 08h38
Sve@r

Citation:

Envoyé par thecrazydonut

Edit : pourquoi on aurait besoin d'espace supplémentaire pour faire ces changements ? Lorsqu'on renomme un dossier contenant des fichiers, tous les chemins de ces fichiers sont instantanément modifiés... par exemple, si je renomme mon dossier 2008 de l'exemple en 2999, ça se fait instantanément bien qu'il contienne plus de 1M de fichiers.

Bonjour

Oui tu as raison. Renommer un dossier dans un même FS revient à changer le nom de ce dossier dans le dossier qui le contient et se fait instantanément sans avoir besoin de place. Mais j'ai bien lu toute la discussion et nulle part il a été dit que t'aurais besoin d'espace supplémentaire.

Perso dans une manip de ce genre, je commencerais par faire une sauvegarde intégrale de l'arborescence. Ca peut se faire dans un tar ou tgz selon la vitesse de ta machine et ton espace disque disponible et ça permet de revenir au point de départ si un truc cafouille. Puis je compterais soigneusement le nombre de fichiers pour pouvoir vérifier après coup si tout y est. Un find dossier_de_depart -type f -print|wc -l te donnera ce chiffre.

PS: t'as rien dit à propos de la différence entre 2008/pt/1 et 2008/pt/50/1. Normalement, après fusion, le contenu des deux dossiers sera regroupé dans pt/1.
PS2: on est dans le forum Linux. T'aurais pas moyen de transformer ton FS fat32 en FS de type ext(3/4) ??? Ca règlerait beaucoup de questions...
06/01/2015, 11h16
disedorgue

Il est vrai que si tu pouvais passer sur un FS de type linux, cela serait plus simple...

Sinon, pour éviter de perdre quelque chose, il faudrait faire un script qui dans les grandes lignes fasse au moins ceci:

-ne pas déplacer des fichiers dont le nom existe déjà coté destination
-créer 10 (ou un autre nombre) fichiers bidons dans la destination avec des noms de la même taille que les fichiers de la source que l'on veut déplacer ceci pour s'assurer que l'on a pas dépasser une limite possible sur le nombre de fichier dans un répertoire.
-si les 10 fichiers sont bien créés, alors les effacer puis déplacer les 10 fichiers de la source vers la destination.
06/01/2015, 22h57
thecrazydonut

Citation:

Envoyé par Sve@r

nulle part il a été dit que t'aurais besoin d'espace supplémentaire

En effet :aie: C'est que dans ma tête il fallait procéder par copier coller jusqu'à ma pseudo révélation du Edit.

Citation:

Envoyé par Sve@r

PS: t'as rien dit à propos de la différence entre 2008/pt/1 et 2008/pt/50/1. Normalement, après fusion, le contenu des deux dossiers sera regroupé dans pt/1.

Petite précision que j'aurais surement du apporter si ce n'était pas assez clair. Je n'ai pas de fichier autres que mes dossiers dans les 3 premiers niveau de l'arborescence. C'est à dire que TOUS les fichiers sont dans les dossiers les plus profonds. Donc 2008/pt/1 contient 10 dossiers, 2008/pt/50/1 contient les fichiers. Ce que je voudrais, c'est que le contenu de 2008/pt/1/1, de 2008/pt/1/2, de ..., de 2008/pt/1/10 se retrouve dans 2008/pt/1.

Citation:

Envoyé par Sve@r

PS2: on est dans le forum Linux. T'aurais pas moyen de transformer ton FS fat32 en FS de type ext(3/4) ??? Ca règlerait beaucoup de questions...

J'ai déjà fait une demande pour avoir un disque dur supplémentaire que je pourrais mettre en ext4. Je suis à peu près le seul de mon équipe sous linux et il me faut donc également un format qui soit lisible par tous. Dans le cas où j'ai un nouveau disque, je pense que je me débrouillerai simplement avec un cp, un find et quelques boucles pour organiser mes données sur mon 2nd DD.

Pas de limites du nombre de fichiers dans un dossiers avec un FS ext4 ?

Citation:

-ne pas déplacer des fichiers dont le nom existe déjà coté destination
-créer 10 (ou un autre nombre) fichiers bidons dans la destination avec des noms de la même taille que les fichiers de la source que l'on veut déplacer ceci pour s'assurer que l'on a pas dépasser une limite possible sur le nombre de fichier dans un répertoire.
-si les 10 fichiers sont bien créés, alors les effacer puis déplacer les 10 fichiers de la source vers la destination.

-il faut tous les déplacer
-si je fais un mv vers une destination déjà "pleine", que ce mv échoue, je perd la source ??! Effrayant !

Merci à vous pour votre aide !
07/01/2015, 08h26
Sve@r

Citation:

Envoyé par thecrazydonut

Pas de limites du nombre de fichiers dans un dossiers avec un FS ext4 ?

Pas à ma connaissance (en dehors du nombre total d'inodes que peut contenir un FS). Un dossier ext c'est juste un tableau contenant le nom + le n° d'inode correspondant. Et un tableau de ce type a toutes les chances d'être virtuellement infini.

Citation:

Envoyé par thecrazydonut

-si je fais un mv vers une destination déjà "pleine", que ce mv échoue, je perd la source ??! Effrayant !

J'ai effectivement pensé à ça en lisant la réponse de disedorgue mais moi j'ai plutôt pensé "bizarre, qu'il dise ça, normalement si le mv échoue il ne devrait pas y avoir de soucis" (comme tu vois, on se lit tous les uns les autres jusque dans les petits détails). Mais j'ai pas relevé pensant qu'il avait émis ce conseil dans l'optique "deux précautions même inutiles valent mieux qu'une".
07/01/2015, 17h44
disedorgue

Oui, bon ok, des fois j'oublie de prendre mes cachets et ma paranoïa resurgit subitement :fou:
08/01/2015, 20h09
thecrazydonut

J'ai obtenu un 2e disque dur ! C'est la fête, donc le problème ne se pose plus, tout est pour le mieux dans le meilleur des mondes. Je n'ai pas trop le temps de me pencher sur la question en ce moment, mais je posterai un essai de code pour répondre à ma première question. Que cette discussion puisse servir à d'autres que moi !

Merci à tous pour vos conseils !