Discussion :

[thecrazydonut]

Bonjour,

Je cherche à réorganiser des données. Un joli dessin vaut mieux qu'un long discours pour décrire la structure de mes données. Actuellement mes données sont organisées comme ça :

Chaque case sur le joli dessin que j'ai fait représente un dossier. Donc j'ai plusieurs niveaux de dossiers, le premier une année (de 2008 à 2010), le 2e le type de donnée (Pt, Tmin, Tmax), le 3e un nombre (1 à 50), le 4e un autre nombre (1 à 10). Ce dernier dossier contient quelques milliers de fichiers avec un nom unique.

L'arborescence est trop complexe à mon goût et ne facilite pas du tout le traitement des données. Je voudrais réorganiser les données comme ça :


C'est à dire que je voudrais donc fusionner les années mais aussi le dernier niveau. Comme les fichiers ont un nom unique, ça ne pose pas de problème de les mettre dans un même dossier.

Ensuite il y a quelques contraintes : j'ai un très grand nombre de fichiers, au total près de 5 millions (oui rien que ça ). Je ne dispose pas d'espace supplémentaire pour faire beaucoup de copier-coller (je ne peux pas avoir 10 millions de fichiers temporairement). Accessoirement, je n'ai pas le droit de perdre des fichiers -> fausse manip et je massacre tout ce qui passe à ma portée !

Je patauge, je ne sais pas comment procéder (j'ai même pas une ébauche de code à vous proposer cette fois...)

Merci beaucoup à tous ceux qui se pencheront sur ce problème !

PS : disque dur formaté en fat32. J'ai lu pas mal de choses divergentes sur le nombre de fichiers max que peut contenir un dossier. Est ce que ça peut être un problème ici ?

[disedorgue]

Bonjour,

En fat32, tu as droit à 2^16 entrées par répertoire nom long compris, donc même si tu as un nombre de fichiers "équi-réparti" dans ton arborescence, tu dépasseras la capacité dans chaque répertoire:

3*50=150
5 000 000/150=33333,333
2^16=65536

Cela semble tenir, mais comme tu précises que tes fichiers ont un nom unique, je suppose que tu utilises des noms longs, on peut donc diviser au moins par 2 le nombre max par répertoire:
65536/2=32768

Petite précision: un nom court sous fat32 c'est 8+3 caractères, un fichier est toujours accessible par un nom court, la casse (minuscule/majuscule) n'est pas prise en compte.

En conclusion: pour l'instant tu es bloqué par ton système de fichier.

[thecrazydonut]

Merci beaucoup Disedorgue ! Oui tu as raison, ce sont des noms longs qui comportent environ 50 caractères.

Bon, bon, alors je vais devoir revoir mes exigences à la baisse. Bon alors je pose à nouveau la question mais ce coup-ci on garde les dossiers années. Ça reviendrait à simplement fusionner les dossiers de 1 à 10 tout en bas de l'arborescence.

3*3*50=450
5000000/450=11111

Donc c'est censé passer !

Merci !

[disedorgue]

En fait, après une petite recherche sur le net, j'ai un doute sur la limitation du nombre de fichier possible dans un répertoire (celle-ci semble seulement limité par la taille de la partition, info ICI)

Ce qui est sur, c'est qu'un nom de fichier de 50 caractères occupe 5 entrées...

Comme tu sembles limité en espace disque, et avant de prendre le moindre risque, peut-être pourrais-tu exposer le pourquoi il te semble plus complexe de garder ton arborescence tel quel ?

[thecrazydonut]

Comme je l'ai dit dans le premier post, moi aussi je suis tout mêlé à propos du nombre limite de fichiers que peut contenir un dossier.

Alors pourquoi je veux réorganiser ces données : ces données ont été extraite d'une base de données par une tierce personne. Cette personne les a organisé selon un arrangement qui a du sens pour elle. Comme ces données seront amenées à être réutilisées par d'autres personnes que moi, je voulais les réarranger selon une classification plus "neutre".
Le problème majeur vient surtout de la classification entre les fichiers en bas de l'arborescence (ceux du dossier 1->10). Il y a en fait des fichiers qui sont dans le dossier 2 qui devraient appartenir au dossier 1, des fichiers du dossiers 3 qui devraient appartenir au 2, etc. Dernier point, d'un point de vue conceptuel, il me semble que ces fichiers ne devraient pas être séparés.

Oui je suis peut être un peu pinailleur, mais je me dis que c'est aussi bien de faire la manip proprement une fois que de faire une pirouette informatique pas très élégante à chaque fois.

Edit : pourquoi on aurait besoin d'espace supplémentaire pour faire ces changements ? Lorsqu'on renomme un dossier contenant des fichiers, tous les chemins de ces fichiers sont instantanément modifiés... par exemple, si je renomme mon dossier 2008 de l'exemple en 2999, ça se fait instantanément bien qu'il contienne plus de 1M de fichiers.

[Sve@r]

Edit : pourquoi on aurait besoin d'espace supplémentaire pour faire ces changements ? Lorsqu'on renomme un dossier contenant des fichiers, tous les chemins de ces fichiers sont instantanément modifiés... par exemple, si je renomme mon dossier 2008 de l'exemple en 2999, ça se fait instantanément bien qu'il contienne plus de 1M de fichiers.

Bonjour

Oui tu as raison. Renommer un dossier dans un même FS revient à changer le nom de ce dossier dans le dossier qui le contient et se fait instantanément sans avoir besoin de place. Mais j'ai bien lu toute la discussion et nulle part il a été dit que t'aurais besoin d'espace supplémentaire.

Perso dans une manip de ce genre, je commencerais par faire une sauvegarde intégrale de l'arborescence. Ca peut se faire dans un tar ou tgz selon la vitesse de ta machine et ton espace disque disponible et ça permet de revenir au point de départ si un truc cafouille. Puis je compterais soigneusement le nombre de fichiers pour pouvoir vérifier après coup si tout y est. Un find dossier_de_depart -type f -print|wc -l te donnera ce chiffre.

PS: t'as rien dit à propos de la différence entre 2008/pt/1 et 2008/pt/50/1. Normalement, après fusion, le contenu des deux dossiers sera regroupé dans pt/1.
PS2: on est dans le forum Linux. T'aurais pas moyen de transformer ton FS fat32 en FS de type ext(3/4) ??? Ca règlerait beaucoup de questions...