Discussion :

[batataw]

Hello,

je m'excuse par avance si je ne suis pas sur le bon forum.

Je travaille sur l'élaboration d'un site web, je dois effectuer un système d'upload de fichiers (des milliers voir plus).

Un ami m'a expliqué que j'ai tout intérêt a utiliser un mécanisme de dossier très élaboré plutôt que de mettre tous mes fichiers dans le même dossier.
Il m'a dit que c'est plus simple pour l'OS.

Le principe consiste a construire le nom du fichier et du dossier en fonction de son ID. Par exemple le fichier ayant l'ID 3 se trouve dans la racine. le fichier ayant l'ID 15 se trouvera dans le dossier /1. le fichier ayant l'ID 142 se trouvera dans le dossier /1/4
Si bien que chaque dossier contiendra 10 fichiers et 10 dossiers au maximum.

Est-ce que ce système vous parait pertinent?

[ram-0000]

Que tu ne veuilles pas mettre tous les fichiers dans le répertoires (surtout s'il y en a beaucoup), j'accepte.

Par contre ton découpage me parait un peut trop découpé.

On peut imaginer un truc qui fasse moins de sous répertoire.

• Fichier < 1000 ==> dans le repertoire 0/ (pour être cohérent) ou dans la racine (comme tu veux)
• compris entre 1000 et 2000, dans le répertoire 1/
• compris entre 2000 et 3000, dans le répertoire 2/
• etc

et ainsi, tu limites le nombre de sous répertoires. Quand tu arriveras à 1 millions de fichiers, tu auras 1000 répertoires.

[batataw]

Okay merci pour ton conseil, pour info du point de vue du serveur donc du système de fichier linux qu'est-ce qui est le plus efficace?
Est-ce vraiment utile de découper.

[ram-0000]

Il y a probablement/peut être une limite au nombre de fichiers que peut contenir un répertoire. Cette limite si elle existe est très loin (je n'ai jamais été confronté à ce problème).

Peut être que tu rencontreras en premier une première limitation lié à la longueur maximale de nom de fichier (qui doit se trouver vers 1024 caractères).

En termes de performances, je dirais qu'une arborescence comme tu la décrivais avec 10 fichiers par répertoire et donc une arborescence profonde risque d'être moins rapide (il faut bien ouvrir tous les répertoires pour rechercher les différents fichiers) mais je ne suis pas sûr que cela pénalise vraiment beaucoup le temps d'accès (enfin cela risque d'être négligeable face au temps d'accès réseau).

[gangsoleil]

Bonjour,

A ma connaissance, il n'existe pas de limite physique au nombre de fichiers contenus dans le meme repertoire (sauf le nombre d'inode de la partition, mais c'est autre chose).

En revanche, sur les (anciens ?) systemes unix et linux, on observe des baisses de performance au dela de 256 fichiers dans un repertoire. Je ne sais pas dans quelle mesure c'est toujours plus ou moins le cas, mais je ne te conseille pas d'en mettre des dizaines de milliers dans chaque.

[batataw]

Merci a tous les 2, si j'ai le temps je ferais un benchmark.

[chaval]

Bonjour,

Entant qu'admin système (je ne développe pas les sites que j'héberge...) j'ai été confronté à ce genre de problème : des répertoires d'upload comportant des dizaines de milliers de fichiers.
Autant au niveau du système, ca avait l'air de tenir, mais la ou on a eu des soucis, c'est pour les backup. Notre logiciel de backup, ayant l'air de travailler répertoire par répertoire, mettait plus de 10h pour effectuer ses backup différentiels, juste pour l'évaluation des fichiers à sauver !
Comme ce qui a été dit, je suis aussi un partisan du découpage ; mais "point trop n'en faut"...

[batataw]

Merci Chaval, C'est très intéressant d'avoir un cas pratique.
un découpage à 1000 fichiers devrait faire l'affaire.