Bonjour, je viens vers vous avec quelque questions.
Je suis en stage et pour le boulot qu'on m'a confié, j'ai besoin de lire jusqu'à 200000 fichiers d'acquisition (binaires) pouvant peser dans les 500 ko environ. J'ai fait un petit programme en console windows qui parse ce type de fichier (en C standard) afin de pouvoir les traiter un par un. Mais maintenant j'ai besoin de vos lumières pour décider quelle stratégie je dois appliquer pour lire les 200000 fichiers de manière optimale, donc voilà mes questions:
- le fait d'avoir 200000 fichiers dans le même répertoire est-il plus couteux que de mettre ces fichiers dans plusieurs répertoires?
- serait-il avantageux de concaténer ces fichiers en un plus gros fichier?
(toute autre idée sera la bienvenue ^^)
Pour effectuer ces traitements, je disposerai d'une machine sous windows (vista) équipée d'un Xeon 4 coeurs (le soft sera parallèlisé afin de tirer parti des quatre coeurs), de deux velociraptors en RAID0 et pour la ram je sais plus (je n'ai pas accès a cette machine quand je veux).
Merci d'avance à ceux qui répondront.
A bientôt.
Partager