Discussion :

[Volgaan]

Bonsoir,

Avant tout, laissez-moi vous expliquer ce en quoi consiste mon humble projet afin de savoir ce que je recherche précisément. Dans le but de m'améliorer en C#, j'ai décidé il y a peu de temps de créer une application de découpage de fichiers (autrement dit, un "splitteur").

Il reçoit en entrée (via une GUI) le fichier à découper ainsi que la taille que devront avoir les paquets résultants. En sortie, on obtient un certain nombre de fichiers découpés à la bonne taille. Évidemment, il est possible de les réassembler à l'aide de cette même application.

Le format de fichier utilisé n'a rien de fantastique : des méta-données utiles au réassemblage suivies du contenu du fichier découpé; les méta-données contenant diverses informations telles que le hash MD5 du fichier d'origine (à des fins de contrôle d'intégrité), le nom du fichier original (stocké en Unicode) et d'autres informations du même acabit...

L'application fonctionne bien et fait son travail comme il se doit. Le problème est que j'ai maintenant envie de l'optimiser quelque peu.

Tout d'abord, l'écriture et la lecture des fichiers sont relativement lentes. Quelles sont les optimisations possibles à ce niveau ? Personnellement, j'ai utilisé des FileStream et des BinaryReader/BinaryWriter pour les manipuler. Est-ce que définir un buffer plus grand que celui par défaut (lors de l'initialisation) change radicalement la donne ?

J'ai aussi entendu parlé des fichiers mappés en mémoire. Peuvent-ils m'être utiles dans ce cas précis, sachant que les fichiers peuvent être petits comme immenses (plusieurs Go).

Une autre question est de savoir de quelle manière puis-je implémenter une fonction de création d'archive SFX (auto-extractible) ? J'imagine qu'il faille embarquer du code pré-compilé qui enroberait le binaire du fichier à extraire, si vous me comprenez...

Merci beaucoup pour votre aide que j'espère déjà être très enrichissante

Volgaan

[Graffito]

Bonjour,

Pour optimiser, tu peux faire du MultiThread (c'est aujourd'hui une solution incontournable quand on veut tirer parti de la puissance apportée par les MultiCore).

On peut par exemple créer un thread pour le lecture et plusieurs threads (en fonction du nombre de core) pour le formatage et l'écriture.

[tomlev]

Pour optimiser, tu peux faire du MultiThread (c'est aujourd'hui une solution incontournable quand on veut tirer parti de la puissance apportée par les MultiCore).

C'est valable pour des traitement intensifs en calculs, pas pour des tâches d'IO comme c'est le cas ici... si tous les fichiers sont sur le même disque, le fait de faire plusieurs lectures/écritures à la fois va plus ralentir le traitement qu'autre chose

[Graffito]

C'est valable pour des traitement intensifs en calculs, pas pour des tâches d'IO comme c'est le cas ici...

Probable, si on ne fait pratiquement que de l'IO .

Dans ce cas, éviter au maximum d'alterner lectures et écritures:

• lire le maximum en mémoire (disons 1Go) en faisant attention à ne pas allouer des milliers/millions de petits objets.
• traiter les formattages et écritures avant de continuer les lectures

[Volgaan]

Probable, si on ne fait pratiquement que de l'IO .

Dans ce cas, éviter au maximum d'alterner lectures et écritures:

• lire le maximum en mémoire (disons 1Go) en faisant attention à ne pas allouer des milliers/millions de petits objets.
• traiter les formattages et écritures avant de continuer les lectures

Donc je devrais éviter d'écrire directement chaque octet qui est lu et les stocker dans un buffer intermédiaire ?

[tomlev]

Donc je devrais éviter d'écrire directement chaque octet qui est lu et les stocker dans un buffer intermédiaire ?

Tu veux dire qu'actuellement tu lis et écris les octets un par un ? Là c'est sûr que ce n'est pas très efficace... utilise plutôt un buffer. Commence par une taille de 4096 octets (taille d'un bloc en NTFS), et essaie éventuellement de faire varier pour trouver la taille optimale