Discussion :

[fred94190]

Bonjour,

Tout d'abord je tiens a vous remercier a tous pour l'aide que vous fournissez à tous ceux qui comme moi posent des questions ici. J'ai déjà eu bien des fois les réponses à mes questions en parcourant le forum (ceci étant dit pour me faire bien voir )

Il y a peu j'ai écrit un petit programme de simulation, qui me génère une importante quantité de texte en fonction des paramètres (rapidement de l'ordre de plusieurs centaines de mégas).
Hormi l'optimisation des algorithme qu'il utilise, je bloque avant tout sur le moyen d'optimiser au maximum l'écriture dans mon fichier.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 ofstream fichier2("log.txt", ios::out | std::ios_base::app);
 
    if(fichier2){
        fichier2 << "Nombre de morts trucs: " << nbMortsTotal << endl;
        fichier2 << "Nombre de machins : " << nbMortsFamineTotal << endl;
        fichier2.close();
    }
    else{
       //blabla d'erreur
    }

L'ennui c'est qu'une portion de code comme celle ci appelée des milliers de fois me fait perdre un temps fou.
Alors je pose la question : indépendamment de la beauté du code/lisibilité/facilité pour l'utilisateur, existe il une méthode qui gère les accès aux fichiers plus rapide ? (s'il vous plait, que personne ne me réponde de coder dans un langage plus bas niveau, comme de l'assembleur )
J'ai trouvé plusieurs méthodes différentes pour lire et écrire dans des fichiers, mais aucune indication sur laquelle est la meilleure dans tels et tels cas.

Si quelqu'un pouvait m'aider a avoir même un petit gain de temps, je lui en serait très reconnaissant.

Merci d'avance

[niehu]

Sans avoir fait de recherches particulières, il me vient deux suggestions :
- L'utilisation d'un fichier mappé en mémoire (mmap), pour éviter les temps d'entrée sortie, qui sont importants.
- L'utilisation de vecteur d'écriture (writev)
Je n'ai pas encore pu tester le gain que peut apporter ces deux méthodes. Par contre je ne sais pas si ces fonctions seront disponibles sur ton système.

[Nogane]

- Garder le fichier ouvert plutôt que de le ré-ouvrir a chaque fois. (l'ouverture est très longue)
- Si possible, ne pas formater les données sorties, et passer directement pas un filebuf.

[JolyLoic]

En plus de garder le fichier ouvert, utiliser un buffer mémoire plus important que celui par défaut peut accélérer les choses. Par exemple tu travailles avec un ostringstream, et toutes les n lignes, tu vides ce flux dans ton ofstream.

Sinon, après, tu as effectivement les fonctions spécifiques à ton OS, mais elles peuvent être plus complexes à utiliser. D'autant plus que les écritures les plus rapides sont souvent asynchrones.

Si ton format de sortie est libre, tu peux aussi le modifier pour qu'il soit plus économe.

[fred94190]

Merci pour ces réponses, toutes intéressantes.
J'ai supprimé effectivement les fermetures/réouvertures de fichier, et j'ai déjà constaté une amélioration de la rapidité.

Je ne connais pas bien les nappages en mémoire, mais je vais me renseigner à ce sujet.

En revanche j'avais déjà lut une ou deux indications quelque part concernant ostringstream, et après lecture de la doc, l'idée de m'en servir devient très tentante.

Je vais donc tester tout ça de ce pas !

[skeud]

Personnellement quand je dois écrire dans un fichier en boucle comme ça, je stock tout dans un std::string.Puis je l'envoi dans le fichier.
N'utilisant pas ostream, je ne sais pas si il stock dans un buffer puis écris tout dans un fichier directement, donc ma solution peut ne servir à rien, comme le contraire .