Discussion :

[uriotcea]

Bonjour,

J'ecrit de gros fichiers binaires (qq 10GO) avec les fonctions classique fopen, fwrite...
J'ai remarqué un gros gain en vitesse significatif (30%°, en augmentant la taille du buffer en utilisant la fonction
setvbuf(f,NULL,_IOFBF,262144)

Comment ajuster la taille du buffer, y a t-il une limite, et quel est le risque.

merci de vos suggestions

[Neckara]

Bonjour,

Mes connaissances ne sont pas parfaites sur le sujet, donc il est possible que je me trompe ou que j'ignore certains aspect du problème.

Le principe du buffer est de diminuer les accès au disque en stockant les données à écrire dans le buffer et à les écrire quand le buffer est plein.

Ainsi si on veut écrire 20 octets, au lieu d'accéder 20 fois au disque pour écrire à chaque fois 1 seul octet, on y accède une seule fois pour écrire 20 octets.

Il faut aussi savoir que l'ordinateur ne sait pas écrire (et lire) un seul octet sur le disque (?), il va réécrire tout le secteur qui peut faire 512kio par exemple.

La taille optimale de buffer est donc, je pense, la taille d'un secteur du disque lu (?). Pour la limite, il y en a obligatoirement une, mais je pense qu'elle est suffisamment grande pour qu'on ai pas à s'en soucier. Après, si la taille du buffer est supérieur à la taille d'un secteur (?) on ne gagnera rien.

Le seul risque que je verrais c'est de perdre en performances lors de la lecture ou le gaspillage de mémoire.

[Obsidian]

Le seul risque que je verrais c'est de perdre en performances lors de la lecture ou le gaspillage de mémoire.

Si l'on veut vraiment chipoter, on peut ajouter le fait que plus de données risquent d'être perdues en cas de crash de la machine ou de plantage du programme. 262144 octets, ça fait quand même 256 Kio.

Cela dit, c'est difficile de mesurer cela car il faut les mettre en balance avec les mémoire cache utilisées par le système d'exploitation ainsi que par le disque dur lui-même. Donc, c'est au cas par cas, et en examinant également ce que fait le programme.

[uriotcea]

Merci de vos remarques.
Effectivement ca dépend bien systeme. Aucun effet observé sur Linux à contrario de windows.

[Metalman]

Lors de la lecture de ton fichier avec fread et l'écriture avec fwrite...
Le seul conseil précis et supplémentaire (les précédents sont déjà très bons) :
Evite d'avoir un buffer malloqué/free tout le temps !

Garde bien un "char buf[BUF_LEN]" en variable qui sera du coup alloué en "dur" dans l'exécutable, et t'évitera de faire trop d'appels à malloc... (c'est la méthode qui était utilisée il y a très très très longtemps pour les traitements répétitifs).
Si tu fais un seul malloc au tout début, c'est pas gênant.

[uriotcea]

peux-tu etre plus explicite à propos de ton buffer de char. Pour ma part je lis des doubles