Discussion :

[cyrill.gremaud]

Bonjour,

je souhaite lire des fichiers très rapidement en C. Le fichier fait environ 10 GB et je souhaite le lire le plus rapidement possible. Voici une partie de mon code.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
//open read only
	fichierR = fopen(fileNameR,"rb");
 
	if(fichierR != NULL){
		gettimeofday(&tv1, NULL); //get the current time
		do{
			//read 8191 bytes of the file and store them into buffer
			v = fread(buffer, blk_size-1, 1, fichierR);
		}while(v != 0);
 
		gettimeofday(&tv2, NULL);
 
		//Compute the time to read the file
		duration = (float) (tv2.tv_usec - tv1.tv_usec)/1000000 + (float) (tv2.tv_sec - tv1.tv_sec);
 
		//Compute the read speed
		readSpeed = (size*8)/duration;
 
		printf ("Read time = %.15f seconds\n", duration);
		printf ("Read speed = %f %s/s\n", readSpeed/(float)divCoef, units);
 
	}else{
		printf("Error during opening file %s\n",fileNameR);
	}

J'ai un SSD en sata 3 qui lit normalement a 4.4 Gb/s mais ici j'obtiens que 3.4 Gb/s sous linux alors que si j'utilise un programme de test de SSD j'obtiens bien les 4.4 Gb/s. J'aimerai savoir comment améliorer mon code.

merci de votre aide.

PS: Linux Ubuntu 12.04 LTS 64bits, GCC, SSD Vertex 3 MI,

[matafan]

Utilise read() plutôt que fread() pour bypasser la libc. Lit des blocs plus gros pour limiter le nombre de syscalls.

[gangsoleil]

Bonjour,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

//read 8191 bytes of the file and store them into buffer

Pourquoi lire par tranches de 8Ko, alors que ton fichier va faire 10Go ? As-tu essaye de diminuer drastiquement le nombre de lectures (10 lectures de 1Go par exemple) ?

Enfin, quel est le but ? Lire le plus rapidement possible, ou bien tu fais un traitement derriere ?

[Bktero]

Quelqu'un a parlé d'un gain de vitesse important avec mmap il y a peu : http://www.developpez.net/forums/d12...x/mmap-munmap/

@matafan : fread() du C fait appel ) read() de l'OS en fait ?

[matafan]

Oui, fread() fait du read() en ajoutant un système de bufferisation.

[Médinoc]

Pourquoi lire par tranches de 8Ko, alors que ton fichier va faire 10Go ? As-tu essaye de diminuer drastiquement le nombre de lectures (10 lectures de 1Go par exemple) ?

1Go ce n'est pas dit que ça tienne (ça dépend du layout mémoire), mais pour un fichier de cette taille je préconiserai au moins 100Mo.

Et surtout pas 100Mo -1! Si tu veux te ménager la place pour un caractère nul, fais toi un buffer de 100Mo +1, mais ne change pas la taille des lectures: Il vaut mieux que ça reste un multiple de la taille de secteur.

[cyrill.gremaud]

merci tous pour vos réponses. Voici les modifications que j'ai faite à mon code.

Bonjour,

As-tu essaye de diminuer drastiquement le nombre de lectures (10 lectures de 1Go par exemple) ?

Oui j'ai même essayé de lire des blocs de la même taille que le buffer mais sa change rien.

Un gros buffer.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

static char buffer[128*1024*1024]; //default buffer 128MB

Ouverture avec open, en limitant les effets de cache par la même occasion

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

int fd = open(fileNameR,O_RDONLY,O_DIRECT|O_LARGEFILE);

Je sais que ne pas utiliser le cache n'est pas une bonne chose mais le but est pour le moment de tester la vitesse de lecture d'un disque SSD en PCI-Express qui est censé fournir 16 Gb/s de lecture.

Pour la lecture, je peux faire varier la taille des blocs mais j'ai pas remarqué de différences majeurs.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

v = read(fd,buffer,blk_size);

Qu'en pensez-vous ? J'ai aussi vu la fonction readv() qui permet d'utiliser plusieurs buffer ? Pensez-vous que sa pourrais aider ?

Niveau processeur, il n'est pas du tout surchargé donc je ne sais pas ou est le soucis...

ps: je suis en train de faire le même code avec mmap si jamais.

[matafan]

Ce que tu peux faire aussi c'est lire directement le device, ce qui bypassera la couche filesystem.