[performance] Lecture d'un fichier

**Ceylo** · 27/01/2007, 17h22

Bonjour,

Je développe actuellement un programme de coloriage (voir http://developpez.net/forums/showthread.php?t=267010).

J'ai fait quelques test pour voir un peu les performances sur de plus gros fichiers, afin d'optimiser mon programme. Et lors de la lecture d'un fichier plus gros, je dois attendre très très longtemps (plusieurs minutes voir plusieurs dizaines de minutes selon la taille du fichier (1 Mo/8 Mo)).

Je sais bien que c'est plutôt rare ou même inexistant des codes en C de plusieurs Mo, mais mon soucis et d'avoir pour de prochains programmes, des fonctions de lecture efficaces (puisque ma fonction d'écriture a déjà de bonnes performances).

Voila ce que j'utilise (je tiens à utiliser uniquement des fichiers d'en-tête standards pour la portabilité du code) :

Code C :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
 
#include <stdlib.h>
#include <string.h>
 
[...]
 
// pour l'assemblage des chaines de caractères
char *str_cat (char *str1, char const *str2)
{
	if ((str1 == NULL) && (str2 == NULL))
		return NULL;
	if (str1 == NULL)
		return strdup (str2);
	if (str2 == NULL)
		return str1;
 
	char *strCat = NULL;
	size_t len1;
	if (str1 == NULL)
		len1 = 0;
	else
		len1 = strlen (str1);
 
	void *tmp = realloc (str1, len1 + strlen (str2) + 1);
 
	if (tmp != NULL)
	{
		strCat = tmp;
		if (str1 == NULL)
		{
			strcpy (strCat, "");
		}
		strcat (strCat, str2);
	}
	else
	{
		free (strCat), strCat = NULL;
	}
 
	return strCat;
}
 
// et la fonction de lecture du fichier...
char *readFromFile (const char *path)
{
	char *cData = NULL;
	FILE *fichier = fopen (path, "r");
 
	if (fichier != NULL)
	{
		char chaine[BUFSIZ];
		unsigned long lines = 0;
		while (fgets (chaine, sizeof chaine, fichier) != NULL)
		{
			cData = str_cat (cData, chaine);
			if (cData == NULL)
			{
				puts ("Erreur de memoire");
				break;
			}
			lines++;
		}
		fclose (fichier);
	}
 
	return cData;
}

Merci d'avance et bon développement à tous

**Médinoc** · 27/01/2007, 17h36

Je dirais que tu fais trop de réallocations, car tu réalloues à chaque fois "la bonne taille".

Mon conseil, c'est de réserver une taille supérieure, mémoriser cette taille et ne réallouer que quand la taille est atteinte.
Pour la réallocation, une bonne méthode peut être de multiplier la taille du buffer par un coefficient fixe, genre 1.5 (un rapport inférieur au nombre d'or est conseillé, pour une raison dont je n'ai plus les détails).

Ou bien, tu peux tenter la technique de la FAQ pour connaître la taille du fichier, et allouer ta mémoire d'un coup. Seulement, ça ne marchera que sur un vrai fichier (pas un fifo par exemple) et il y a souvent des problèmes pour les fichiers ouverts en mode texte.

**Ceylo** · 27/01/2007, 17h42

Et… n'y a-t-il pas un moyen d'obtenir directement le nombre de caractères composant le fichier, puis d'allouer directement la taille correspondante et tout y mettre d'un coup ?

**Franck.H** · 27/01/2007, 17h55

Envoyé par Spootnik-Dev

Et… n'y a-t-il pas un moyen d'obtenir directement le nombre de caractères composant le fichier, puis d'allouer directement la taille correspondante et tout y mettre d'un coup ?

Lire le fichier caractère pas caractère et de les compter en même temps, du moins c'est ce que je fairais

Une autre solution consisterais à utiliser stat, il se trouve que cette structure possède un champ st_size qui permet de récupérer la taille totale d'un fichier en octets. C'est du POSIX donc ca reste portable !

**Jean-Marc.Bourguet** · 27/01/2007, 18h16

Envoyé par Médinoc

Pour la réallocation, une bonne méthode peut être de multiplier la taille du buffer par un coefficient fixe, genre 1.5 (un rapport inférieur au nombre d'or est conseillé, pour une raison dont je n'ai plus les détails).

Pour ceux-ci, voir: http://www.bourguet.org/realloc.pdf

**granquet** · 27/01/2007, 20h52

Envoyé par Spootnik-Dev

Et… n'y a-t-il pas un moyen d'obtenir directement le nombre de caractères composant le fichier, puis d'allouer directement la taille correspondante et tout y mettre d'un coup ?

ouaipe, un coup de fseek et un ftell ...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
FILE* myfile = fopen(...);
long len;
char *data=NULL;
/*j'omet volontairement les tests usuels
a faire apres un fopen*/
      fseek (myfile, 0L, SEEK_END);
      len = ftell (myfile);
      data = malloc (len);
//rewind(myfile);
      fseek (myfile, 0L, SEEK_SET);
      fread (data, 1, len, myfile);

je precise que le code est a completer avec tous les tests d'usage (echec de fopen?, echec de malloc? ...)

-edit-
code deja present dans la FAQ: http://c.developpez.com/faq/c/?page=...HIERS_filesize

**David.Schris** · 28/01/2007, 03h20

Envoyé par Franck.H

[...] utiliser stat [...]

Ou fstat()

@Spootnik-Dev : est-ce que j'ai mal lu ou est-ce que tu lis tron fichier ligne par ligne pour finalement le mettre entièrement dans un buffer ?
Si j'ai bien lu, il n'y a pas que les réallocations qui te font perdre du temps...

Personnellement, je ferai :
- soit fopen() + fstat() + malloc() + fread() + fclose()
- soit malloc() + fopen() + tant que pas tout lu { fread() + realloc() si besoin avec progression geometrique } + fclose()

L'avantage de la deuxième méthode étant qu'elle fonctionne aussi avec les fifo.

**Ceylo** · 28/01/2007, 11h03

Envoyé par David.Schris

L'avantage de la deuxième méthode étant qu'elle fonctionne aussi avec les fifo.

Les fifo ??? qu'est-ce que c'est que ça ? désolé si mes questions vous paraissent étrange, je ne suis pas encore très à l'aise dans la manipulation des fichiers.

**Franck.H** · 28/01/2007, 11h18

Ce sont des fichiers un peu spéciaux qui sont surtout utilisé pour la communication inter processus, les Pipes (ou tubes) pour être plus exacte.

**David.Schris** · 29/01/2007, 01h07

Envoyé par Spootnik-Dev

Les fifo ??? qu'est-ce que c'est que ça ? désolé si mes questions vous paraissent étrange, je ne suis pas encore très à l'aise dans la manipulation des fichiers.

FIFO : First In First Out.
Imagine un tube (cylindrique) et des balles (sphériques) dont le diamètre leur permet de rentrer tout juste dans le tube. Tiens (par la pensée [1], puisque tu imagines) le tube horizontalement et mets les balles dedans en les faisant toutes entrer par la même extrémité. Penche le tube de façon à ce que l'extrémité par laquelle les balles ont été entrées soit plus haute que l'autre : la première balle mise dans le tube est la première à sortir. Magique !
Dans la série, il y a LIFO (ou FILO) : Last In First Out. C'est une pile (comme dans "empiler", pas comme dans la pub avec les lapins).
Certains excentriques parleraient de FINO (First In Never Out ?) mais à mon avis, c'est pas "fino"...

Aussi, voir http://man.developpez.com/man1/mkfifo.1.php

[1] - Que la force soit avec toi

**Emmanuel Delahaye** · 29/01/2007, 13h23

Envoyé par Spootnik-Dev

[CODE=C]
char *str_cat (char *str1, char const *str2)
{
void *tmp = realloc (str1, len1 + strlen (str2) + 1);

<...>
return strCat;
}

Il ne faut pas réallouer à chaque appel. J'ai résolu ce problème avec un TAD 'FSTR' (Flexible STRing).

http://emmanuel-delahaye.developpez.com/clib.htm
Module FSTR