Discussion :

[tazer]

Bonne année et mes meilleurs vœux à tous et à toutes,
Pour commencer l'année, il m'est posé un problème sur un sujet auquel je n'avait pas accordé d'importance avant: Il s'agit de la lecture et l'ecriture de gros buffer sur le disque. J'ai toujours cru que windoz s'en occupe et qu'il n'y a pas de fonction plus rapide que d'autre, et bien que nini.
J'utilise Visual C++ 6 SP6 ou visual studio 2008 sur XP SP3 avec une machine assez robuste (dual 3Ghz, RAM 4 Go et un disque SATA2 à 11 000T/mn)
Je me suis fait un petit projet de test tout ce qu'il ya de plus banal :
Je lis un fichier binaire contenant 2048*2048*3 float et je le réecrit par bloc, je fais ca 10 fois.
C'est peut être plus simple de mettre le code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
void CTestReadHBFDlg::OnFREAD() 
{
CString strFunction("OnFREAD" );
 
for (int i=0; i<10; i++)
{
 
	CString strFileName = "XYZ.raw";
 
	CWaitCursor wait;
 
	FILE *Stream=fopen(strFileName,"rb");
	// Lire l'entete
	char pszTypeName[45];
	int nTypeNameLen=45;
	fread(pszTypeName,sizeof(char),nTypeNameLen,Stream);
	// Lire la version
	unsigned long nVersion;
	fread(&nVersion,sizeof(unsigned long),1,Stream);
	// Lire les dimensions
	unsigned long nLi;
	fread(&nLi,sizeof(unsigned long),1,Stream);
	unsigned long nCo;
	fread(&nCo,sizeof(unsigned long),1,Stream);
	// Lire les données
	int m_nSize = 3*nLi*nCo;
	float* m_pData= new float[m_nSize] ;
MTDebugMessage(strModule, strFunction, "fread Début ");
	fread(m_pData,sizeof(float),m_nSize,Stream);
MTDebugMessage(strModule, strFunction, "fread Fin ");
	// Fermer et detruire.
	fclose(Stream);
 
 
	ifstream ifs;
	ifs.open(strFileName, ios::in | ios::binary);
	// Lire l'entete
	ifs.read(pszTypeName,sizeof(char)*nTypeNameLen);
	// Lire la version
	ifs.read((char *)&nVersion,sizeof(unsigned long)*1);
	// Lire les dimensions
	ifs.read((char *)&nLi,sizeof(unsigned long)*1);
	ifs.read((char *)&nCo,sizeof(unsigned long)*1);
	// Lire les données
MTDebugMessage(strModule, strFunction, "IOsread Début ");
	ifs.read((char *)m_pData,sizeof(float)*m_nSize);
MTDebugMessage(strModule, strFunction, "IOsread Fin ");
	// Fermer et detruire.
	ifs.close();
 
	strFileName = "XYZ_fwrite.raw";
	Stream=fopen(strFileName,"wb");
	// Lire l'entete
	fwrite(pszTypeName,sizeof(char),nTypeNameLen,Stream);
	// Lire la version
	fwrite(&nVersion,sizeof(unsigned long),1,Stream);
	// Lire les dimensions
	fwrite(&nLi,sizeof(unsigned long),1,Stream);
	fwrite(&nCo,sizeof(unsigned long),1,Stream);
	// Lire les données
MTDebugMessage(strModule, strFunction, "fsave Début ");
	fwrite(m_pData,sizeof(float),m_nSize,Stream);
MTDebugMessage(strModule, strFunction, "fsave Fin ");
	// Fermer et detruire.
	fclose(Stream);
 
	strFileName = "XYZ_write.raw";
	int fh;
	int nw;
	fh=_open(strFileName,_O_WRONLY | _O_CREAT, _S_IREAD | _S_IWRITE );
	// Lire l'entete
	nw = _write(fh, pszTypeName,sizeof(char)*nTypeNameLen);
	// Lire la version
	nw = _write(fh, &nVersion,sizeof(unsigned long)*1);
	// Lire les dimensions
	nw = _write(fh, &nLi,sizeof(unsigned long)*1);
	nw = _write(fh, &nCo,sizeof(unsigned long)*1);
	// Lire les données
MTDebugMessage(strModule, strFunction, "_write Début ");
	nw = _write(fh, m_pData,sizeof(float)*m_nSize);
MTDebugMessage(strModule, strFunction, "_write Fin ");
	// Fermer et detruire.
	_close(fh);
 
	strFileName = "XYZ_IO.raw";
	ofstream ofs;
	ofs.open(strFileName, ios::out | ios::binary);
	// Lire l'entete
	ofs.write(pszTypeName,sizeof(char)*nTypeNameLen);
	// Lire la version
	ofs.write((char *)&nVersion,sizeof(unsigned long)*1);
	// Lire les dimensions
	ofs.write((char *)&nLi,sizeof(unsigned long)*1);
	ofs.write((char *)&nCo,sizeof(unsigned long)*1);
	// Lire les données
MTDebugMessage(strModule, strFunction, "IOswrite Début ");
	ofs.write((char *)m_pData,sizeof(float)*m_nSize);
MTDebugMessage(strModule, strFunction, "IOswrite Fin ");
	// Fermer et detruire.
	ofs.close();
 
	delete[] m_pData;
}
}

les MTDebugMessage permettent d'écrire un message daté dans un fichier de log.

J'obtiens les résultats suivants :
Lecture :
fread en secondes: 0,047 0,062 0,062 0,047 0,063 0,047 0,063 0,047 0,047 0,063
ifstream.read : 3,359 3,391 3,391 3,421 3,390 3,359 3,390 3,359 3,422 3,375
Ecriture :
fsave : 1,187 1,187 1,172 1,156 1,172 1,172 1,172 1,156 1,171 1,156
_write : 2,640 2,594 2,406 2,422 2,625 2,515 2,500 2,719 2,297 2,579
ofstream.write : 4,796 5,047 4,344 4,813 4,437 4,984 4,266 5,359 4,203 4,641

J'en conclu que dans le cas de lecture ou d'écriture d'un bloc de données :
Les fonctions fread et fsave (stdio) sont les plus optimisées.
Les classes ifstream et ofstream (iostream, fstream) sont les pires !! (je me sens mal en disant ça)
Les fonctions _read et _write (io) sont entre les deux.

Qu'en pensez vous ? et quelle est votre expérience ?

bien a vous

[ram-0000]

Intéressant comme bench. Juste il manque les temps de lecture pour _read().

D'abord, et pour lever tout doute, es tu sûr que chaque fichier généré dans les 3 modes fait exactement la même taille ?

Est ce que tu as les moyen de faire la même chose sur une machine Linux ? (probablement/surement en retouchant le programme)

Je vais m'y pencher aussi sur ce bench

[tazer]

J'ai refait le test ce matin sur la même machine après redémmarage en y incluant aussi le _read.

fread : 0,063 0,046 0,063 0,062 0,047 0,062 0,047 0,063 0,063 0,062
_read : 0,047 0,047 0,047 0,032 0,047 0,032 0,047 0,047 0,047 0,032
Iread : 3,453 3,438 3,437 3,437 3,438 3,453 3,484 3,484 3,453 3,500

fwrite : 1,156 1,094 1,110 1,187 1,187 1,187 1,141 1,156 1,140 1,140
_write : 1,281 1,312 1,328 1,328 1,328 1,313 1,313 1,282 1,313 1,313
Iwrite : 3,578 3,531 3,532 3,531 3,547 3,547 3,531 3,546 3,515 3,516

Les fichiers générés sont identiques en taille et avec winmerge.
La quantité de données lues est la meme avec fread et _read je n'ai pas calculé pour iostream.

Autrement je n'ai que des machines sous XP

le gagnant est :
lecture : _read
Ecriture : fwrite