Bonne année et mes meilleurs vœux à tous et à toutes,
Pour commencer l'année, il m'est posé un problème sur un sujet auquel je n'avait pas accordé d'importance avant: Il s'agit de la lecture et l'ecriture de gros buffer sur le disque. J'ai toujours cru que windoz s'en occupe et qu'il n'y a pas de fonction plus rapide que d'autre, et bien que nini.
J'utilise Visual C++ 6 SP6 ou visual studio 2008 sur XP SP3 avec une machine assez robuste (dual 3Ghz, RAM 4 Go et un disque SATA2 à 11 000T/mn)
Je me suis fait un petit projet de test tout ce qu'il ya de plus banal :
Je lis un fichier binaire contenant 2048*2048*3 float et je le réecrit par bloc, je fais ca 10 fois.
C'est peut être plus simple de mettre le code :
Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
void CTestReadHBFDlg::OnFREAD() 
{
CString strFunction("OnFREAD" );
 
for (int i=0; i<10; i++)
{
 
	CString strFileName = "XYZ.raw";
 
	CWaitCursor wait;
 
	FILE *Stream=fopen(strFileName,"rb");
	// Lire l'entete
	char pszTypeName[45];
	int nTypeNameLen=45;
	fread(pszTypeName,sizeof(char),nTypeNameLen,Stream);
	// Lire la version
	unsigned long nVersion;
	fread(&nVersion,sizeof(unsigned long),1,Stream);
	// Lire les dimensions
	unsigned long nLi;
	fread(&nLi,sizeof(unsigned long),1,Stream);
	unsigned long nCo;
	fread(&nCo,sizeof(unsigned long),1,Stream);
	// Lire les données
	int m_nSize = 3*nLi*nCo;
	float* m_pData= new float[m_nSize] ;
MTDebugMessage(strModule, strFunction, "fread Début ");
	fread(m_pData,sizeof(float),m_nSize,Stream);
MTDebugMessage(strModule, strFunction, "fread Fin ");
	// Fermer et detruire.
	fclose(Stream);
 
 
	ifstream ifs;
	ifs.open(strFileName, ios::in | ios::binary);
	// Lire l'entete
	ifs.read(pszTypeName,sizeof(char)*nTypeNameLen);
	// Lire la version
	ifs.read((char *)&nVersion,sizeof(unsigned long)*1);
	// Lire les dimensions
	ifs.read((char *)&nLi,sizeof(unsigned long)*1);
	ifs.read((char *)&nCo,sizeof(unsigned long)*1);
	// Lire les données
MTDebugMessage(strModule, strFunction, "IOsread Début ");
	ifs.read((char *)m_pData,sizeof(float)*m_nSize);
MTDebugMessage(strModule, strFunction, "IOsread Fin ");
	// Fermer et detruire.
	ifs.close();
 
	strFileName = "XYZ_fwrite.raw";
	Stream=fopen(strFileName,"wb");
	// Lire l'entete
	fwrite(pszTypeName,sizeof(char),nTypeNameLen,Stream);
	// Lire la version
	fwrite(&nVersion,sizeof(unsigned long),1,Stream);
	// Lire les dimensions
	fwrite(&nLi,sizeof(unsigned long),1,Stream);
	fwrite(&nCo,sizeof(unsigned long),1,Stream);
	// Lire les données
MTDebugMessage(strModule, strFunction, "fsave Début ");
	fwrite(m_pData,sizeof(float),m_nSize,Stream);
MTDebugMessage(strModule, strFunction, "fsave Fin ");
	// Fermer et detruire.
	fclose(Stream);
 
	strFileName = "XYZ_write.raw";
	int fh;
	int nw;
	fh=_open(strFileName,_O_WRONLY | _O_CREAT, _S_IREAD | _S_IWRITE );
	// Lire l'entete
	nw = _write(fh, pszTypeName,sizeof(char)*nTypeNameLen);
	// Lire la version
	nw = _write(fh, &nVersion,sizeof(unsigned long)*1);
	// Lire les dimensions
	nw = _write(fh, &nLi,sizeof(unsigned long)*1);
	nw = _write(fh, &nCo,sizeof(unsigned long)*1);
	// Lire les données
MTDebugMessage(strModule, strFunction, "_write Début ");
	nw = _write(fh, m_pData,sizeof(float)*m_nSize);
MTDebugMessage(strModule, strFunction, "_write Fin ");
	// Fermer et detruire.
	_close(fh);
 
	strFileName = "XYZ_IO.raw";
	ofstream ofs;
	ofs.open(strFileName, ios::out | ios::binary);
	// Lire l'entete
	ofs.write(pszTypeName,sizeof(char)*nTypeNameLen);
	// Lire la version
	ofs.write((char *)&nVersion,sizeof(unsigned long)*1);
	// Lire les dimensions
	ofs.write((char *)&nLi,sizeof(unsigned long)*1);
	ofs.write((char *)&nCo,sizeof(unsigned long)*1);
	// Lire les données
MTDebugMessage(strModule, strFunction, "IOswrite Début ");
	ofs.write((char *)m_pData,sizeof(float)*m_nSize);
MTDebugMessage(strModule, strFunction, "IOswrite Fin ");
	// Fermer et detruire.
	ofs.close();
 
	delete[] m_pData;
}
}
les MTDebugMessage permettent d'écrire un message daté dans un fichier de log.

J'obtiens les résultats suivants :
Lecture :
fread en secondes: 0,047 0,062 0,062 0,047 0,063 0,047 0,063 0,047 0,047 0,063
ifstream.read : 3,359 3,391 3,391 3,421 3,390 3,359 3,390 3,359 3,422 3,375
Ecriture :
fsave : 1,187 1,187 1,172 1,156 1,172 1,172 1,172 1,156 1,171 1,156
_write : 2,640 2,594 2,406 2,422 2,625 2,515 2,500 2,719 2,297 2,579
ofstream.write : 4,796 5,047 4,344 4,813 4,437 4,984 4,266 5,359 4,203 4,641

J'en conclu que dans le cas de lecture ou d'écriture d'un bloc de données :
Les fonctions fread et fsave (stdio) sont les plus optimisées.
Les classes ifstream et ofstream (iostream, fstream) sont les pires !! (je me sens mal en disant ça)
Les fonctions _read et _write (io) sont entre les deux.

Qu'en pensez vous ? et quelle est votre expérience ?

bien a vous