Discussion :

[ol9245]

Bonjour,

Je dois lire 150000 fichier qui contiennent en tout une centaine de millions de lignes. ça ne fait "que" 10 giga-octets en tout mais Matlab mets presque 3 heures à tout lire !!!

Explication : c'est à cause de la boucle for de la mort qui tue !

En effet, je ne sais pas comment faire pour lire un fichier binaire en entier dans une seule instruction Matlab. A ma connaissance, ça a l'air possible avec les fichiers texte (fscanf) : fscanf sait lire plusieurs lignes de texte selon des formats hétéroclites et ranger les résultats dans un joli tableau. Par contre ça ne m'a pas l'air possible avec les fichier binaires (fread) : pour fread, on ne peut tout lire d'un coup que si le format est uniforme, ce qui n'est pas le cas des fichiers que j'ai à lire.

Voilà le bout de code qui lit un de ces fichiers :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
fileID = fopen(fni, 'r') ;

% file header. 2 integers = 8 bytes = number 2 and the number or pairs of points
H = fread(fileID, 2, 'int32') ;
n = H(2) ;
L = zeros(n, 1) ;
U = zeros(n, 5) ;

% each record is 44 bytes : one integer followed by 5 doubles.
for i=1:n ;
    L(i,:) = fread(fileID, 1, 'int32') ; % 4 bytes. is always 2
    U(i, :) = fread(fileID, 5, 'double') ; % +40. 5 double. first is always 1.0
end
fclose (fileID) ;

je serais très reconnaissant à celui ou celle qui m'aidera à supprimer cette boucle là

merci

[Boumbata]

Coucou!!

Et tu as essayé avec textscan ?

[ol9245]

Coucou!!

Et tu as essayé avec textscan ?

textscan ne m'est pas d'une grande utilité.
comme indiqué dans le titre du fil, ce sont des fichiers binaires.

[ol9245]

ce que j'ai fait en attendant les conseils, c'est de lire le fichier dans un tampon mémoire comme un tableau de caractères. Puis je découpe le tableau (à la scie ) et je réinterprète chaque morceau avec typecast. Le code équivalent à celui posté au premier message est :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
                % le header du fichier est lu normalement         
                H = fread(fileID, 2, 'int32') ;
                n = H(2) ;
                % le reste en vrac
                T=reshape(uint8(fread(fileID)),44,[]) ;
                fclose (fileID) ;
                % un petit coup de scie et on typecast
                U = typecast(reshape(T(5:end, :), 1, []), 'double') ;

Je suis toujours preneur d'une version moins bidouille si c'est possible : Matlab n'est pas nativement dédié aux amateurs de lignes de code incompréhensibles....

[Jerome Briot]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

T=reshape(uint8(fread(fileID)),44,[]) ;

Mouais... bof, plutôt :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

T = fread(fileID,[44,inf],'uint8');

Sinon, essaie ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
fid = fopen('test.bin','r');
 
H = fread(fid,2,'int32');
 
L = fread(fid,[H(2),1],'int32',8*5);
 
U = zeros(H(2), 5) ;
 
fseek(fid,2*4+4,'bof');
U(:,1) = fread(fid,'double',4*8+4);
fseek(fid,2*4+4+8,'bof');
U(:,2) = fread(fid,'double',4*8+4);
fseek(fid,2*4+4+2*8,'bof');
U(:,3) = fread(fid,'double',4*8+4);
fseek(fid,2*4+4+3*8,'bof');
U(:,4) = fread(fid,'double',4*8+4);
fseek(fid,2*4+4+4*8,'bof');
U(:,5) = fread(fid,'double',4*8+4);
 
fclose(fid);

ou encore plus simplement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
fid = fopen('test.bin','r');
 
H = fread(fid,2,'int32');
 
L = fread(fid,[H(2),1],'int32',8*5);
 
fseek(fid,2*4+4,'bof');
 
U = fread(fid,[5,H(2)],'5*double',4).';
 
fclose(fid);

[ol9245]

Merci ++
J'ai pris la deuxième version car en fait je n''utilises pas l'entier intercalé au milieu des doubles, donc je n'ai pas besoin de passer deux fois sur le fichier.