Discussion :

[gadgetochapo]

Bonjour,

J'essaye actuellement d'optimiser un code afin que son exécution soit plus rapide. Malheureusement, je me retrouve confronté à un problème dont je n'arrive pas à déterminer a cause. Je m'explique :

Le but de mon code est de lire un fichier contenant une séquence d'image, d'en extraire une en particulier, de réaliser un traitement puis de passer à l'image suivante et ainsi de suite jusqu’à la dernière image (en simplifier).

J'ai donc réaliser une boucle for pour réaliser cela.

Ce qui est étrange c'est que lors de la lecture des premières images, la boucle est relativement rapide, et qu'arrivé à une certaine image, le temps passé pour une itération est multiplié par 10...

Voici la partie de mon code contenant la boucle dont je vous parle, ainsi que le code me permettant d'extraire une image de la séquence d'image (ReadSML) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
for nbr = 1 : nbrImages
 
    cd(pathRef);
    [a, dataRef, a] = ReadSML(nomRefSML,nbr);
 
    cd(pathAdj);
    [a, dataAdj, a] = ReadSML(nomAdjSML,nbrImages - nbr + 1);
 
    energieTopo = energieTopo + ((dataRef.^2) .* (dataAdj.^2));
    gradTopo = gradTopo  + ((dataRef) .* (dataAdj));
 
end

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
function [header, data, maxData, minData] = ReadSML(filename,image)
 
file = fopen(filename,'rb');
 
fseek(file,4,'cof');
header.NbX = fread(file,1,'int');
header.NbZ = fread(file,1,'int');
header.NbY = fread(file,1,'int');
header.NbPasTemporel = fread(file,1,'int');
fseek(file,56,'cof');
header.PasSpatial = fread(file,1,'float');
header.PasTemporel = fread(file,1,'float');
fseek(file,3478,'cof');
header.PasImages = fread(file,1,'int');
fseek(file,94,'cof');
header.NbImages = fread(file,1,'int');
fseek(file,8,'cof');
 
deplacement = (image-1)*(header.NbX*header.NbY+1)*4;
 
fseek(file,deplacement,'cof');
 
data = fread(file,[header.NbY, header.NbX],'float');
data = data';
 
minData = min(min(data));
maxData = max(max(data));
 
 
fclose(file);

Je vous remercie d'avance pour votre aide!

[Jerome Briot]

Pourquoi ouvrir et fermer les fichiers à chaque itération ?

Dans un premier temps, je ferais plutôt ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
fidRef = fopen(fullfile(pathRef,nomRefSML,'rb');
fidAdj = fopen(fullfile(pathAdj,nomAdjSML,'rb');
 
for nbr = 1 : nbrImages
 
    [a, dataRef, a] = ReadSML(fidRef,nbr);
 
    [a, dataAdj, a] = ReadSML(fidAdj,nbrImages - nbr + 1);
 
    energieTopo = energieTopo + ((dataRef.^2) .* (dataAdj.^2));
    gradTopo = gradTopo  + ((dataRef) .* (dataAdj));
 
end
 
fclose(fidRef);
fclose(fidAdj);

et dans la fonction ReadSML :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
function [header, data, maxData, minData] = ReadSML(file,img)

fseek(file,4,'bof');
header.NbX = fread(file,1,'int');
header.NbZ = fread(file,1,'int');
header.NbY = fread(file,1,'int');
header.NbPasTemporel = fread(file,1,'int');
fseek(file,56,'cof');
header.PasSpatial = fread(file,1,'float');
header.PasTemporel = fread(file,1,'float');
fseek(file,3478,'cof');
header.PasImages = fread(file,1,'int');
fseek(file,94,'cof');
header.NbImages = fread(file,1,'int');
fseek(file,8,'cof');

deplacement = (img-1)*(header.NbX*header.NbY+1)*4;

fseek(file,deplacement,'cof');

data = fread(file,[header.NbY, header.NbX],'float');
data = data';

minData = min(min(data));
maxData = max(max(data));

Il faut ensuite chercher à optimiser la fonction de lecture.
Il ne faut lire que les données correspondant à header.NbX et header.NbY avec FREAD et utiliser FSEEK pour passer les autres sans les lire.

Note qu'il est préférable de ne pas utiliser image comme nom de variable car c'est déjà le nom d'une fonction MATLAB.

[gadgetochapo]

Merci pour ta réponse rapide.

Pour l'ouverture du fichier à chaque itération je suis d'accord. D'ailleurs j'ai déjà essayé d'ouvrir qu'une seule fois le fichier, mais quand j'envois fidRef par exemple à la fonction ReadSML, cette dernière n'arrive pas à lire le fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Invalid file identifier.  Use fopen to generate a valid file identifier.

Pourrais-tu m'expliciter à quoi sert 'fullfile', je n'ai pas réussi à obtenir de réponse claire dans la doc, surtout dans le cas du 'fopen'.

En ce qui concerne l'optimisation que tu proposes, à moins que je n'ai pas compris ce qui tu veux me dire, il me semble que c'est ce que je fait déjà :

la variable 'deplacement' indique l'emplacement en nombre de 'bits' de l'image d'interêt, 'fseek' deplace le curseur, et je ne lis que les header.NbX*header.NbY valeurs.


Je te remercie encore pour ton aide!

[Jerome Briot]

J'ai fait une petite erreur dans le code ci-dessus :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
fidRef = fopen(fullfile(pathRef,nomRefSML),'rb');
fidAdj = fopen(fullfile(pathAdj,nomAdjSML),'rb');

Pour l'intérêt de la fonction FULLFILE, je te renvoie vers la : Comment concaténer le nom d'un fichier et celui d'un répertoire ?

Sinon pour l'optimisation de ReadSML, il est inutile de relire les paramètres en entête du fichier à chaque itération.

Tu devrait pouvoir faire ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
fidRef = fopen(fullfile(pathRef,nomRefSML),'rb');
fidAdj = fopen(fullfile(pathAdj,nomAdjSML),'rb');
 
fseek(file,4,'bof');
 
Nb = fread(file,3,'int');
 
for nbr = 1 : nbrImages
 
    dataRef = ReadSML(fidRef,nbr,Nb(1),Nb(3));
 
    dataAdj = ReadSML(fidAdj,nbrImages - nbr + 1,Nb(1),Nb(3));
 
    energieTopo = energieTopo + ((dataRef.^2) .* (dataAdj.^2));
    gradTopo = gradTopo  + ((dataRef) .* (dataAdj));
 
end
 
fclose(fidRef);
fclose(fidAdj);

et dans ReadSML :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
function data = ReadSML(file,img,NbX,NbY)

deplacement = (img-1)*(NbX*NbY+1)*4+N;

fseek(file,deplacement,'bof');

data = fread(file,[NbY, NbX],'float').';

Où N correspond à la taille de l'entête en octets.

Enfin c'est l'idée...

[gadgetochapo]

Oui j'avais vu l'oubli de la parenthèse, cependant j'ai la même erreur...

Pour l'entête je suis d'accord; je viens de faire la modification.

Tes idées pour optimiser le codes sont très bonnes mais ne corrige pas mon problème initiale qui est qu'a partir d'un certain nombre d'itération, chaque itération prend un temps plus important pour s'effectuer.

Cela arrive d'un coup en plus. Cette augmentation aurait été progressive je me serait dit que c'était dût au temps de déplacer le "curseur" à l'image d’intérêt (les fichiers à lire font plusieurs dizaines de Go), mais ce n'est pas le cas...