Discussion :

[callofduty]

Bonsoir tout le monde, le code que je donne ici est simple, mais très lourd en terme d'execution (29 itérations). J'ai téléchargé et remplacé la fonction textscan par strsplit pour éviter les conversions:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
 
tic
 
for i=1:numel(d) 
 
    fid = fopen(fullfile(PathName,d(i).name));
     str=fgetl(fid);
     str1 = fgetl(fid);
     H2 = strsplit(str1);
     M = fscanf(fid, '%f', [numel(H2) inf]).';
     fclose(fid);
 
    c{i} = [H2; num2cell(M)];
 
end
 
 toc

Le pc devient tres lourd et le temps écoulé dépasse les 5h (cpu i5 2.4ghz 4gb DDR3). Peut on le simplifier beaucoup plus?

[Jerome Briot]

Tu peux t'aider du profiler pour analyser ton code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
profile on
 
for i=1:numel(d)
 
    fid = fopen(fullfile(PathName,d(i).name));
    str=fgetl(fid);
    str1 = fgetl(fid);
    H2 = strsplit(str1);
    M = fscanf(fid, '%f', [numel(H2) inf]).';
    fclose(fid);
 
    c{i} = [H2; num2cell(M)];
 
end
 
profile viewer

Diminue le nombre d'itérations pour ne pas avoir à attendre 5h pour analyser les résultats.


Sinon, combien de fichiers lis-tu ? Quelles sont les dimensions de chaque tableau M ?
Travailles-tu avec un système d'exploitation et une version de MATLAB 64 bits ?

Et pour finir, je ne comprends toujours pas l'intérêt du tableau de cellules c ?

[callofduty]

Bonjour, je dispose d'une base de 30 jours (29 fichiers) avec une dimension de 2050x1450. Je travaille sous systeme mac os de 64 bit.

j'ai pris 2 comme nombre d'itération et voila se qu'il me donne.

[Jerome Briot]

On voit donc clairement que c'est la fonction num2cell qui pénalise le temps d'exécution du code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

c{i} = [H2; num2cell(M)];

D'où la pertinence de ma question :

Et pour finir, je ne comprends toujours pas l'intérêt du tableau de cellules c ?

Tu remarqueras également le temps pris par la fonction waitbar.
J'ai appris à me passer de cet outil depuis bien longtemps déjà.

[callofduty]

Ya pas un grand intérêt pour cela, sauf que cette structure d'organisation rend l'accès aux différentes éléments plus facile et avec un seul paramètre (c), contrairement à ce qu'on a avec 'importdata' qui génère 3 flux. Sinon y'a t'il une fonction de conversion plus rapide que num2str?

[Jerome Briot]

Pourrais-tu faire le test suivant ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
M = rand(2050,1450);
 
tic
C = num2cell(M);
toc

Sur mon portable équipé d'un Intel Core i5 à 2,4 GHz, cela prend moins d'une seconde…

Pour le reste, je persiste à dire que la construction du tableau de cellules c est un mauvais choix de conception.

[callofduty]

Le teste me renvoi plus d'une seconde:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Elapsed time is 1.031928 seconds.

Autre chose, hier j'ai essayé de sauvegarder le résultat global après 6 h d'attente. J'ai eu un message d'avertissement et la taille du sauvegarde ne dépasse pas 128 octet. Il me demande d'utiliser -v7.3 switch. Que veut dire ce message?

[shaiHulud]

Il faut utiliser

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

save('varname','-v7.3')

Pour qu'il utilise un format de sauvegarde compatible avec la version 7.

[callofduty]

Bonjour, merci pour votre réponse, Est ce que je dois specifier le format d'enregistrement ('c.mat') ou directement je tape ça:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

save('c','-v7.3')

Sinon, mon matlab est de version 7.14, pourquoi ça necissite un format de sauvegarde compatible?

[Jerome Briot]

Tout ceci est bizarre.

Relance le calcul comme ceci:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
profile on
 
for i=1:5
 
    fid = fopen(fullfile(PathName,d(i).name));
    str=fgetl(fid);
    str1 = fgetl(fid);
    H2 = strsplit(str1);
    M = fscanf(fid, '%f', [numel(H2) inf]).';
    fclose(fid);
 
    size(M)
 
    tic
    num2cell(M)
    toc
 
    tic
    c{i} = [H2; num2cell(M)];
    toc
 
end
 
profile viewer

Et montre nous ce que MATLAB renvoi dans le Command Window

Pour save, c'est sans doute dû à la taille de la variable à sauvegarder, comme on peut le lire dans le menu « Preferences > General > MAT-file »

[callofduty]

Pourquoi c'est bizarre, voila ce qu'il me renvoi (desolé pour la mauvaise capture):

les deux premieres colonnes précédentes nous renseignent sur function name et calls ce qui donne respectivement (num2cell:10, fgetl:10, fulfile:5, filesep:5, ispc:5, strsplit,5).

[Jerome Briot]

Je ne voulais pas le résultat du profiler.

Bref, exécute le code suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
for i = 1:5
 
    fid = fopen(fullfile(PathName,d(i).name));
    str = fgetl(fid);
    str1 = fgetl(fid);
    H2 = strsplit(str1);
    M = fscanf(fid, '%f', [numel(H2) inf]).';
    fclose(fid);
 
    s(i,:) = size(M);
 
    tic
    num2cell(M);
    t1(i) = toc;
 
    tic
    c{i} = [H2; num2cell(M)];
    t2(i) = toc;
 
end
 
s
t1
t2

et montre nous ce que renvoi MATLAB

[callofduty]

Bonjour, vraiment désolé pour le retard. Voilà ce que j'ai eu après l'exécution:

[Jerome Briot]

Ce n'est donc pas num2cell qui prend tu temps, mais bien la construction du tableau de cellules c.

J'arrête de m'intéresser à ce problème car je continue à penser que c'est une perte de temps de vouloir poursuivre dans cette voie.

Je ne vois toujours pas ce que cela apporte comme simplification pour la suite du programme.

[callofduty]

Ok merci Dut. Une dernière question si vous me permettez, comment la sauvegarder :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

save('c','-v7.3')

C'est ça?