Discussion :

[procrastination]

Bonjour,
Alors je sais que c'est une question récurrente le problème de mémoire "out of memory" mais je vous sollicite pour essayer d'améliorer mon code afin d'éviter d'être à cours de mémoire.

Ci-dessous un extrait de mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 disp(['//start adapted wavelet analysis ' datestr(now,'yyyy-mm-dd/HH:MM:SS')])        
        disp(['Signal : ' name_sig ' Wavelet : ' name_wave])
        set(hObject,'str','RUNNING...','backg',[1 .6 .6])
        %%%%%%% Deleting variables for memory
        clear index_selected_sig index_selected_wave item_selected_sig item_selected_wave list_sig list_wave...
            name_sig name_wave signals variable_sig variable_wave waves i
        %%%%%%Wave management
        [coef,scales] = analyse_adapted_wavelet(S,wavelet_sig,0);
        %Tracé des cp (Pourcentage d'énergie)
        cpm = max(coef.^2);

Mon erreur intervient lors du calcul de la variable cpm, c'est-à-dire le carré de mes coefficients d'ondelettes. La fonction analyse_adapted_wavelet est une fonction à laquelle je fais appel afin de calculer la transformée en ondelettes d'un signal.

La matrice des coefficients renvoyées est de taille 751*65535.

En vous remerciant d'avance.


Mehdi

[le fab]

salut

la solution la plus efficace est le passage en 64 bits, si ce n'est déjà fait
pour du calcul scientifique, ca me parait indispensable

Fabien

[procrastination]

C'est vrai que j'ai un ordinateur qui n'est pas très puissant :

>> memory
Maximum possible array: 598 MB (6.274e+08 bytes) *
Memory available for all arrays: 1349 MB (1.414e+09 bytes) **
Memory used by MATLAB: 418 MB (4.386e+08 bytes)
Physical Memory (RAM): 3241 MB (3.398e+09 bytes)

* Limited by contiguous virtual address space available.
** Limited by virtual address space available.

Mais ma question est plus orientée sur le calcul de la puissance au carré de ma matrice, existe-t-il un moyen moins coûteux pour le faire sur Matlab ? Par exemple utiliser sparse ?

[le fab]

je continue de répondre à coté

que l'ordinateur ne soit pas équipé de beaucoup de RAM est une chose
encore faut il l'exploiter pleinement

là tu a 4Go ... et tu es en 32bits
en passant en 64 bits tu utiliserais pleinement ces 4 Go et ne rencontrerais pas ce genre de pb

le soucis viens du fait que matlab utilise des zones mémoires consécutives pour stocker une donnée (en l'occurence une matrice)
un système d'exploitation adapté (64 bits) + installation de matlab en version 64 bits permet de disposer de plus grandes zones memoires consécutives

sinon il faut limiter au plus l'utilisation (et surtout la fragmentation) de la mémoire :
- ne pas faire tourner d'appli supplementaires
- tu peux aussi ne pas faire tourner l'IHM de matlab, ni le java
- éviter les variables intermédiaires
- utiliser les matrices les plus petites possible (sparse peut aider)
- utilisation de fonctions imbriquées (nested)

Fabien

[shaiHulud]

existe-t-il un moyen moins coûteux pour le faire sur Matlab

Tu peux essayer les diverses factorisations matricielles ( lu() qr() pca() nnmf() ...). une fois factorisé, le calcul de puissance est plus simple (par exemple si tu diagonalises en base ortho. une matrice symétrique S= P'DP, alors S^n= P'D^nP, il suffit d'élever n valeurs propres à la puissance n, et tu peux de plus négliger certains espaces propres). Néanmoins, tu n'as pas la garantie que cela consommera moins de mémoire au global, et les conseils de le fab sont pleins de bons sens

[tachmou]

Si tu ne peux pas suivre ces précédents conseils (qui sont de loin les meilleurs), tu peux toujours te farcir une belle boucle for, calculer les carrés 1 à 1 et enregistrer tes résultat dans un énorme fichier

[shaiHulud]

Effectivement c'est un elementwise matrix.^2, ce que je proposais ne marche que pour du matrix^2.

Tu peux réduire la conso mémoire en
- éliminant les niveaux trop fin dans l'ondelette
- travaillant niveau à niveau plutôt que de tout mettre au carré d'un coup
- passant les éléments au carré un par un dans un fichier, puis en effaçant ton workspace avant de lire le fichier.

[tachmou]

Ah oui, tu avais dit de belles âneries juste avant, VV33D : je n'avais même pas fait attention... comme quoi, je suis vraiment à la masse

Par contre tu as bien résumé les possibilités envisageables maintenant.

[shaiHulud]

C'est pas des âneries quand, sans regarder le code, je lis

le calcul de la puissance au carré de ma matrice

[procrastination]

Merci pour vos conseils et vos réponses !!!!!!

J'ai choisit une solution simple découper mon signal en plusieurs morceaux ce n'est peut être pas la meilleure mais ça répond à mon besoin et le mon IHM dispose déjà d'un outil découpage je pense que ça va le faire.

Merci le fab pour ces précieux conseils.