Discussion :

[conanran]

Bonjour,

J'espère que vous vous portez bien !

Dans mon code, je gère des matrices à grande taille (matrice 3D). Pour optimiser la mémoire utilisée, pour l’instant, j’ai utilisé la classe Single. Par contre, j’ai toujours un problème de stockage.
Étant donné que dans ces matrices plusieurs éléments sont fixés à Zéro ou NaN, connaissez-vous d’autres solutions qui permettent d’optimiser la taille mémoire ?

En vous remerciant!
Cordialement
Conan

[Jerome Briot]

Étant donné que dans ces matrices plusieurs éléments sont fixés à Zéro ou NaN

Tu peux essayé avec des matrices creuses :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

doc sparse

[conanran]

Merci Jerome,
Je n'ai pas compris comment je peux utiliser cette fonction avec matrice 3D
Merci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
clear all;clc;
%%
T0=295.6541;
A=T0*ones(200,200,15000);
%%
B=A;
B(50:150,50:150,:)=0;
C=sparse(B); 
size(A)
size(B)
size(C)
%%
whos A
whos B
whos C
return

[Jerome Briot]

Effectivement, ce n'est pas possible d'utiliser sparse en 3D

Voir peut être ici : N-dimensional sparse arrays

[le fab]

Par contre, j’ai toujours un problème de stockage.

salut

je répond peut être un peu à coté, et peut être de façon bourrin, mais :
- es tu en 64 bits et as tu de la RAM en quantité significative ?
- as tu une version récente de matlab et si oui as tu envisagé les tallarray ?

[Jerome Briot]

le_fab a raison

Peux-tu nous monter ce que renvoi memory dans le Command Window ?
Et aussi nous donner les dimensions maximales et le nombre de matrices que tu souhaites créer.

[conanran]

Bonjour,
j'utilise Matlab R2019a, 64 bits.

Je gère des matrices comme montre l'exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
T0=295.6541;
A=T0*ones(250,2000,67691);

en PJ le message.

[le fab]

oui bon bein il te faudrait au moins 256 GO de RAM

essayes de regarder du coté de la gestion big data de matlab

bon je vais pas pouvoir t'aider, j'ai jamais fais ca
par contre si ca t'aide, n'hésite pas à venir le dire (en détaillant un peu), ca peut aider les suivants

[Jerome Briot]

oui bon bein il te faudrait au moins 256 GO de RAM

Si les valeurs sont en Double codées sur 8 octets : 250*2000*67691*8/1024/1024/1024 = 250 Go

Codées en Single, soit sur 4 octets, il faut deux fois moins de place. Soit quand même 125 Go

Et encore, comme MATLAB ne gère pas la mémoire fragmenté, il faut un bloc contigu de mémoire disponible. Ce qui signifie encore plus de mémoire.

Par contre, ce n'est pas que de la RAM. Les systèmes d’exploitation utilisent aussi de la mémoire des disques de stockage pour augmenter la quantité de mémoire disponible (le swap).

[conanran]

Bonjour le fab
Est-possible me donner un exemple ou doc qui explique mieux la gestion "big data de matlab"
Merci

[le fab]

j'ai pas ca sous la main non
va faire une tour sur le site de mathworks, il doit y avoir des webinars sur le sujet