Discussion :

[Zinoubad]

Bonjour,

Pour un de mes programmes j'ai besoin de manipuler des tableaux d'entiers 3D de t'aille approximative 10000*100*10000. je rencontre bien évidemment des problèmes pour cela notamment sur 4g de RAM (possibilité de tester sur plus). On essaye de me convaincre de passer au C++ qui pour lui l'allocation dynamique est optimale (étant déjà codé ) et de profiter des classes vector et array. Ma question: est ce que cela est vrai??? pourrais je économiser la mémoire utilisée par mon programme en utilisant le C++??? Merci.

[Matt_Houston]

Euh.. non si ce n'est pas possible en C ça ne le sera pas plus en C++. Là tu outrepasses les limites de la machine, pas celles du langage de programmation.

Pour réaliser cela il faut mapper ta ressource (fichier(s) sur disque, ressource réseau...) en mémoire système, c'est-à-dire en avoir une vue restreinte dans un tampon en RAM. L'idée étant que tu rapatries régulièrement les parties que tu souhaites consulter tout en renvoyant les changements. L'implémentation d'un tel système dépend énormément des données à traiter et de la manière dont on prévoit d'y accéder. Alternativement tu peux regarder du côté d'appels système du type mmap (non portable).

Je ne sais pas quel est ton niveau, mais c'est loin d'être trivial.

Tu ne peux pas foutre tout ça dans une base de données MySQL ou PostGre ?

[dalfab]

Des tableaux de taille 37G
Même sur gros système, je n'ai jamais vu cela.
Je pense que dans tous les cas, il faudra gérer cela de manière particulière, ou bien attendre la création d'une machine suffisamment puissante.

[Zinoubad]

Des tableaux de taille 37G
Même sur gros système, je n'ai jamais vu cela.

La taille est de 20G0 si je code en short type.

Euh.. non si ce n'est pas possible en C ça ne le sera pas plus en C++. Là tu outrepasses les limites de la machine, pas celles du langage de programmation.

Ceci répond parfaitement à ma question je te remercie.

. Tu ne peux pas foutre tout ça dans une base de données MySQL ou PostGre ?

J'ai songé à les conserver sur un .txt et avoir un compromis entre vitesse de performance et mémoire, mais comme il s'agit d'un 3D je bloque un peu dans l'accès aux éléments.

[ternel]

Ca m'étonnerait que tu aie réellement besoin de tout cela en même temps.
Ne pourrais-tu pas répartir le calcul par blocs?

[dinobogan]

Quels sont les traitements à appliquer sur ces données ?

[Médinoc]

J'ai songé à les conserver sur un .txt et avoir un compromis entre vitesse de performance et mémoire, mais comme il s'agit d'un 3D je bloque un peu dans l'accès aux éléments.

Non, pas un texte. Pour ça, il te faudrait un fichier binaire (indispensable pour de l'accès aléatoire). Idéalement, tu dois identifier dans quelle dimension les valeurs doivent être "proches" en mémoire, et mettre cette dimension "en dernier".

Et ensuite, faire un paging: Lorsque tu as besoin de la valeur, monTableau[a][b][c], ce dont tu as besoin c'est la page contenant, par exemple, tout monTableau[a][b]. Ton code utilisateur va donc la réclamer à un gestionnaire de pages que tu auras aussi implémenté.

• Si la page est déjà chargée dans le gestionnaire, il peut simplement la retourner et permettre l'accès aux valeurs qui s'y trouvent.
• Sinon, il faut la charger. Et si le gestionnaire de pages est plein, il faut en libérer une: tu choisis dans ton gestionnaire de pages celle que tu vas sacrifier; tu écris dans ton fichier, au bon emplacement, tout le contenu de ladite page; puis tu charge celle dont tu as besoin.

Optionnellement, tu pourrais aussi inclure un mécanisme pour savoir si une page est accédée en écriture ou en lecture, pour savoir si tu dois ou non passer par l'étape "écrire le contenu de la page dans le fichier".

Noter que l'OS peut avoir des mécanismes de mapping pouvant faire une partie du travail pour toi (comme dans le cas des File Mapping de Windows, lire et écrire le contenu des pages, et probablement aussi détecter les modifications).