Gérer des objects de grande taille

Bonjour à tous,

Je programme des algorithmes d'optimisation en Java, dernièrement je fesais un test et là, au bout de 500 000 itérations, le programme commence à ralentir, les itérations s'arrêtes puis reprennent ! ensuite le programme génère l'erreur "java.lang.OutOfMemoryError: GC overhead limit exceeded". En faisant appel à Google, j'ai compris que cela peut provenir des objets qui ont une grande taille, et en effet, dans mon algo, et à chaque itération, j'ajoute un object à une liste, donc la taille de la liste correspond au nombre d'itérations. Je pense qu'à priori ça vient de là ! mais je n'en suis pas sur ! donc si vous avez une idée sur la manière de résoudre ce problème je serais reconnaissant! et sinon y'a t-il une manière de voir l'évolution de la mémoire heap en temps réél, et objet par objet !

merci,

Bonjour,

Si tu travailles avec des listes contenant x centaines de milliers d'éléments, effectivement, cela peut-être la cause de ton erreur...

Pour pouvoir t'aider à améliorer cela, il faudrait par contre que l'on puisse voir à quoi ressemble le code correspondant, parce que là, sans rien, ça va pas être évident...

Mako.

Citation:

---

Envoyé par issmaz

et sinon y'a t-il une manière de voir l'évolution de la mémoire heap en temps réél, et objet par objet !

---

Tu peux toujours faire de la vérification avec des outils comme JProfiler mais si tu veux attendre tes 500 000 itérations, tu n'es pas rendu :aie:

Le plus simple comme le dit Mako 5013, précise nous ton code et le contexte. Car peut être que pour ce que tu fais, tu n'as pas besoin de tout créer.

Citation:

---

Envoyé par Mako 5013

Bonjour,

Si tu travailles avec des listes contenant x centaines de milliers d'éléments, effectivement, cela peut être la cause de ton erreur...

Pour pouvoir t'aider à améliorer cela, il faudrait par contre que l'on puisse voir à quoi ressemble le code correspondant, parce que là, sans rien, ça va pas être évident...

Mako.

---

sa va être dur d'envoyer le code en entier surtout que j'utilise plusieurs classe mais je peux décrire la structure du programme principal. En effet, c'est un algorithme de branch an bound, l'object qui est stocké dans la liste modélise "l'espace de recherche", qui sera divisé à chaque itération et stocké dans cette fameuse liste. C'est cette structure qui permet de remplir la liste !

Un point qui peut améliorer les performance consiste à allouer à ta liste directement l'espace qui sera utilisé. Ça évite notamment des recopies d'arrays, quand tu dépasses la taille "max" actuelle de ta liste.
Mais bon, le mieux serait d'avoir le code ^^

Quel type de list utilises tu ?
Je pense que dans ton cas, il vaux mieux opérer sur une structure de données de type arbre avec tous les avantage que cela implique. Tes itérations vont se trouver vachement réduites!! C'est une idée!
Pour des recherches d'information, utilise les arbres de recherche et pourquoi pas des AVL.
J'ai testé tout ce monde et c'est super efficace!
Pourquoi, ne pas faire appel également à une base de donnée?

Choisir une liste comme structure de données dans ton cas me parait très osé honnêtement.
Cordialement

Citation:

---

Envoyé par wafiwafi

Quel type de list utilises tu ?
Je pense que dans ton cas, il vaux mieux opérer sur une structure de données de type arbre avec tous les avantage que cela implique. Tes itérations vont se trouver vachement réduites!! C'est une idée!
Pour des recherches d'information, utilise les arbres de recherche et pourquoi pas des AVL.
J'ai testé tout ce monde et c'est super efficace!
Pourquoi, ne pas faire appel également à une base de donnée?

Choisir une liste comme structure de données dans ton cas me parait très osé honnêtement.
Cordialement

---

En fait j'utilise une structure arbre (que j'appelle PriorityQueue, mais cela revient au final à une ArrayList) Concernant les bases de données, en quoi cela consiste exactement ? (je ne suis pas informaticien à la base !)

Citation:

---

Envoyé par issmaz

Je programme des algorithmes d'optimisation en Java

---

Citation:

---

Envoyé par issmaz

c'est un algorithme de branch an bound

---

C'est un domaine dans le quel il existe déjà beaucoup de librairies (lp_solve, CPLEX*, Mosek*...). Es-tu sur de ne pas ré-implémenter du code déjà super bien écrit?

* Ces librairies sont payantes.

Citation:

---

Envoyé par LGnord

C'est un domaine dans le quel il existe déjà beaucoup de librairies (lp_solve, CPLEX*, Mosek*...). Es-tu sur de ne pas ré-implémenter du code déjà super bien écrit?

* Ces librairies sont payantes.

---

ces librairies sont des librairies d'optimisation c vrai, mais les problèmes que je traite ne sont pas linéaires, ni quadratiques... donc ces solveurs me sont inutiles, d'où la nécessité d'implémenter mes propres algos !

Deux situations possibles : soit tu es sûr que la taille mémoire utilisée ne peut pas être diminuée, soit tu réfléchis à améliorer ton algo sur la gestion mémoire.

Dans ces deux cas, tu peux imaginer augmenter la RAM allouée à la JVM (documente-toi sur l'option -Xmx de ma JVM), passer par des fichiers intermédiaires pour un stockage temporaire le temps de terminer le calcul...

Si tu fais du Branch and Bound c'est que tu as un système de contraintes permettant de couper les branches...

Dès lors que tu as des contraintes et un problème discret, tu peux utiliser un Solver de Programmation par contraintes à cet effet.

Genre http://www.emn.fr/z-info/choco-solver/...

Sinon il va te falloir trouver un moyen de limiter les branches explorées au plus vite ((Méta)heuristique quelconque), ou du moins limiter les données stockées à la meilleure solution courante...

Tu stocke bien trop d'infos en mémoire pour que ce soit viable...
Par contre tu pourrais imaginer une sorte de cache au niveau du disque, par contre tu vas perdre en performance, forcément....