Discussion :

[KpTn]

C'est vrai que sans l'algo on va avoir du mal à t'aider ! On ne te demande pas le code source forcément mais au moins un algo qui illustre ce qu'il fait.

Parce que par exemple dans un de tes premiers posts je croire comprendre que tu fais une (ou plusieurs) lecture(s) en base pure valider chaque ligne avant de l'insérer. Si c'est le cas c'est clair que ça va prendre du temps ! Mais as tu réellement besoin de lire en base pour chaque enregistrement ?

Et il est clair que comme le propose tchize_ l'insertion par lot (mode batch) peut être utile. Attention néanmoins si tu pars dans cette direction à la manière dont tu génères la clé primaire de chaque enregistrement. Car selon la méthode Hibernate n'arrivera pas à faire du traitement par lot.

[rami25316]

Après de longues heures de réunion et de longues heures de recherche d’optimisation du code. Il s’avère que le client a décider d'alloué plus de mémoire a l'application.
Le problème est clos pour le client il l'est donc pour moi.

Je vous remercie tous de votre aide.

[FaridM]

toutes les solutions amènerons inévitablement une modification de l'application.

Après de longues heures de réunion et de longues heures de recherche d’optimisation du code. Il s’avère que le client a décider d'alloué plus de mémoire a l'application.

Méthode radicale

Sinon pourquoi ne pas avoir fait se traitement sans utiliser Hibernate ? Ca aurait eventuellement pu aider.

Sinon j'ai aussi eu ce genre de problème sur un très grand nombre de requête que je faisait directement dans la console MySQL et je me suis rendu compte que :

Code sql :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
INSERT INTO `laTable` (`champ1`,` champ2`, `champ...`) VALUES('valeur1', 'valeur2', 'valeur...');
INSERT INTO `laTable` (`champ1`,` champ2`, `champ...`) VALUES('valeur1', 'valeur2', 'valeur...');
INSERT INTO `laTable` (`champ1`,` champ2`, `champ...`) VALUES('valeur1', 'valeur2', 'valeur...');
INSERT INTO `laTable` (`champ1`,` champ2`, `champ...`) VALUES('valeur1', 'valeur2', 'valeur...');
...

était beaucouuuuup plus lent que :

Code sql :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
INSERT INTO `laTable` (`champ1`,` champ2`, `champ...`) VALUES('valeur1', 'valeur2', 'valeur...'),
('valeur1', 'valeur2', 'valeur...'),
('valeur1', 'valeur2', 'valeur...'),
('valeur1', 'valeur2', 'valeur...'),
...

Donc si jamais le problème revient (parce qu'ajouter de la RAM n'est pas une vrai solution, si le fichier devient plus gros?), tu peux regarder de ce côté là.

[jeffray03]

salut,
en effet le probleme est repoussé a une date ulterieure.
Cela serait mieux de trouver une solution independemment de la RAM.
sinon bonjour le reajustement.

Eric

[DevServlet]

Bonsoir,
Je confirme bien qu'augmenter la mémoire ne fera que remettre le pb à plus tard, puisque la base va continuer à grossir.Il faut relire les différentes réponses d'optimisation proposées plus haut.