Discussion :

[Bashar]

Bonjour,

Mon appli java doit copier des données d'une base vers une autre.
Concrètement j'ai deux connections, d'un coté je fais un select et de l'autre un insert.Jusque la tout va bien.

Mon soucis : certaines tables contiennent des GROS BLOBs et là :
"Exception in thread "main" java.lang.OutOfMemoryError: Java heap space"

Sur mon poste ca passe en changeant les paramètres de la JVM :
"-Xms256m -Xmx1024m"

Mais une fois en prod ca ne sera pas toujours possible, il faut que j'economise de la mémoire. Voici quelques questions que je me suis posées, pour lesquelles je n'ai pas encore trouvé les réponses :

quand j'exécute :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

resultSet = statement.executeQuery(query);

Le ResultSet contient il en mémoire l'ensemble des résultats ?

Si oui, peut on faire en sorte qu'il les charge "au fur et à mesure" ?

Pour les insertions j'ai désactivé l'autocommit, l'ensemble des inserts non validés (commit) sont il chargés en mémoire coté JVM ?

[Bashar]

Dans la doc de sun, http://java.sun.com/.../database.html, il y a un paragraphe sur les Resultsets et un sur les transactions.

Ca ne semble pas explicite, mais je comprends que les Resultset manipulent en fait un curseur géré par la DBMS. De même, les transactions sont gérées par le DBMS.
Dans ce cas, je ne vois pas comment consommer moins de mémoire lors de mon SELECT/INSERT...

Merci de partager votre avis ...

[TIFéç]

Salut Bashar,

Pour ce qui est de la gestion des resultsets, effectivement au moins une partie de la transaction est gere par la BD: elle retourne le nombre total de row entre autre et c'est cette action qui est extremement couteuse en ressources et en temps (pour ca, il faut que le pointeur parcours l'ensemble des resultats pour les compter). Voila une petite source qui peut peut etre aider. Pour ceux qui ne connaissent pas AskTom est le site de Tom Kyte qui est grosso modo le mec le plus baleze du monde en base Oracle (il bosse la bas et c'est ce que dise les autre gourous d'Oracle):
http://asktom.oracle.com/pls/asktom/...:4456921593765

Le ResultSet contient il en mémoire l'ensemble des résultats ?

OUI

peut on faire en sorte qu'il les charge "au fur et à mesure" ?

OUI, voir le lien au dessus

l'ensemble des inserts non validés (commit) sont il chargés en mémoire coté JVM ?

La je suis pas trop sur mais je ne pense pas, a priori ca devrait plutot etre a la base de conserver la mise en queue des transactions non committe (si quelqu'un peut preciser...)

Derniere petite chose, j'ai fait aussi un peu d'upload et download en java et meme en uploadant un par un des fichiers je finissais regulierement par tomber sur cette errreur (jusqu'a ce que comme toi je modifie le heap space). Je me demande si il n'y a pas une espece de mise en cache au niveau de la JVM (genre un garbage collector un peu lent ou ???) qui provoque un effet cumulatif en saturation de la memoire au fur et a mesure des upload.

En tout cas bon courage,
Cordialement,
Tif

[Bashar]

Merci beaucoup !!

C'est une vrai mine d'or ce site, je ne connaissais pas !

Du coup le seul moyen dont je dispose est de ne plus utiliser les :
resultSet.last() et resultSet.getRow()

je vais tester de ce pas

[Bashar]

Voila...j'ai fais mes tests...
En fait, à l'exécution du query, tout le résultat est chargé et les objects instanciés dans la JVM.

Pour en savoir plus j'ai essayé JConsole (merci Gfx : Le garbage collector)

lors de l'exécution de la ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

resultSet = statement.executeQuery(query);

La conso mémoire monte en flèche jusqu'à la taille (environ) de ma table
dans le cas présent 1GB

Je vais fouiller plus avant sur AskTom, mais si quelqu'un à une idée pour éviter de charger toute la table...

[TIFéç]

Salut Bashar,

Une solution (de facilité) pourrai etre l'utilisation de "ROWNUM". Par exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
SELECT * FROM MATABLE WHERE ROWNUM < 6

Ne renverra que les 5 premiers résultats de la requete. (Maintenant faut voir ce qu'il fait du reste mais il me semble qu'il ne parcours et ne charge que jusqu'à avoir trouvé les 5 premiers)

Ensuite tu te débrouille pour lui passer des parametres du genre "rownum > 5 and rownum < 11", ...
Ca devrai aider, mais il y a probablement une solution encore meilleure

Bon courage,
Tif

[elmor]

Un moyen d'éconimiser ta taille mémoire est de lire ta table par page.

Tu lis les 50 premier elements
Puis les 50 autres etc...

tu ne peux pas utliser la méthode setfetchSize car au fur et à mesure que tu liras ta table, les objects seront en mémoire et donc ta mémoire augmentera.

Tu peux utiliser les scroll curseurs, mais c'est plus ou moins bien implementers suivant les Bases de données.