Discussion :

[Eylir]

Bonjour,

Je travaille sur un petit programme permetant de parser un dump de mySql vers pSQl (le script trouvable via les liens sur ce site ne fonctionne pas). Le code ne pose pas de problème en lui même, c'est plutot la taille du dump qui pose problème (>1G). Pour le parsing, j'utilise des regexp et il me faut, du coup, charger l'entiereté du dump en mémoire pour pouvoir ensuite le parser .

Quel'quun aurait-il une idée de comment charger se fichier en évitant un outOfMemory ? J'ai déjà essayé d'augmenter la taille allouée à la heapSpace sans succès. Ci dessous, le code qui charge le fichier (rien d'exceptionnel)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
			InputStream in = new FileInputStream(fileName);
			InputStreamReader inReader =new InputStreamReader(in);
	        BufferedReader br =new BufferedReader(inReader);
 
	        //read the file 
	        StringBuffer buf = new StringBuffer();
	        String lecture = null;
	        while (((lecture=br.readLine())!=null)) {
	        	buf.append(lecture);
	        }
	        br.close();
	        inReader.close();
	        in.close();
	        return buf;

[adiGuba]

Salut,


Déjà le code n'est pas super pour 2 raisons :

• Pour récupérer la totalité du fichier il serait préférable de faire une lecture par bloc plutôt que par ligne...
• Il manque un try/finally pour la fermeture du fichier

Ensuite ton problème de mémoire est normale, puisque le fichier fait plus de 1Go, et sachant qu'un char est codé sur 2 octets en Java cela représente plus de 2Go de mémoire... et il me semble que les JVM Windows ne peuvent pas allouer autant de mémoire !



Que fait ton parsing exactement ? Ne pourrais-tu pas l'appliquer sur de petites portions de ton fichier ? (une ligne ? une bloc bien limité ?)


a++

[Eylir]

Je n'ai pas mis le try catch mais il est bien présent dans le code, j'ai juste mis l'essentiel.

Sinon, je ne peux malheureusement me contenter d'une ligne, ni même d'un bloc bien délimité. En gros, le fichier se compose d'instructions ddl (drop table, create table, etc ...) sur un nombre de ligne indéterminés, suivit d'un bloc insert into tblname values (...),(...)...,(...); dont la taille est également fonction de la quantité de données contenue dans la table, ce qui est donc également variable

Enfin tant pis, en utilisant pas des regexp je devrais pouvoir lire le fichier ligne par ligne et traiter les différents blocs au fur et à mesure qu'il se complète, sans devoir gfarder l'ensemble du document en mémoire. Ce sera moins joli mais bon ...