Discussion :

[verbose]

Je traite un fichier texte très volumineux (plusieurs centaines de méga octets) et je tombe sur un out of memory.

Pourtant il s'agit d'un batch qui ne garde pas de référence sur les String créées lors de la lecture du fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
 
BufferedReader input = new BufferedReader(new FileReader(file));
 
try {
	int count = 1;
	String line = input.readLine();
	while (line != null) {
		traitement(line, count++);
		line = input.readLine();
 
		if (count % 100 == 0)  {
			System.gc();
		}
	}
}
finally {
	input.close();
}

Je ne comprends pas pourquoi le GC ne détruit pas les String régulièrement puisqu'elles ne sont plus référencées.

J'ai rajouté System.gc() en espérant que cela améliorerait la situation, mais cela ne fait que retarder le plantage sans l'empêcher

[ludomacho]

Bonjour,

Et traitement il fait quoi?

[andry.aime]

Bonjour,

C'est du au fait de l'utilisation du String qui est immuable dans une boucle. Utilise plutôt un StringBuilder.

A+.

[verbose]

@ludomacho : Mon traitement fait simplement une insertion en base de données.

@andry.aime : input.readLine() me retourne une String et je ne fait aucune opération sur cette String.

[rg77140]

Bonjour,

Comment est-ce que tu fais ton insertion ? Tu peux nous montrer le code correspondant ?

Si tu passes par Hibernate (ou un autre ORM du même genre), il faut penser à flusher (session.flush()) et à vider (session.clear()) la session régulièrement.

Romain.

[verbose]

Je n'ai pas le code sous la main, je suis sur un autre poste de travail, mais je n'utilise pas Hibernate. J'utilise uniquement l'api standard avec du code sql brut.

Je fais un truc du genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
String sql = "insert into table (`line`) values (?)";
Connection conn = DriverManager.getConnection(...);
PreparedStatement stmt = conn.prepareStatement(sql);
stmt.setString(1, line);
stmt.execute();

C'est vraiment tout bête. Par contre, cela me fais penser que je ne fais pas de close() sur le statement en fin de traitement. Je vais essayer ce soir.

[adiGuba]

Salut,

J'ai rajouté System.gc() en espérant que cela améliorerait la situation, mais cela ne fait que retarder le plantage sans l'empêcher

System.gc() est à proscrire !
Au mieux il ne fera rien... sinon il ne fera que de te pourrir les performances...


Avant de remonter un OutOfMemory, le GC fera tout son possible pour libérer tout ce qu'il peut...

C'est vraiment tout bête. Par contre, cela me fais penser que je ne fais pas de close() sur le statement en fin de traitement. Je vais essayer ce soir.

Il y a de forte chance que tu ai trouvé ton problème...


a++

[verbose]

Merci adiGuba. Je vous tiens au courant ce soir.

[verbose]

Je n'ai pas fini de traiter mon fichier, mais apparemment c'est bon