Discussion :

[::Fistons]

Bonjour à tous,

Voici ma problématique:

Je dois bosser sur des fichiers de type .csv avec une certaine norme.

Pour m'aider dans ma tache, j'ai créer 2-3 classes java afin de faciliter les choses... Notamment une classe Ligne qui contient... une ligne du fichier d'origine, ainsi que diverses méthodes, et une classe Fichier, qui contient une LinkedList de Ligne et quelques autres trucs.

Fichier me permet de manipuler mon fichier (changer une colonne, modifier telle colonne de telle ligne, enlever telle ligne, rajouter telle autre, etc...) et possède une méthode save(File sortie); qui permet de le sauvegarder là où on lui dit

Le constucteur de Fichier ressemble à ça:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
public Fichier(File file) throws IOException {
 
		reader = new BufferedReader(new FileReader(file));
		lignes = new LinkedList();
		String buffer;
 
		while ((buffer=reader.readLine())!=null) {
			lignes.add(new Ligne(buffer));
		}
 
		reader.close();
	}

Donc, tout ceci, c'est bien sympa, ça me permet de manipuler le fichier comme je veux, mais j'ai a manipuler des fichiers de 200Mo des fois. Et là, j'ai une OutOfMemoryException heap size, comme vous devez vous en douter...


La question est donc de savoir comment procéder pour que tout ceci fonctionne sans avoir a mettre un -Xmx512m par exemple...



Merci beaucoup...

[adiGuba]

Salut,


Avant de commencer j'ai deux remarques sur ton code :

• reader devrait être une variable locale d'après l'utilisation que tu en fais... Or on dirait qu'il s'agit d'un attribut d'instance
• Il faut toujours utiliser des try/finally pour libérer les ressources !

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
public Fichier(File file) throws IOException {
 
		lignes = new LinkedList();
 
		BufferedReader reader = new BufferedReader(new FileReader(file));
		try {
			String buffer;
			while ((buffer=reader.readLine())!=null) {
				lignes.add(new Ligne(buffer));
			}
		} finally {
			reader.close();
		}
	}

Sinon par défaut les applications Java sont en -Xmx64m si je ne me trompe pas... donc à moins de trouver une solution miracle ce n'est pas possible de charger un fichier de 200Mo complètement en mémoire !


Selon ce que tu fais de ces données il faudrait faire un traitement à la volée...


a++

[::Fistons]

Merci pour le conseil du try/finally, j'aurais appris un truc aujourd'hui. (Du coup, je vais lire la FAQ sur les I/O, j'apprendrais plein de trucs)

Sinon, concernant la solution miracle, ben c'est précisément ce que je cherche en fait

Je tenterais bien de "bufferiser" tout ça, mais je vois pas trop comment en fait...

[adiGuba]

Je tenterais bien de "bufferiser" tout ça, mais je vois pas trop comment en fait...

Ben tu as deux solutions :

• Soit tu continues comme maintenant en chargeant tout en mémoire, et dans ce cas tu es obligé d'augmenter la mémoire.
• Soit tu traites les données au moment où tu les lis sans les conserver (si c'est possible bien sûr), par exemple :
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  1
  2
  3
  4
  5
  6
  7
  8
  9
  		BufferedReader reader = new BufferedReader(new FileReader(file));
  		try {
  			String buffer;
  			while ((buffer=reader.readLine())!=null) {
  				// Traitement de buffer
  			}
  		} finally {
  			reader.close();
  		}

a++

[::Fistons]

La deuxième solution n'est malheureusement pas possible...

Par contre, je viens de tomber sur la classe Scanner de l'API standard, je vais peut être pouvoir en faire quelque chose... Je jette un coup d'œil et je vous dit


Edit: Bon, il semblerait que ça suffise pas en fait... Me faudrait un mixte entre RandomAccessFile et BufferedReader...

[adiGuba]

Par contre, je viens de tomber sur la classe Scanner de l'API standard, je vais peut être pouvoir en faire quelque chose... Je jette un coup d'œil et je vous dit

Ben le problème sera le même : si tu veux charger 200Mo en mémoire, il ta faut au moins 200Mo de mémoire...


a++