Discussion :

[wwwdz]

bonjour

j'ai un probleme lors du remplissage de ma arraylist depuis un gros fichier (4000000 lignes) quand j'ateint environ 2300000 lignes sa plante
donc voici mon code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
 
public  void lireLesDonnees(ArrayList<String> listeDonnees){  
     // Ouvrir le fichier en lecture
     this.ouvrirEnLecture("kddcup");
     String chaine ="";
     // tant que ...
     do { 	 
         try {
             // Lire la ligne courante et la retourner au  programme appelant
        	 //chaine=fR.readLine();
        	 if ((chaine=fR.readLine()) != null){
        	           /// Ajouter la chaine à liste des donnees de type ArrayList
        	           listeDonnees.add(chaine);
        	           System.out.println(listeDonnees.size());
 
        	         }
               }
               // Si une erreur est détéctée (le fichier n'est pas ouvert en lecture, ...)
        	catch (IOException err) {
                        // afficher le message d'erreur
        		System.out.println("Donnees.txt"+" : Erreur  de lecture ");}
     // ... la chaine lue n'est pas null (fin de fichier)
     } while (chaine != null);
     fermer();
 }

et voici ce que dit le compilateur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
Exception in thread "main" java.lang.OutOfMemoryError: GC overhead limit exceeded
	at java.util.Arrays.copyOfRange(Arrays.java:3664)
	at java.lang.String.<init>(String.java:207)
	at java.io.BufferedReader.readLine(BufferedReader.java:356)
	at java.io.BufferedReader.readLine(BufferedReader.java:389)
	at projet.Fichier.lireLesDonnees(Fichier.java:89)
	at projet.test.main(test.java:11)

Votre contribution me serait précieuse.

[tchize_]

bonjour

j'ai un probleme lors du remplissage de ma arraylist depuis un gros fichier (4000000 lignes)

Et à ton avis, ça occupe combien de mémoire dans ton programme 4 millions de lignes? Indice ça dépends le taille de tes lignes, elle ont quelle taille tes lignes?

[wwwdz]

Et à ton avis, ça occupe combien de mémoire dans ton programme 4 millions de lignes? Indice ça dépends le taille de tes lignes, elle ont quelle taille tes lignes?

une ligne a une taille d'environ 147 octets .
mon fichiers s'est kddcup 1999 dataset des données déjà classifier utiliser pour des heuristique de classification.

[wwwdz]

je me casse le tête a contourner le problème de mémoire mais sans succès.
je pense que mon dernier recours sera spliter(diviser) mon fichier de 740mb.

[tchize_]

une ligne a une taille d'environ 147 octets .

Tu veux dire, 147 caractère, ce qui aboutit à environ 1.4G ((147*2+réf tableau+int taille tableau+ref classe+ref classe tableau+des poussières)*4.000.000) de string. Si tu es sur un OS 32 bits, tu t'approche dangereusement de la limite de ce que la JVM peut adresser. Ca varie entre 1.2 et 1.6G suivant les circonstances.

[wwwdz]

je suis sous linux 14.04 64 bits, mon arraylist de type String s'arrete a 2300000 lignes.
svp proposer moi des solution autre que de spliter mon fichier.

[tchize_]

Quelle est la taille de la mémoire occupée par la jvm quand ça plante? Quelle version de la jvm? Le mieux serait de traiter ton fichier au fur et à mesure, plutot que de tout mettre en mémoire et traiter après.