Discussion :

[stpaul04]

Bonjour,

comment peut-on allouer de la mémoire pour lire et écrire de gros fichiers texte en java?
Merci

[tchize_]

pourriez vous préciser votre demande? La taille du fichier n'importe pas pour le modifier, sauf si vous voulez le lire entièrement en mémoire, mais ce serait contre productif.

[stpaul04]

EN fait, je voudrai lire un fichier texte qui possède plus 20000 lignes et dont la taille est de 1500Ko.

Je voudrai lire ce fichier et écrire quelques contenu sur un autre fichier qui fera moins de 1500Ko.

J'arrive à le faire mais seulement pour un fichier de texte qui n'excède pas 4000 lignes.

voilà tout.
Il y a biensur un rapport avec mon post précédent mais j'ai été surpris quand j'ai vu que je ne pouvais pas lire les gros fichier.

merci

[tchize_]

il manque

votre code
votre erreur

[stpaul04]

Donc voici le code,
je n'arrive pas à extraire des données dans un fichier texte qui contient 20000 lignes, la taille du fichier fait 1250Ko seulement.

Quand j'extrais des lignes entre 10 et 30 voir entre 100 et 200 cela fonctionne parfaitement bien mais j'essaie d'extraire des données qui se trouvent aux ligne 5000 ou 15000, le programme s'éxécute comme si c'était normal et le fichier dans lequel est sotckés ne fait plus que 1Ko et quand j'ouvre le fichier est vide.

Je ne sais pas ce qui se passe.

Merci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
import java.io.*;
 
public class ReadSpecificLine
{
    public static void main(String[] args)
    {
        StringBuffer buffer = new StringBuffer();
        String line = "";
        int lineNo=0;
            try
            {
            LineNumberReader ln = new LineNumberReader(new FileReader("C://Source/Source.txt"));
            int count = 0;
            while (ln.readLine() != null)
            {
                count++;
            }
            ln.close();
            FileReader fr = new FileReader("C://Source/Source.txt");
            BufferedReader br = new BufferedReader(fr);
            for (lineNo = 1; lineNo <= count; lineNo++)
            {
                if (lineNo == 1718)
                {
                    for (lineNo = 1718; lineNo <= 1729; lineNo++)
                    {
                        buffer.append(br.readLine());
                        buffer.append("\r\n");
 
                    }
 
                }
 
                if (lineNo == 3431)
                {
                    for (lineNo = 3431; lineNo <= 3442; lineNo++)
                    {
                        buffer.append(br.readLine());
                       buffer.append("\r\n");
 
                    }
                }                
                else
                    br.readLine();
            }
 
        BufferedWriter bw=new BufferedWriter(new FileWriter(new File("C://Target/Target.txt"),true));
        bw.write(buffer.toString());
        bw.newLine();
        bw.close();
 
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

[tchize_]

bon on va corriger

1) inutile de lire tout le fichier, vous n'avez pas besoin de savoir combien de ligne il contient. Juste les numéros des lignes que vous désirez extraire sont nécessaire.
2) les for imbriqués ne servent à rien, il font exactement le même boulot que le for extérieur (faire avancer le compteur).

Donc:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
try
            {
            FileReader fr = new FileReader("C://Source/Source.txt");
            BufferedReader br = new BufferedReader(fr);
            String line = null;
            while((line=br.readLine())!=null) // temps qu'on a une ligne lue
            {
                if (lineNo >= 1718 && lineNo <= 1729)
                    buffer.append(br.readLine()).append("\r\n"); 
                else if (lineNo >= 3431 && lineNo <= 3442)
                    buffer.append(br.readLine()).append("\r\n");
                else if (lineNo > 3442) // pas nécessaire de lire pluse
                    break;
            }

ensuite, votre code ne vous affiche pas de message d'erreur? Affichez la valeur de lineNo après votre boucle:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

System.out.println("Lu "+lineNo+" lignes dans le fichier source");

histoire de voir où on en est.

[stpaul04]

Avec votre correction que je viens de comprendre, il ne se passe pas grand chose, c'est à dire:

resultat:
run:
Lu 0 lignes dans le fichier source
GÉNÉRATION TERMINÉE (durée totale* 1 seconde)

Et le ficher Target.txt est bien créé mais ils est toujours vide.


Au fait j'ai oublié de vous dire que j'utiliser NetBeans6.9 pour faire ce code.

Merci

[heyyo1]

Salut ssmano,
Le code de tchize_ est correct , peut être t'as mal exploiter le code .

Voici un code qui lit un document on entier et le réécrit dans un nouveau fichier

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
 
 
 Scanner scanner = null;
		 StringBuilder paragraph = new StringBuilder();
 
		      try {
				scanner = new Scanner(new File("C:/Source/Source.txt"));
 
 
		      long db = System.currentTimeMillis();
 
 
 
 
		      int nmbreLigne =0;
		      while (scanner.hasNextLine())
		      {
		    	  nmbreLigne++;
		        String line = scanner.nextLine();
		        paragraph.append(line);
		        paragraph.append("\n");
 
		        }
 
		      long df = System.currentTimeMillis();
		      System.out.println("Nombre de ligne "+nmbreLigne+" en "+(df-db)/1000+" s");
		      }
				catch (FileNotFoundException e) {
					e.printStackTrace();
				}
				finally
				{
					if(scanner != null)
					{
						scanner.close();
					}
				}
				BufferedWriter bw = null;
				try
				{
				  bw=new BufferedWriter(new FileWriter(new File("C:/Target/Target.txt"),true));
			        bw.write(paragraph.toString());
			        bw.newLine();
			        bw.close();
 
			        } catch (IOException e) {
			            e.printStackTrace();
			        }
			        {
						if(bw != null)
						{
							scanner.close();
						}
					}

Pour ne copie que des lignes specifiques tu peux ajouter des :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
  while (scanner.hasNextLine())
		      {
           if(nmbreLigne == 1252)
{
                        paragraph.append(line);
		        paragraph.append("\n");
}
 
}

Bonne Chance

[stpaul04]

Merci, le code de Tchize fonctionne effectivement j'avais fait une erreur.
mais quand même il ne fait pas exactement ce que je veux, il copie des lignes en sautant des lignes et les lignes absentes sont copiés dans un autre endroit..
enfin bon je vais pouvoir m'en sortie avec ça.
je vais plancher à fond dessus, c'est la base en java, si je n'y arrive même pas à faire ce code, y a un problème quelque part.

je vais voir cela calmement.

Merci à Tchize et pour ton code aussi.

Salut

[heyyo1]

Salut ssmano,
Tant mieux pou toi, pou info l'erreur du code de tchize_ est la suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8

while((line=br.readLine())!=null) // temps qu'on a une ligne lue
            {
                if (lineNo >= 1718 && lineNo <= 1729)
                    buffer.append(br.readLine()).append("\r\n"); 
                else if (lineNo >= 3431 && lineNo <= 3442)
                    buffer.append(br.readLine()).append("\r\n");

il faut remplacer br.readLine() par line car br.readLine() lit de nouveau une ligne donc la précédente est perdue.

Bonne chance

n'oublie pas la TAG résolu

[tchize_]

mea culpa

[stpaul04]

Bonjour Tchize et les autres,

je viens de me rendre de mon erreur.
mon fichier Taget.txt ne contenait rien quand je demandais à mon code d'aller jusqu'à la ligne par 20000.

C'est normal parce qu'en fait pour connaitre le nombre de ligne total de fichier source, je copier/coller dans un document word à partir de notepad ce qui fait word quand numérote ls lignes, la tailles et police de caractère diffère, même si je mets les mêmes police et taille que le notepad.
Donc me disait qu'il y avait 20000 lignes alors que noteapd ne comptait de 1634.

Je ne savais pas qu'il y aurait une difference entre word et notepad.
Donc je dois faire attention plustard.

Donc voilà le code aller chercher des lignes qui n'existait et en plus comme je gère les erreurs, j'ai perdu du temps.

Il y a encore un petit defaut, c'est qu'il perd des lignes en recopiant.

je regarde cela de près.

Merci à vous