Problème lecture gros fichier texte

Version imprimable

22/02/2008, 10h17
UnnamedBoy

Problème lecture gros fichier texte

Bonjour,
Pour un projet universitaire, je dois actuellement ouvrir un fichier texte de 40Mo (environ 600 000 lignes) et sortir certaines lignes suivant leurs contenu. Ce traitement se passe très bien, mais le programme s'arrète a environ 10 000 lignes de la fin du fichier, sur une ligne qui ressemble a toute les autres. J'ai essayé en coupant le fichier en 2 d'environ 300 000 lignes chacun mais le programme s'arrète toujours environ 10 000 lignes avant la fin.
J'ai essayé encore en supprimant la ligne qui faisait s'arreter le programme, mais dans ce cas, ce dernier s'arrète toujours au même numéro de ligne.
Etant donné que ce fait pareil avec un fichier de 600 000 ou de 300 000 lignes, je suppose que ce n'est pas un problème de taille mémoire.
Cependant je ne vois pas d'où cela peut venir.
Quelqu'un pourrait me donner un coup de main svp ?
22/02/2008, 10h19
mavina

Salut,

peut-on voire ta fonction de lecture de fichier et la condition d'arret de ta lecture ?

Merci

F.
22/02/2008, 10h32
UnnamedBoy
Voila le code de lecture du fichier :
Code:

1 2 3 4 5 6 7 FileReader fichierIn = null; try { fichierIn = new FileReader(pathIn); } catch (FileNotFoundException e1) { e1.printStackTrace(); } fichier = new BufferedReader(fichierIn, 100000);
Après la lecture d'une nouvelle ligne se fait avec

Code:

line = fichier.readLine())

La condition d'arret :

Code:

while ((line = fichier.readLine()) != null)
22/02/2008, 10h46
adiGuba
Salut,
Citation:
Envoyé par UnnamedBoy

Voila le code de lecture du fichier :

Code:

1 2 3 4 5 6 7 FileReader fichierIn = null; try { fichierIn = new FileReader(pathIn); } catch (FileNotFoundException e1) { e1.printStackTrace(); } fichier = new BufferedReader(fichierIn, 100000);
:arrow: Ca c'est crade : si tu ne trouve pas le fichier, tu affiches un message d'erreur et tu continues quand même à lire le fichier :aie:

Le try/catch devrait englober tout le code de lecture !

Sinon... comment s'arrête ton application ? Fin de condition ? Une exception ?

a++
22/02/2008, 10h47
mavina

Aucune exception n'est déclanchée ?

F.
22/02/2008, 10h49
UnnamedBoy

Ouais je sais c'est crade c'est temporaire :aie:

Le programme s'arrete juste. Pas d'erreur, pas de message, rien.
Je lui demande de m'afficher un compteur qui s'incrémente à chaque lecture d'une nouvelle ligne (d'ailleurs c'est long d'écrire 300 000 fois dans la console :aie:) et le compteur s'arrete trop tot par rapport a la longueur du fichier. La condition d'arret n'est pourtant pas rencontrée.
22/02/2008, 11h02
adiGuba

Citation:

Envoyé par UnnamedBoy

Ouais je sais c'est crade c'est temporaire :aie:

Mais oui on dit ca :aie:

Sérieusement : tu dois surement avoir une autre gestion des exceptions pour le reste du code de la lecture du fichier... en intégrant le FileNotFoundException là dedans non seulement tu obtiens un code propre mais également plus lisible et plus court ! ;)

Citation:

Envoyé par UnnamedBoy

Le programme s'arrete juste. Pas d'erreur, pas de message, rien.

Puisqu'on est dans du code "crade" : tu n'aurais pas un bloc catch() vide qui traine par hasard ????

Sinon il va falloir donner ton code de lecture en entier si tu veux de l'aide...

a++

Je n'ai pas trouvé de catch() vide.
Je met tout mon code (il y a de l'écriture dans un fichier xml avec)

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
public class ParsingLogOracle {
 
	// Attributs privés
	private String line;
	private ArrayList<String> query;
	private int i = 0;
	private int j = 0;
 
	private FileReader file;
	private BufferedReader fichier;
 
	private FileWriter fileWrite;
	private BufferedWriter fichierWrite;
	private PrintWriter outFile = null;
 
	Document document;
	Element sql;
	Element date;
	Element libelle;
	Element requete;
	CDATASection cData;
 
 
	public ParsingLogOracle(String pathIn, String pathOut, String version){
 
		FileReader fichierIn = null;
		try {
			fichierIn = new FileReader(pathIn);
		} catch (FileNotFoundException e1) {
			// TODO Auto-generated catch block
			e1.printStackTrace();
		}
 
		fichier = new BufferedReader(fichierIn, 100000);
 
		DocumentBuilderFactory fabrique = DocumentBuilderFactory.newInstance();
		DocumentBuilder constructeur= null;
		try {
			constructeur = fabrique.newDocumentBuilder();
		} catch (ParserConfigurationException e1) {
			// TODO Auto-generated catch block
			e1.printStackTrace();
		}
		document = constructeur.newDocument();
 
		sql = document.createElement("SQL");
		sql.setAttribute("Tools", "PostGres");
		sql.setAttribute("Version", version);
 
		document.appendChild(sql);
 
	/*	while( (line = this.getNewLine()) != null) {
			this.queryTreatment();	
		}*/
		try {
			Test();
		} catch (NumberFormatException e) {
			e.printStackTrace();
		} catch (DOMException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}
		transformerXml(document, pathOut);
 
 
	}
 
	public void Test() throws NumberFormatException, DOMException, IOException{
		int i = 0;
		int j = 0;
		int compt = 0;
 
		while ((line = fichier.readLine()) != null){
			i++;
			System.out.println("Ligne visité : " + i);
			compt = compt + line.length();
			if (line.indexOf("PARSING IN CURSOR") != -1){
				j++;
				System.out.println("Requete n° " + j + ", ligne " + i);
				query = new ArrayList<String>();
				query.add(line);
				String line2 = getNewLine();
				query.add(line2);
 
				// Creation des balises
 
				// Récupération de la  requête
 
				// Inscription dans le fichier XML
			}
		}
		System.out.println(compt);
	}
 
public static void transformerXml(Document document, String fichier) {
		try {
			// CrŽation de la source DOM
			Source source = new DOMSource(document);
 
			// CrŽation du fichier de sortie
			File file = new File(fichier);
			Result resultat = new StreamResult(fichier);
 
			// Configuration du transformer
			TransformerFactory fabrique = TransformerFactory.newInstance();
			Transformer transformer = fabrique.newTransformer();
			transformer.setOutputProperty(OutputKeys.ENCODING, "ISO-8859-1");
			transformer.setOutputProperty(OutputKeys.INDENT, "yes");
 
			// Transformation
			transformer.transform(source, resultat);
		}catch(Exception e){
			e.printStackTrace();
		}
	}
}