Discussion :

[kidathom]

Bonjour à tous,

je suis nouveau sur Delphi (une semaine tout juste) et je bute contre un gros problème (c'est loin d'être le premier mais les autres j'ai pu les résoudre grâce à ce forum).

Je vous fais un court résumé de mon problème.
Je dois analyser puis traiter des fichiers CSV en Delphi.
Pour les fichiers de petites tailles (environ 5000 lignes), pas de problème, je passe par des TStringList qui marche du tonnerre. J'ouvre mes fichiers avec un:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

LoadFromFile();

et tout est ok.

Par contre, je dois traiter aussi des fichiers CSV de 90meg et là j'ai un gros problème de memoire. On m'a conseillé d'utiliser des fonction de bas niveau comme AssignFile,Reset,....

Mais je me suis renseigné dessus et j'avoue être perdu...

I need help please.

ps: mon fichier d'ouverture (le csv) est non typé.

Merci !

[Paul TOTH]

oui, donc 2 solutions

1) tu passes par TFileStream et tu charges ton fichier par petit bouts en recherchant les CR/LF qui marquent les fins de ligne

2) tu utilises l'antique TextFile

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
 
var
 f:TFileStream;
 b:string;
 i:integer;
 s:string;
begin
 f:=TFileStream.Create('fichier.csv',fmOpenRead);
 try
  SetLength(b,1024);
  s:='';
  while f.Position<f.Size do begin
   i:=f.ReadBuffer(b[1],1024);
   if i<1024 then SetLength(b,i);
   s:=s+b;
   i:=pos(#13#10,s);
   while i>0 do begin
    TraiterLaligne(copy(s,1,i));
    delete(s,1,i+2);
    i:=pos(#13#10,s);
   end;
  end;
 finally
  f.Free;
 end;
end;

deuxième solution

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 
var
 f:TextFile;
 s:string;
begin
 AssignFile(f,'fichier.csv');
 Reset(f);
 try
  while not Eof(f) do begin
   ReadLn(f,s);
   TraiterLigne(s);
  end; 
 finally
  CloseFile(f); 
 end;
end;

[ShaiLeTroll]

Lit ce sujet "Ouvrir et lire un fichier .csv" mais surtout celui là : "Votre Avis : Optimisation des performances pour le chargement de fichier CSV", ma fonction explode que j'y ai mis, est l'une des plus rapide pour décomposer une chaine du type A;"B1;B2";C, typique du CSV ...

pour ce qui concerne les gros fichiers en général :
Manipuler un gros fichier texte
Lecture et modification de gros fichier texte la plus rapide possible , ma classe TTextFileReader devrait t'interesser pour la lecture

[kidathom]

Merci beaucoup pour vos réponses, je vais essayer tout ça ce matin et je vous tiens au courant.

[kidathom]

J'ai décidé de choisir la méthode de l'antique TextFile et ça marche comme sur des roulettes !

Merci encore.

[ShaiLeTroll]

Attention, si tu as dans ton CSV un champ texte qui peut contenir des retours-charriot, il te faudra gérer différemment ta lecture, mais c'est un cas rarement géré ...

[kidathom]

Attention, si tu as dans ton CSV un champ texte qui peut contenir des retours-charriot, il te faudra gérer différemment ta lecture, mais c'est un cas rarement géré ...

Oui en effet j'y ai pensé mais ce n'est pas mon cas, merci encore.