Discussion :

[Art19]

bonjour,

je recherche un moyen de parcourir un fichier texte sans le charger totalement en memoire de maniere a optimiser ma RAM car j'ai des tres gros fichiers a lire.

comme methodes je connais le classique

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
var
    s: TStringList
begin
    s := TStringList.Create();
    s.LoadFromFile(nomFichier);

mais pour mon programme c'est beaucoup trop lourd.

je connais aussi le fameux

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
var
    fich: TextFile;
    s: String;
begin
    AssignFile(fich, nomFichier);
    Reset(fich);
    ReadLn(fich,s);
    CloseFile(fich);

mais ce n'est pas tres pratique pour gerer un grand nombre de chaines de caracteres...

il n'y aurait pas une autre methode? une methode intermediaire qui permettrait de charger une partie du fichier seulement.

Mon but final est de detecter si il y a des doublons dans mon fichier (cad des lignes identiques)

Merci

[Art19]

je repond a ma propre question: je pourrais faire un ReadLn et transferer chaque ligne X que je rencontre vers une TStringList si X n'appartient pas deja a ma liste. Si X appartient deja a ma liste je peux ecrire "ce fichier contient un doublon".

Le probleme est que si il n'y a aucun doublon dans mon fichier et qu'il est gros (plusieurs Giga), alors je le chargerai entierement dans ma liste... ce qui signifie une grosse masse de RAM en moins sur mon ordi

[Art19]

C'est le defi du jour. Si vous trouvez une solution optimale je vous offre une bouteille de champagne (et un bisous)

[Art19]

voila mon programme ('fichiers' est une TStringList contenant les noms des fichiers a analyser):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
 
for i := 0 to fichiers.Count-1 do begin
 
    flag := 0;
 
    lignes.Clear();
 
    AssignFile( fich, fichiers[i] );
    Reset( fich );
 
    while not Eof(fich) do begin
       ReadLn( fich, s );
 
       for j := 0 to lignes.Count-1 do begin
 
          if s = lignes[j] then begin
            memo1.Lines.Add( 'le fichier '+fichiers[i]+' contient un ou plusieurs doublon(s)' );
            flag := 1;
            break;
          end;
 
       end;
 
       if flag = 0 then lignes.Add(s);
       if flag = 1 then break;
 
 
    end;

si vous trouvez un meilleur algo ca serait cool! la il tourne et apparemment il y en a pour un moment

[Faucon]

J'ai trouvé ceci....

Traiter des fichiers de grande taille
Sylvain James
TeamB-FR
Rédaction Developpez.com
Responsable Delphi

[Art19]

J'ai trouvé ceci....

Traiter des fichiers de grande taille
Sylvain James
TeamB-FR
Rédaction Developpez.com
Responsable Delphi

tu n'aurais pas un lien?

[edam]

Le probleme est que si il n'y a aucun doublon dans mon fichier et qu'il est gros (plusieurs Giga), alors je le chargerai entierement dans ma liste... ce qui signifie une grosse masse de RAM en moins sur mon ordi

une question (la réponse ce touve dans l'aide de delphi) si tu charge un fichier de 2 GO dans un TStringlist, ce fichier sera où dans la ram ou sur DD?

[Clorish]

Si Delphi code comme moi, LoadFromFile pointe en fait sur LoadFromStream avec comme argument un TFileStream