Discussion :

[Jipété]

Bonjour à tous,

Dans la doc trouvée là, je peux lire :

Ansistrings are strings that have no length limit.

Sauf que, j'ai créé un tout petit bazar pour mettre en évidence que je ne peux pas monter à 1,4 Go --> erreur "out of memory" (1,3 ça passe, je n'ai pas creusé pour trouver exactement où ça coince) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
var
  ln: int64 = 1000000000; // 1 Go
 
procedure TMainForm.ButtonTestClick(Sender: TObject);
var
  s: ansistring;
begin
  SetLength(s, ln);
  ShowMessage(IntToStr(Length(s)));
  SetLength(s, 10); // pour libérer
end;
 
procedure TMainForm.ButtonPlusClick(Sender: TObject);
begin
  ln := ln + 100000000; // + 100 Mo
end;
 
procedure TMainForm.ButtonMoinsClick(Sender: TObject);
begin
  ln := ln - 100000000; // - 100 Mo
end;

Lorsque le ShowMessage affiche 1,3 Go, le "moniteur de ressources" de 7 me dit que la mémoire utilisée par le processus est de 997 Mo (ça descend doucement), et la mémoire disponible de 958 Mo (et ça monte doucement).

Une idée pour pouvoir avoir une Ansistring de 5 ou 6 Go ?

Bonne journée,

[M.Dlb]

Une idée pour pouvoir avoir une Ansistring de 5 ou 6 Go ?

Euh quelle est l'utilité ? Ou plutôt qu'est-ce que tu veux faire ? Il y a surement une autre façon de faire ce que tu souhaites...

[Jipété]

Yop !

Euh quelle est l'utilité ? Ou plutôt qu'est-ce que tu veux faire ?

Et bien, je veux extraire des fichiers depuis un .zip. Je me suis inspiré de ça, trouvé dans "Zippit.pas" :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
procedure TZippit.AddFile(const Name: String);
var
  F: TFileStream;
  B: String;
begin
  F := TFileStream.Create(Name, fmOpenRead);
  try
    SetLength(B, F.Size);
    F.ReadBuffer(B[1], F.Size);
    inherited AddFile(Name, 0);
    Data[Count-1] := B;
  finally
    F.Free;
  end;
end;

pour écrire ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
procedure TZippit.ExtractFile(const i: integer; const Name: String;
  const l: int64);
var
  F: TFileStream;
  B: AnsiString;
begin
  F := TFileStream.Create(Name, fmCreate);
  try
    SetLength(B, l); // run error 203 si gros fichiers :-( mais ok sur petits... 
    B := Uncompressed[i]; // dans SciZipFile.pas, qui tape ensuite dans dzlib.pas
    F.WriteBuffer(Pointer(B)^, l);
  finally
    F.Free;
  end;
end;

Il y a surement une autre façon de faire ce que tu souhaites...

Je m'en doute un peu (faire le boulot blocks par blocks, style 1 Mo à la fois), mais je vais misérer grave, je sens...

Ah, je précise que mes fichiers .zip d'origine sont créés avec 7z, car en regardant le code de AddFile ci-dessus, je me dis que je ne pourrai jamais zipper des gros fichiers, le problème d'allocation mémoire serait le même

[droggo]

Qia,

Je pense que tu prends un mauvais chemin, ne serait-ce que parce que tu te heurteras forcément à la limite de mémoire disponible, quelle que soit la quantité installée (il suffira pour ça que tu veuilles gérer de plus gros fichiers).

[mtournay]

alors comment ça marche une ansistring

c'est une sorte de buffer en mémoire dont la taille n'est pas accessible directement (à moins de pointer qq octets avant le début) et qui est alloué à la volée quand on fait une assignation ou un setlength. De plus, il faut savoir que quand on fait change la longueur, le gestionnaire de mémoire alloue la nouvelle taille demandée, copie le contenu de l'ancienne zone dans la nouvelle et efface l'ancienne.

La taille mémoire d'un poste n'est pas extensible à l'infini, de plus il faut laisser de la place pour les autres. D'où il ressort :
- travaille en boucle,
- trouve une taille de buffer intermédiaire que tu ne changerad pas toutes les 3ms (car oui copier des blocs mémoire ça prend du temps) (1Mo c'est bien)


PS 1ko=1024 octets donc 1Go ce n'est pas 1000000000 octets dans le monde des programmeurs (ce que tu utilises, c’est la notation des marchands de disque dur qui nous enfument mais ceci est un autre sujet)

[Jipété]

Re,

(...)D'où il ressort :
- travaille en boucle,
- trouve une taille de buffer intermédiaire que tu ne changerad pas toutes les 3ms (car oui copier des blocs mémoire ça prend du temps) (1Mo c'est bien)

Oui, je me doutais bien de tout ça, je voulais juste me l'entendre confirmer...
Je vais donc envisager un buffer intermédiaire, mais comment ça va se passer au niveau de la décompression ?
Si j'envoie un buffer de 1 Mo de données et que le système de décompression a besoin de données qui sont après ce 1 Mo ? (je ne sais pas trop comment fonctionne le système de décompression...)
Bref, je suis pas rendu, à moins que quelqu'un ait déjà joué avec tout ça (Lazarus ou Delphi) pour me mettre sur la voie...

PS 1ko=1024 octets donc 1Go ce n'est pas 1000000000 octets dans le monde des programmeurs (ce que tu utilises, c’est la notation des marchands de disque dur qui nous enfument mais ceci est un autre sujet)

Yes, I know, mais c'était pour faire simple,

Bon week-end,

[droggo]

Mau,

PS 1ko=1024 octets donc 1Go ce n'est pas 1000000000 octets dans le monde des programmeurs (ce que tu utilises, c’est la notation des marchands de disque dur qui nous enfument mais ceci est un autre sujet)

Mais si !

Pour parler de Ko, Mo, Go ... au sens habituel des informaticiens, la norme est d'écrire Kio, Mio, Gio ..., justement pour lever l'ambiguïté créée par nos habitudes.

Mais dans le contexte, je crois que la valeur désirée devrait effectivement être en Gio, donc 1024*1024*1024 = 1*073*741*824