Out of memory avec un TStringList

Bonjour,

J'utilise un TSringList, mais si le fichier à générer est trop gros j'ai un Out Of Memory au moment du SaveToFile
Voilà un bout de code pour tester le problème:

Code:

---

1 2 3 4 5 6 7 8

TStringList* list = new TStringList(); for (unsigned int i = 0; i < 200000 ; i++) { list->Add(StringOfChar('p', 1500)); } list->SaveToFile("toto", TEncoding::UTF8); // out of memory delete list;

---

Il me parait évident qu'il va falloir que je trouve autre chose pour créer mon fichier :mrgreen:
N'étant pas très à l'aise avec les encodages et ayant besoin d'un encodage UTF8, que puis je utiliser comme autre solution qui supporte un encodage UTF8?
C'est peut être trivial mais là je bloque...

merci beaucoup pour votre aide :P
Pascale38

Salut
c'est parfaitement normal tu est plus grand que la capacité mémoire par ailleurs ton code ne te génère pas un fichier au format UTF 8
une des manières d'y parvenir est d'écrire ton fichier pas à pas

dans ce code le fichier est 10 fois plus Gand que celui que tu aurais voulu obtenir soit 2.79*Go (3*000*000*003 octets)
le temps nécessaire sur ma vieille bécane est de 30 secondes

voici le code que je propose

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

{ TEncoding *LEncoding = NULL; int LOffset; UnicodeString Tmp(""); TBytes myBytes; TDateTime StartTime, StopTime; StartTime = Now(); std::auto_ptr<TFileStream>DestFileStream(new TFileStream("SampleUTF8.txt", fmCreate)); std::auto_ptr<TBytesStream>myBytesStream(new TBytesStream(myBytes)); TBytes LByteOrderMark; LByteOrderMark = TEncoding::UTF8->GetPreamble(); DestFileStream->Write(&LByteOrderMark[0], LByteOrderMark.Length); for (int i(0); i < 2000000; i++) { Tmp += Tmp.StringOfChar('p', 1500); myBytesStream.get()->Write(Tmp.data(), Tmp.Length()); LOffset = TEncoding::GetBufferEncoding(myBytes, LEncoding); myBytes = TEncoding::Convert(LEncoding, TEncoding::UTF8, myBytesStream->Bytes, LOffset, myBytesStream->Size - LOffset); DestFileStream->Write(&myBytes[0], myBytes.Length); Tmp = ""; myBytesStream.get()->Position = 0; myBytes = 0; } StopTime = Now();   ShowMessage(L"Creation en :" + FormatDateTime(L"nn:ss:zzzz", StopTime - StartTime));   }

---

bonne lecture

Bonjour,
merci beaucoup !! Je m'en vais de ce pas tester ça !
J'ai une question: pourquoi dis tu que mon fichier n'est pas en UTF8?

Pascale38

Salut,
Le fait d’appeler Tencoding:: Uxxx ne génère pas de transformation , il faut appeler la méthode convert.
Par ailleurs il manque dans ce cas la signature du fichier ou Preamble, différente pour chaque codage.
Pour t’en convaincre réduit la génération du nombre de fichier par exemple 20 et ouvre le fichier dans un notepad.tu verras qu’il n’indique pas UTF8. Fais de même avec le code que j’ai proposé et tu verra la différence.
Cordialement

merci pour ta réponse.

alors j'ai 2 soucis :

Code:

---

myBytes = 0;

---

ne compile pas

et il me rajoute un '\0' entre chaque caractère....

Salut
l'erreur de ne compille pas provient du compilateur en effet avec le compilateur BCC 32 il y a une erreur alors qu'avec le compilateur Clang ily n'y a pas d'erreur
concernant le fichier généré
un string of char de retourne un AnsiString dans ton cas "ppppppppppppppppppppppppppppp"
pour le retour chariot il manque simplement dans mon code

je te propose l'amélioration suivante

Code:

---

1 2 3 4 5

AnsiString Tmp(""); Tmp += Tmp.StringOfChar('p', 1500)+AnsiString("\r\n"); et effacer la mise é 0 du Mbyte

---

cordialement

Pour revenir sur le codage UTF8 comme son suffixe indique c’est du 8 bits donc char ou unsigned char.
Le type à utiliser est donc du AnsiString

Concernant le type Tbyte. pour reseter la bariable Sous bcc32 il faut appeler la méthode setlength en mettant le paramètre à 0. Sous Clang il semblerait que ce soit implicite.

Cordialement

Pourtant en utilisant

Code:

---

list->SaveToFile("toto", TEncoding::UTF8);

---

au lieu de

Code:

---

list->SaveToFile("toto");

---

j'obtiens bien des fichiers différents (notamment au niveau du traitement des '&').
Et quand j'ouvre mon fichier (encodé avec UTF-8) avec notepad++ il me donne bien UTF-8-BOM comme encodage.

Bon j'avoue ne pas maitriser du tout les encodages...

En tout cas ça à l'air de fonctionner avec ton code merci, j'obtiens un encodage UTF-8-BOM UNIX par contre, bizarre???
Mon ancien fichier lui est en encodage UTF-8-BOM PC
(dixit beyond compare avec lequel je compare mes 2 fichiers) :lol:

Mon explication est la suivante.
La signature du fichier se trouve au début du fichier (les 3 premiers bytes) donc dans le traitement de la string list il y a lieu d’insérer au début du fichier la signature ce qui consomme de la mémoire.

Il serait intéressant de comparer les signatures des deux fichiers générer par ton code avé c une boucle réduite et celui que j’ai posté
Par contre lors je maintiens mes propos concernant la stringlist qui n’est pas adaptée au traitement de fichiers si grand


je n'ai par contre pas pu reproduire la différence de BOM d' on tu parles

Signature avec des String List et la méthode

Code:

---

1 2	list->SaveToFile("toto.txt", TEncoding::UTF8);

---

BOM Ou Preamble ou signature oxef 0xbb 0xbf


avec ma proposition de code
BOM Ou Preamble ou signature oxef 0xbb 0xbf


un rapide contrôle avec WinMerge me confirme que les fichiers sont en tout point identiquePièce jointe 600720

cordialement





Cordialement

merci pour toutes tes explications :D
Je confirme que TStringList n'est pas adapté !!! :mouarf:
Je me pencherai plus sérieusement sur ces histoires d'encodage,
en tout cas merci pour ton code qui m'a permis de trouver une solution alternative (en toute confiance surtout !!!)
et de me débloquer :D

Bonne soirée,
Pascale38