Discussion :

[kurul1]

Bonjour à tous

J'essaye d'enregistrer dans un fichier texte un tableau de données qui contient un très grand nombre de lignes.

J'utilise un Memo dans lequel j'ajoute mes lignes puis j'utilise SaveToFile pour l'enregistrer.

au moment du SaveTofile j'ai un out of memory qui se produit.

J'ai diminué le nombre de ligne pour voir et cela fonctionne.

J'aimerais donc savoir comment faire pour pouvoir enregistrer mon fichier en plusieurs fois pour ainsi éviter le out of mémory.

J'ai également essayé avec un TStringList mais le problème est le même

Merci d'avance pour votre aide

[Maliono]

Le problème de mémoire vient je pense parce que tu copies toutes les valeurs de ton tableau dans ton mémo.
C'est pourquoi je te propose cette solution. Segmenter la lecture de ton tableau et supprimer les informations de ton TMemo ou de ton tableau.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
 
TMemo* monMemo
int ligneLu = 0;
int ligneTotal = <nombre de ligne de ton tableau>
int ligneParLoop = <défini par l'utilisateur>
UnicodeString maLigne;
 
/**ici pour libérer le tmemo**/
while(ligneLu !=ligneTotal){
    for(int numCol=0; numCol != <nombre de colonne de ton tableau>; numCol++){
              maLigne += <colonne de ton tableau selon la ligne>
              numCol++;
     }
     monMemo->Lines->Add(maLigne);
     maLigne = "";
 
     ligneLu++;
     if(ligneLu % ligneParLoop == 0){
          monMemo->Lines->SaveToFile(<nom fichier>);
          monMemo->Clear();
    }
}
 
/**pour libérer le tableau**/
while(ligneLu !=ligneTotal){
    for(int numCol=0; numCol != <nombre de colonne de ton tableau>; numCol++){
              maLigne += <colonne de ton tableau selon la ligne>
              <retirer valeur de ton tableau>
              numCol++;
     }
     monMemo->Lines->Add(maLigne);
     maLigne = "";   
     ligneLu++;
}
monMemo->SaveToFile(<nom fichier>);

[kurul1]

Merci pour ta réponse Maliono

Le problème vient pas lors du remplissage du Memo car il se remplit très bien avec toutes les lignes
c'est le SavetoFile qui me fait un out of memory.

Je viens d'essayé de segmenter comme tu m'a proposé mais j'ai peur que le SavetoFile écrase ce qu'il existe déjà au lieu d'enregistrer à la suite

[Maliono]

Je ne sais pas comment SaveToFile fonctionne. Peut être qu'il n'est pas le réel fautif et qu'en réalité tu es au limite de ta mémoire. Tu peux surveiller la mémoire de ton programme grâce à Process Explorer si jamais.

J'ignorais que SaveToFile écraisait le contenu du fichier. Tu peux toujours utiliser http://www.cplusplus.com/reference/fstream/ofstream/, tu devras juste préciser à l'ouverture d'aller en fin de fichier (append).

En segmentant et en supprimant les données dupliqués tu ne devrais normalement plus avoir de problème.

[Pyramidev]

au moment du SaveTofile j'ai un out of memory qui se produit.

Cela me surprends.
Avant de partir dans des segmentations d'écriture de fichiers, il faut être sûr que le problème vienne bien de là.

Je te conseille d'insérer un bout de code dans ce genre-là :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
TStrings& lignes = *(MonMemo->Lines);
 
size_t limite = 0;
try {
    while(true) {
        char* test = new char[1024*1024*limite];
        delete test;
        ++limite;
    }
} catch(std::bad_alloc& e) {
    int dummy = 0;
    // Mets un point d'arrêt ici et regarde la valeur de limite.
    // Si cette dernière est grande, ça signifie que le problème vient bien de SaveToFile.
    // Si elle est petite, le problème est en amont.
}
 
lignes.SaveToFile(cheminFichier);

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
    for(int numCol=0; numCol != <nombre de colonne de ton tableau>; numCol++){
              maLigne += <colonne de ton tableau selon la ligne>
              numCol++;
     }
[...]
    for(int numCol=0; numCol != <nombre de colonne de ton tableau>; numCol++){
              maLigne += <colonne de ton tableau selon la ligne>
              <retirer valeur de ton tableau>
              numCol++;
     }

Erreur d'étourderie : à chaque fois, tu écris deux fois numCol++.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
     if(ligneLu % ligneParLoop == 0){
          monMemo->Lines->SaveToFile(<nom fichier>);
          monMemo->Clear();
    }

Comme le craint kurul1, SaveToFile n'ajoute pas à la fin du fichier mais écrase le contenu initial du fichier.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
monMemo->SaveToFile(<nom fichier>);

Erreur d'étourderie : monMemo->Lines->SaveToFile

[kurul1]

Pour savoir d’où venait le problème, j'ai justement mis un point d’arrêt avec un message juste entre la fin du remplissage du Memo et le SaveToFile et j'ai bien mon message qui s'affiche. dès que je clique sur le Ok de mon message pour passer à la ligne SaveToFile, le out of memory survient.

C'est pourquoi j'ai testé en limitant le Nombre de ligne de mon Memo et en ne les traitant pas toutes les lignes de mon tableau et là cela passe.

Donc pour moi il semblerait que ce soit le SaveToFile qui supporte pas mon nombre de ligne (sur ce fichier que je traite j'ai 281083 lignes).

[Maliono]

Oui j'ai fais des erreurs mais c'était pour donné l'idée générale de l'algo :p
et 280 000 c'est pas tant que ça tu sais ^^, après cela dépend de combien de caractères est composé en moyenne les lignes.

[kurul1]

Bon alors j'ai finalement opté pour une méthode à l'ancienne et cela fonctionne avec ces bon vieux fopen, fprintf et fclose.

Je pensais que j'arriverais avec des méthodes plus récentes mais comme quoi l'ancien ça fonctionne toujours.

Merci pour votre aide en tout cas