Discussion :

[assiatoune]

Bonjour,

J'ai une application dans laquelle j'importe un gros fichier texte binaire, au point ou j'obtient une exception de depassement de capacite memoire.
j'ai 4 giga de ram et le fichier fait 5 giga.

la serialization ne marche pas dans ce cas?
que dois je faire pour le charger partiellement.

Merci de votre reponse d'avance.
assia

[yorke]

Un fichier texte binaire ?

Tu veux en faire quoi de ton fichier une fois chargé ?

[assiatoune]

Merci tout d'abord pour votre reponse.

c'est pour faire des traitement dessus: interpretations de son contenu, traitements puis visualisations 2d par exemple.

[koala01]

Salut,

La quantité de RAM n'a, généralement, que peu à voir avec la mémoire disponible pour une application...

Le plus souvent, on remarque que le système d'exploitation place lui meme des limites à la quantité de mémoire (RAM+ mémoire virutelle) que l'application peut utilser.

Ceci dit, un fichier texte "binaire", cela parrait quelque peu antinomique...

Ou bien tu travaille sur un fichier texte, ou bien tu travaille sur un fichier binaire, mais sur un fichier texte binaire... j'ai des doutes

D'un autre coté, à moins que tu ne te décide à nous expliquer plus précisément le but du fichier, on peut présumer que, pour gérer la première donnée contenue dans le fichier, tu n'as pas vraiment besoin de la donnée qui se trouve juste avant la fin, et inversément...

Donc la solution passerait peut etre par la prise d'une décision simple: Gérer le fichier en plusieurs parties, non

[yan]

Pour info,
Windows xp peut allouer au maximum 2Go d'un coup et 3Go si on touche une truc dans boot.ini. Car sur l'adressage 32bits, windows s'en garde 1.

Apres, Linux a plus de capacité normalement.

Pour t'aider,tu peut peut etre utiliser une sorte de buffer que tu utilise pour traiter le fichier morceau par morceau avec des accés contenu du fichier par des repositionnements (seek,...).

[progfou]

Quelle fonction as-tu utilisé ?
Sur quel système ?

[yan]

Ou Si c'est du text, tu peut peut etre utiliser un buffer compressé

[yan]

Pour les histoires de memoire pour un proces tu peut regarder
http://www.developpez.net/forums/sho...d.php?t=117081

[assiatoune]

Bonjour,
Merci a tous.

voici la fonction que j'utilise:

FileFormat::openImport(CFile &file, const CString& filename, bool is_binary) const {
FileFormat *self = (FileFormat *) this;
self->filename_ = filename;
self->in_import_ = true;
self->current_line_ = 0;

CFileException file_exception;
if (is_binary) {
if (!file.Open(filename, CFile::modeRead | CFile::typeBinary | CFile::shareDenyWrite, &file_exception))
return openError(file_exception, filename, name_);
}
else {
if (!file.Open(filename, CFile::modeRead | CFile::typeText | CFile::shareDenyWrite, &file_exception))
return openError(file_exception, filename, name_);
}
return true;
}

assia

[assiatoune]

Bonjour,
Je n'arrive toujours pas a resoudre mon probeleme:
voici un recapitualtif de ma situation:

J'ai une application dans laquelle j'importe un gros fichier binaire, au point ou j'obtiens une exception de depassement de capacite memoire.
j'ai 4 giga de ram et le fichier fait 5 giga.sous windows Vista64.
j'utilise VStudio2005.

la serialization ne marche pas dans ce cas?
que dois je faire pour le charger partiellement.
est ce possible de developper mon propre serialiseur? si oui, pouvez vous me donner une idee comment, svp?

voici ma fonction d'importation:

FileFormat::openImport(CFile &file, const CString& filename, bool is_binary) const {
FileFormat *self = (FileFormat *) this;
self->filename_ = filename;
self->in_import_ = true;
self->current_line_ = 0;

CFileException file_exception;
if (is_binary) {
if (!file.Open(filename, CFile::modeRead | CFile::typeBinary | CFile::shareDenyWrite, &file_exception))
return openError(file_exception, filename, name_);
}
else {
if (!file.Open(filename, CFile::modeRead | CFile::typeText | CFile::shareDenyWrite, &file_exception))
return openError(file_exception, filename, name_);
}
return true;
}



Merci enmcore d 'avance.
assia

[progfou]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
FileFormat::openImport(CFile &file, const CString& filename, bool is_binary) const {
FileFormat *self = (FileFormat *) this;
self->filename_ = filename;
self->in_import_ = true;
self->current_line_ = 0;
 
CFileException file_exception;
if (is_binary) {
if (!file.Open(filename, CFile::modeRead | CFile::typeBinary | CFile::shareDenyWrite, &file_exception))
return openError(file_exception, filename, name_);
}
else {
if (!file.Open(filename, CFile::modeRead | CFile::typeText | CFile::shareDenyWrite, &file_exception))
return openError(file_exception, filename, name_);
}
return true;
}

Ensuite, je ne réponds pas aux messages techniques par MP. En effet, si tu poses cette question, d'autres se la posent peut-être, et par conséquent, il est préférable de rendre la réponse publique, donc de répondre... dans le message original .

Ce n'est pas du C++ standard que tu utilises, mais des méthodes liées à MS Visual C++. Pour ce qui est de la gestion des fichiers sous windows, je te conseille de lire :
http://bob.developpez.com/tutapiwin/index.php

En particulier le chapitre 4.

[assiatoune]

Pour le MP, desolee c'etait une erreur...
Je me suis juste rattrapee en appuyant sur le bon bouton.
desolee.

j'utilise Visual C++/CLI .

merci

[Médinoc]

Déjà, es-tu sûr que les données, une fois en mémoire, ne font pas elles-mêmes plus de X Go ? Généralement, un fichier binaire possède un format de sérialisation assez compact, plus compact que le format désérialisé en mémoire... (je n'en dirais pas autant d'un fichier texte).

Si c'est trop grand, tu n'as pas le choix : Tu ne pourras pas avoir toutes les données en mémoire simultanément. Tu devras donc choisir sur quelle partie tu travailles. Si tu veux pouvoir faire des modifications, j'espère pour toi que les enregistrements sont de taille fixe, sinon tu vas morfler...