Discussion :

[Cereal123]

Bonjour,

J'ai un gros fichier texte (12,1 millions de lignes) que je voudrais charger en mémoire pour le parcourir (il s'agit d'un fichier de trace d'une machine de production).

J'ai fait le (bon?) choix de charger le fichier dans un Dictionary :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

m_Lignes As Dictionary(Of Int64, String)

Au bout de la 11 998 950e ligne, j'ai une erreur "OutOfMemory".

J'échoue vraiment très proche du but, et je n'arrive pas à m'en sortir. Pouvez-vous me donner une piste SVP ?
Merci,

C.

[Bluedeep]

Bonjour

Quelle est la taille du fichier ?

A quel besoin correspond ce chargement intégral dans un Dictionnary ?

[Cereal123]

Le fichier fait 310Mo.
Je charge ce fichier car j'ai parfois besoin de parcourir plusieurs fois le même bloc de lignes pour effectuer différents traitements.

[Pol63]

essaye de faire plusieurs dictionary et diviser le remplissage

[sinople]

Je n'ai rien contre le dictionnaire, mais si tu utilise la clé comme simple compteur de ligne, je suppose que tu peux aisement essayer un autre type de collection ?

Il serait intéressant de savoir combien de RAM mange ton programme avant de planter (il parait que au dela de 1Go en .Net des problèmes peuvent arriver), de vérifier si ton pc n'a pas un disque plein ou une saturation de mémoire virtuelle.

Sinon ça peut aussi provenir d'un bout de code dans une boucle ou fonction récursive demandant beaucoup de ressource (genre l'ouverture d'un stream ou d'une connection avec une DB à la place de la réaffectation d'un objet existant) qui ferrait fuiter et/ou exploser la mémoire par le garbage collector.

[Bluedeep]

Le fichier fait 310Mo.
Je charge ce fichier car j'ai parfois besoin de parcourir plusieurs fois le même bloc de lignes pour effectuer différents traitements.

Pourquoi ne pas injecter ce fichier dans une table ? ce sera plus simple à traiter, non ?

[Cereal123]

Ce sera peut-être le plus simple.
Je vais explorer cette piste. Merci.