Discussion :

[benito9253]

Bonjour à tous,

J'ai besoin de découper un gros fichier en d'autre plus petit fichiers de 50 Mo maximum. Pour cela je lis le fichier par paquets d'octets que je stock dans un tableau de bytes. Voici une partie du code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
          Dim MyBuffer(52428800) As Byte 'tableau de byte d'un taille de 50 Mo
          MyBuffer = MyBinaryReader.ReadBytes(52428800)

Je répète cette manip jusqu'a avoir parcouru l'ensemble du fichier. Mais au bout d'un certain temps (après avoir parcouru environ 600Mo dans le fichier il me semble) ca me génère l'exception OutOfMemoryException sur la ligne MyBuffer = MyBinaryReader.ReadBytes(52428800).

Message d'erreur:

Une exception de type 'System.OutOfMemoryException' a été levée.

A quoi est due cette erreur?

Merci d'avance

[Razielone]

je pense que c'est parce que tu gardes tous dans la mémoire, tu auras dû enregistrer le morceaux que tu as lu et puis faire en sorte qu'il n'est plus référencé pour que le GC puisses le supprimé quand ton programme est à cour de RAM

[bobo10]

Tu devrait après avoir ajouter 50 mega faire un write sur ton disk, faire un close de ton buffer et recommencer avec les 50 Mo suivant. Actuellement tu arrive à saturation de ta mémoire RAM

[benito9253]

C'est étrange car lors de l'execution il me reste au moins 1,5 Go de RAM libre...

En fait dans mon programme j'extrait 50 Mo du fichier en les stockant dans mon tableau de bytes, je les envoi sur une autre machine, puis j'extrait les 50 Mo suivant pour les stocker toujours dans le même tableau de bytes (ce qui devrait écraser les données précédentes et ne pas prendre plus de place) et ainsi de suite. Le problème c'est que visiblement les données ne sont pas remplacées mais ajoutées...

Pour bobo10 et Razielone:
Merci beaucoup de vos réponses. Le problème c'est que je voudrais éviter de stocker les paquets de 50 Mo sur le disque car cela m'obligerais à faire 2 lectures et une écriture sur disque au lieu d'un seule lecture...

D'autres idées?

[smyley]

Code vb :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
          Dim MyBuffer(52428800) As Byte 'Crée un nouveau tableau de 50 Mo en mémoire
          MyBuffer = MyBinaryReader.ReadBytes(52428800)
          ' perd la référence vers le tableau, crée un nouveau tableau de 50 Mo, et le met dans MyBuffer

...

Essaye avec

Code vb :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
Dim MyBuffer(52428800) As Byte 'Crée un nouveau tableau de 50 Mo en mémoire
 
' ...
MyBinaryReader.ReadBytes(MyBuffer, 0, 52428800) 'lit les données dans le buffer MyBuffer en écrasant les précédentes

Après il y a plein de problèmes avec ta méthode :
- 50 Mo en byte[] en mémoire, cash, c'est mal. 64 Ko pour découper un fichier c'est suffisant.
- Si ta méthode est appelée plusieurs fois et que ton buffer est déclaré comme variable locale de la fonction, chaque appel de la fonction créera un nouveau tableau de 50 Mo
- Quand tu fait une demande de lecture avec ReadBytes de 50 Mo, si le fichier est plus court alors les derniers bytes du tableau n'auront aucun sens. Il faut utiliser la valeur de retour de ReadBytes pour savoir combien de bytes ont été lus

[benito9253]

Effectivement j'ai déclaré ma variable en dehors de la fonction et maintenant ca marche!!! Merci beaucoup!!!

J'ai aussi réduit la taille du buffer car c'est vrai que c'était un peu excessif...