[VB.NET] DataReader qui prend enormement de memoire

Bonjour à tous.

J'ai un probleme sur la ram que prend un datareader

j'ai une requete retournant 320 000 enregistrements
je dois exporter ce resultat
pour ne pas charger ces enregistrements en memoire par un datatable, je fais un datareader

je boucle dessus
et à chaque ligne, je concatène les champs avec un séparateur et à la fin de ligne, je l'écris dans le fichier

or il me prend un maximum de mémoire
8O

why ?

pourtant j'écris bien directement chaque ligne dans le fichier, donc il devrait lbéré au fur et à mesure....

Please help !

merci par avance

Salut

Utilise un StringBuilder au lieu de faire une concatenation avec + ou & car il evite de creer une nouvelle variable pour le resultat
http://msdn.microsoft.com/library/default.asp?url=/library/en-us/cpref/html/frlrfsystemtextstringbuilderclassappendtopic.asp

ca va s'accelerer

merci à toi

en fait, je viens d'essayer et j'obtiens le meme resultat...

:(

la memoire est consommée jusqu'au bout...

Fais voir un echantillon de code

Salut

Je sais pas trop si ca peux t'aider mais si tu essaie de faire un flush à la fin de chaque ligne?

merci a toi de t'intéresser à mon probleme

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

'On ouvre le fichier fs = New FileStream(chemin & nomFichier, FileMode.Create, FileAccess.Write) 'On ouvre un flux sw = New StreamWriter(fs, System.Text.Encoding.Default) 'On enregistre ligne par ligne If ird.Read Then nbColumns = ird.FieldCount Do 'Pour chaque colonne, on ajoute la valeur à la ligne temporaire temp = "" For i As Integer = 0 To nbColumns - 1 If isFirst = True Then isFirst = False Else temp &= caractSeparateur End If temp &= caractAutourValeur & ird.Item(i) & caractAutourValeur Next 'On écrit la ligne sw.Write(temp & caractFinLigne) sw.Flush() temp = Nothing Loop While ird.Read End If 'On ferme le flux sw.Close() 'On ferme le fichier fs.Close()

---

ird est un idatareader en fait
j'exécute ma requete au dessus

j'ai aussi essayé avec un stringbuilder, mais le resultat est identique

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

'On ouvre le fichier fs = New FileStream(chemin & nomFichier, FileMode.Create, FileAccess.Write) 'On ouvre un flux sw = New StreamWriter(fs, System.Text.Encoding.Default) 'On enregistre ligne par ligne If ird.Read Then nbColumns = ird.FieldCount Do 'Pour chaque colonne, on ajoute la valeur à la ligne temporaire sb = New System.Text.StringBuilder("") For i As Integer = 0 To nbColumns - 1 If isFirst = True Then isFirst = False Else sb = sb.Append(caractSeparateur) End If sb = sb.Append(caractAutourValeur & ird.Item(i) & caractAutourValeur) Next 'On écrit la ligne sb = sb.Append(caractFinLigne) sw.Write(sb.ToString) sw.Flush() Loop While ird.Read End If 'On ferme le flux sw.Close() 'On ferme le fichier fs.Close()

---

Remarques:

Code:

---

1 2	sb.Append(caractSeparateur)

---

au lieu de

Code:

---

1 2	sb = sb.Append(caractSeparateur)

---

il ne faut pas faire de sb =

et

Code:

---

1 2 3 4

sb.Append(caractAutourValeur) sb.Append(ird.Item(i)) sb.Append(caractAutourValeur)

---

au lieu de

Code:

---

1 2	sb = sb.Append(caractAutourValeur & ird.Item(i) & caractAutourValeur)

---

Quite a eviter la concatemation, autant l'eviter totalement :)

ok je teste
j'ai trouvé ça comme exemple dans le lienq ue tu m'as donné

impressionnant !!!!!

délirant !!!!!!!

c'est excellent ! des dizaines de fois plus rapide en faisant ça ! aucun problème !!!!!!! la mémoire ne bouge quasi pas !!!! c'est génial


yyyeeesssss


:wink: :wink: :wink: :wink: :wink: :wink:


un très très grand merci !

ah oui effectivement j'y suis alle un peu vite en googleant...
je sais pas ce qui leur a pris de faire ca chez MS

[RAJOUT] cool tu peux encore gagner 10-30% de perfs en estimant la capacite du stringbuilder et en concatenant toutes les n lignes