Problème de mémoire avec les datasets

Bonjour,

Avant d'expliquer mon interrogation voici ma configuration :

SQL SERVER 2000
Visual Studio 2000 avec le framework 1.0

Bon j'ai un programme en C# qui doit se brancher sur ma BD SQL afin de faire un select sur une table qui contient plus de 30 millions d'enregistrements.

Le select va retourner environ 4 000 000 de lignes.

Le problème est que ceci consomme énormément en mémoire lorsque je remplie mon dataset et j'ai souvent des out of memory sur mon poste de développement (ce qui est normal).

Je vais faire rouler ce programme sur un serveur d'ici peu mais j'aimerais savoir qu'elle est la meilleure façon côté performance mémoire pour gérer le tous.

Appeller une procédure stockée qui elle retourne le résultat ?

Faire le select directement dans le programme C# ?

Est-ce possible de créer un fichier XML dans SQL SERVER et par la suite je le chargerait dans mon dataset ?

Bref toute idée serait la bienvenue avec un exemple de code si possible.

Merci

Salut,

Je pense que la meilleurs solution c'est de ne pas traiter autant de lignes d'un coup. Si tu fais une IHM tes utilisateurs ne vont pas visualiser le résultat de millions de lignes, tu vas paginer et donc tu peux sûrement demander à la base pas plus de X lignes d'un coup. Si ce n'est pas destiné à l'affichage mais au traitement, la encore va falloir le découper si possible ou effectivement effectuer autant que faire se peut le boulot côté base de données.

Citation:

---

Appeller une procédure stockée qui elle retourne le résultat ?

---

Oui, plus rapide que les requêtes! ;)

Citation:

---

Envoyé par fally

Oui, plus rapide que les requêtes! ;)

---

Sans commentaire... Et puis si... Tu n'as aucune information sur le contenu possible de la procédure, et tu arrives encore à dire qu'une procédure est plus rapide... :roll:

Dans tous les cas, la bonne solution, c'est du traitement par lot (par une requête ou une procédure). Traiter 4 millions de lignes en une fois est une hérésie en terme de conception.
Charge par exemple mille lignes, fais le traitement sur ces mille lignes, puis charger les mille suivantes, etc.

rire....oui mais de toute facon une procédure stockée est plus rapide qu'une requête faisant la même chose! ou je me trompe?

Citation:

---

Envoyé par fally

rire....oui mais de toute facon une procédure stockée est plus rapide qu'une requête faisant la même chose! ou je me trompe?

---

Tout dépend de la requête, ça ne sert à rien d'être aussi catégorique...

Merci de ces réponses ça confirme ce que je pensais.