problème de mémoire saturée

Version imprimable

Bonjour tout le monde,
j'ai le problème suivant :

j'ai créé 1 interface pour faire des statistiques sur les types de cartes que j'ai dans ma base. les informations affichées viennent de 5 tables.

Mon interface contient un combo dans lequel j'ai mis tout les types de carte (10 types). lorsque l'utilisateur choisit un type donné, les informations s'affiche dans un datagrid.

La solution que j'ai utilisée consiste à charger dans un dataset les 5 tables et le stocker dans une varibale de session:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
 
Private Sub Create_Dataset()
 
     Cartes_DS = New DataSet("Cartes")
     Dim query As String
     Dim Level_DV As DataView
 
     InitConnexion()
 
     'Création de la table Cartes
     query = "SELECT * from cartes order by ID_CARTE"
      Provider.FillDataSet(CommandType.Text, query, Cartes_DS, "Cartes")
 
      'Création de la table Personnes
      query = "SELECT * from personnes"
      Provider.FillDataSet(CommandType.Text, query, Cartes_DS, "Personnes")
 
      'Création de la table Porteurs           
      query = "SELECT * from PORTEUR"
      Provider.FillDataSet(CommandType.Text, query, Cartes_DS, "Porteurs")
 
      'Création de la table Supporte          
      query = "SELECT * from Supporte"
      Provider.FillDataSet(CommandType.Text, query, Cartes_DS, "Supporte")
 
     'Création de la table Type_Porteur
     query = "SELECT * from TYPE_PORTEUR"
     Provider.FillDataSet(CommandType.Text, query, Cartes_DS, "TypePorteur")
 
    'stocker le dataset ds une variable de session pour pouvoir le récupérer après
     Me.setVariableSession("Cartes_DS", Cartes_DS)

Après j'applique des filtre selon le type de carte pour afficher les informations. le problème que j'ai est que la quantité de données chargée en mémoire est énorme (plus de 9000 lignes uniquement dans la table cartes) et je fini à avoir une utilisation à 100% du CPU et 400Mo de mémoire ce qui m'affiche le message d'erreur suivant : Out of memory

la première chose à laquelle j'ai pensé pour optimiser mon code est la précision des colonnes à afficher dans mes requêtes au lieu du * :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
  Private Sub Create_Dataset()
 
            Cartes_DS = New DataSet("Cartes")
            Dim query As String
            Dim Level_DV As DataView
 
            InitConnexion()
 
            'Création de la table Cartes
            query = "SELECT ID_CARTE,ID_CONSORTIUM,ID_EMETTEUR,ID_SITE,ID_CENTRE,DUREE_VIE,DATE_CONSORTIUM,DATE_ATTRIBUTION,DATE_REBUT,MOTIF_REBUT,DATE_DELIVRANCE,DATE_OPPOSITION,MOTIF_OPPOSITION,DATE_LEVEE_OPPOSITION,MOTIF_LEVEE_OPPOSITION,DATE_DESTRUCTION,MOTIF_DESTRUCTION,DATE_EMET,DATE_SITE,DATE_CENTRE,STATUT from cartes order by ID_CARTE"
            Provider.FillDataSet(CommandType.Text, query, Cartes_DS, "Cartes")
 
            'Création de la table Personnes
            query = "SELECT ID_PERSONNE,NOM,PRENOM from personnes"
            Provider.FillDataSet(CommandType.Text, query, Cartes_DS, "Personnes")
 
 
            'Création de la table Porteurs           
            query = "SELECT ID_PORTEUR,ID_PERSONNE,ID_CARTE,ID_TYPE_PORTEUR from PORTEUR"
            Provider.FillDataSet(CommandType.Text, query, Cartes_DS, "Porteurs")
 
            'Création de la table Supporte          
            query = "SELECT * from Supporte"
            Provider.FillDataSet(CommandType.Text, query, Cartes_DS, "Supporte")
 
            'Création de la table Type_Porteur
            query = "SELECT ID_TYPE_PORTEUR,LIBELLE from TYPE_PORTEUR"
            Provider.FillDataSet(CommandType.Text, query, Cartes_DS, "TypePorteur")
 
            'stocker le dataset ds une variable de session pour pouvoir le récupérer après
            Me.setVariableSession("Cartes_DS", Cartes_DS)
 
        End Sub

Sinon qu'est ce que vous me conseillez pour optimiser davantage mon code ?
y'a t-il pa d'autres méthodes bien meilleures que le chargement des données en mémoire ?
N'hésitez pas à me donner vos suggestions ou poser des questions. merci a vous tous et bon courage.

03/09/2007, 14h14
lutecefalco

Je pense pas que les variables de sessions soient faites pour stocker autant.
Si y a 3 ou 4 users en meme temps, ton serveur explose
03/09/2007, 14h21
paradeofphp

merci pour ta réponse,
alors qu'est ce que tu me proposes comme solution ?
03/09/2007, 14h42
SaumonAgile

Pourquoi tout vouloir stocker dans un DataSet ?
Pourquoi ne pas récupérer les données nécessaire au moment où elles sont demandées, et garder en cache simplement les données les plus utilisées ?
03/09/2007, 15h32
paradeofphp

en fait la table la plus utilisée et celle la plus volumineuse.
Sinon y'a pas un autre moyen outre que les dataset et qui va me garantir des bonnes performances ?
03/09/2007, 15h36
SaumonAgile

Tu as besoin de toute la table ? Quel est le temps d'exécution pour récupérer les données dont tu as besoin à l'instant T. Il serait bon d'évaluer le rapport (temps d'exécution)/(volume mémoire occupé).
03/09/2007, 16h32
lutecefalco

Je suppose que ton datagrid est paginé, non?
Si oui, voilà ce que je te propose: va falloir mettre en place un système de pagination plus évolué que celui par défaut afin de n'aller chercher en base que les enregistrements affichés (par défaut, ça récupère tous les enregistrements).
Ainsi, tu pourras interroger ta base à chaque fois mais ça ne posera pas de pb dans la mesure où tu ne raméneras que 50 enregistrements (si tu affiches 50 enregistrements par page)
03/09/2007, 16h37
paradeofphp

comme j'ai dit dans mon premier poste, j'ai précisé dans ma requête que les champs dont j'ai besoin. là j'ai une légère amélioration par rapport au début.
03/09/2007, 16h42
lutecefalco

Citation:

Envoyé par paradeofphp

comme j'ai dit dans mon premier poste, j'ai précisé dans ma requête que les champs dont j'ai besoin. là j'ai une légère amélioration par rapport au début.

T'as pas bien compris ce que j'ai dit.
On va partir du principe que ton DataGrid est paginé.
T'as 9000 lignes à afficher et tu configures ton DataGrid pour afficher 50 lignes par page. Bien qu'à l'écran tu ne vois que 50 enregistrements, le DataGrid interroge la base et récupère tous les enregistrements, soit 9000 enregistrements récupérés pour en afficher au final que 50.
Et à chaque fois que tu vas changer de page, ca va refaire pareil.

C'est le fonctionnement par défaut du DataGrid mais il est possible de le modifier. D'où l'amélioration que je te propose dans mon post précédent.
03/09/2007, 16h45
paradeofphp

les 9000 représentent toutes les lignes que j'ai dans ma table Cartes.
Donc c'est 9000 lignes sont chargées dans mon Dataset.
Après, selon le type de carte choisi, j'applique des filtres pour n'afficher que les lignes le concernant.