Discussion :

[Luc1an0]

Bonjour,

j'ai un fait un développement permettant de faire des synchronisations de bases de données.

J'utilise en fait deux datatables et la fonction "select(maCondition)" pour déterminer les bons traitements à faire.

J'ai été d'une part un peu gourmand sur les ressources car je ne faisais pas de "Dispose" ou "Clear" quand il le fallait. Du coup mon programme levait l'exception System.OutOfMemoryException

Mais la réelle question est :
Est ce que le fait d'utiliser la fonction "Select()" sur une datatable a une quelconque intéraction sur la base de donnée ou la table ?

J'ai constaté que notre serveur SQL devenait extremement lent durant mes tests ... A vrai dire ça ralentissait tous les utilisateurs.

Merci d'avance de vos réponses.

[Rami]

je ne pense pas que ca viennent du .Select()

le dataset est un object deconnecté a priori.

Par contre, pour remplir tes dataset, tu fais un select de combien de table/lignes/a quelle frequence...

J'ai constaté que notre serveur SQL devenait extremement lent durant mes tests ... A vrai dire ça ralentissait tous les utilisateurs.

Quels utilisateurs? de la même application/des meme bases de données/ du meme serveur SQL?

tes tests ne couvrent que cette partie select? ou il y a des requetes insert/update/delete ?

[Luc1an0]

En fait le process de comparaison se décline en 3*2 instructions

- 1 partie Insert (Comparaison + Traitement )
- 1 partie Update (idem)
- 1 partie Delete (idem)

Je commence par récupérer les tables à comparer, définies dans un fichier de config.

Pour chaque table j'effectue le traitement décrit ci-dessus.

Pour la comparaison : 1 select sur la table "source" / 1 select sur la table de destination qui me valorise mes deux datatables.

Je garde les lignes "sources" qui me permettront par la suite de faire les traitements d'insertion/modification/suppression dans la base de destination.

Une fois ma datatable "source" valorisée, comme tu dis, je n'utilise à priori plus de liens vers ce serveur.

Par contre, pour remplir tes dataset, tu fais un select de combien de table/lignes/a quelle frequence...

Donc : 1 select sur l'ensemble des lignes de la table. Fréquence : Je suis en phase de dev', donc pas de production. La fréquence correspond à celle où je lance mon prog' pour mes tests

Quels utilisateurs? de la même application/des meme bases de données/ du meme serveur SQL?

On utilise un serveur SQL 2005. Les utilisateurs utilisent cette base via deux applicatifs access. Ces applicatifs utilisent des tables liées sur ce serveur SQL.

tes tests ne couvrent que cette partie select? ou il y a des requetes insert/update/delete ?

J'ai déjà commencé par allégé la charge mémoire en vidant plus régulièrement des objets servant à stocker des informations.
Les requêtes de modifications de données (Insert/Delete/update) ne vont qu'à destination d'une base située sur mon poste. A terme, sur une autre machine. Mais le principe reste le meme.

Pour résumer, le serveur SQL ne subit que 3 requêtes "select" par tables traitées. Je ne sais plus combien de tables je traite, mais on va dire entre 10 et 15.

Merci en tout cas.

[Rami]

Si j'ai bien compris ce que tu fais:

Pour résumer, le serveur SQL ne subit que 3 requêtes "select" par tables traitées.

Je ne suis pas sur de comprendre pourquoi tu fais 3 select (au sens SQL).
Une fois ton dataset rempli, tu peux faire plusieurs .Select() (au sens .Net) consecutifs dessus il me semble...

Je ne sais plus combien de tables je traite, mais on va dire entre 10 et 15.

il n'y a pas de grosses tables (du type avec des champs binaires/images et beaucoup d'enregistrements)?


Dernier point a regarder a priori :
verifies tes fermetures de connections

[Luc1an0]

tu peux faire plusieurs .Select() (au sens .Net) consecutifs dessus il me semble...

Oui effectivement. Je fais un "Select" / ligne en fait : Pour vérifier la correspondance entre une entrée de la table source avec une entrée de la table de destination.

verifies tes fermetures de connections

Le Connect() / Disconnect() à mes sources de données sont encapsulés dans mes fonctions d'exécution de insert / delete / update / select (SQL)

il n'y a pas de grosses tables (du type avec des champs binaires/images et beaucoup d'enregistrements)?

Si ... la taille des tables varie, mais on peut atteindre 150 000 lignes sur une (voir plusieurs tables)

Mais dans le sens où le DataTable marche en mode déconnecté... Cela fait juste une bonne charge mémoire & processeur. Chose à laquelle j'ai à peu près remédié le souci en faisant
- des Dispose() de mémoire plus souvent,
- des écritures de plusieurs fichiers logs temporaires (libérant ainsi l'espace mémoire qu'ils occupaient avant la fin du programme), avant d'être réécris dans un seul et même fichier

Le souci principal c'est que je m'efforce de coder en utilisant le moins de mémoire possible, et en mettant des sleep de 1 voir 2 Ms dans mes boucles afin de ne pas alourdir le proc' : mais qu'au final je peux difficilement testé car je ne veux pas gêner tous les autres utilisateurs.

Je pourrais faire cela sur une base de test ? : Oui.

Mais je ne pourrai pas faire rapprocher ma base de test avec les mêmes réactions que la base de production.

[Rami]

Le souci principal c'est que je m'efforce de coder en utilisant le moins de mémoire possible, et en mettant des sleep de 1 voir 2 Ms dans mes boucles afin de ne pas alourdir le proc' : mais qu'au final je peux difficilement testé car je ne veux pas gêner tous les autres utilisateurs.

C'est pas clair toute cette histoire pour moi...
en quoi la memoire sur ton poste et le proc sur ton poste ont une influence?
a moins que tu comptes deployer sur le serveur hostant SQL Server?

tes interaction avec le serveur doivent etre:
- je rempli mon dataset (et ca peut etre effectivement lourd).
- finito (puisque l'autre base est ailleurs si j'ai bien suivi)
d'ou mon "doutage"..


Pour ce qui est de la base de test, si ta base de prod est backuppé de maniere journalière, un admin SQL devrait pouvoir te mettre en place une base de test J-1 ou J-2 assez simplement.

[Luc1an0]

le dataset est un object deconnecté a priori.

Juste pour précision : je confirme.

Je viens de désactiver ma carte réseau après avoir récupérer mes données et avant d'effectuer mes traitements.

Mon traitement de vérification fonctionne. Ce n'est donc pas l'instruction "Select()" qui pose souci.

Mais du coup c'est encore plus flou pour comprendre d'où ce ralentissement réseau provient :s