Insertion multiple : quelle solution?

**Gold.strike** · 13/04/2012, 17h28

Envoyé par calagan99

Le gain est déjà significatif.
Maintenant, 1 seconde par enregistrement c'est long, en effet.

Avez-vous jeté un coup d'oeil aux optimisations possibles côté base de données ?

D'autre part, je relance l'idée déjà émise : plutôt que de tenter un UPDATE puis un INSERT et de (ne pas) gérer l'éventuelle exception levée, pourquoi ne pas passer par une syntaxe MERGE qui :
- fait le même boulot
- sans générer d'erreur
- et de façon optimisée.

Car je ne sais pas le faire et que je n'ai pas trouvé d'exemple concret...
Auriez vous un exemple à me soumettre?
Cette syntaxe est elle compatible avec PostgreSQL?

**youtpout978** · 13/04/2012, 17h29

Envoyé par Gold.strike

C'est ce que je viens de tester, après avoir cherché plusieurs solutions sur internet.

Je passe donc bien en paramètre un DataTable, ayant cette structure :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
DataTable dtGroupTeam = new DataTable();
dtGroupTeam.Columns.Add("teamid", typeof(long));
dtGroupTeam.Columns.Add("groupid", typeof(long));
dtGroupTeam.Columns.Add("roundid", typeof(long));

je ne pensais pas à ça mais à passer une table en paramètre donc plusieurs colonnes avec plusieurs lignes comme ça tu n'appel qu'une seul fois ta proc stock, il faut juste vérifier que postgre gère les variables de type table et tu en crée une en c# donc (pour sql server c'est le type SqlDbType.Structured)

**Gold.strike** · 13/04/2012, 18h37

Envoyé par youtpout978

je ne pensais pas à ça mais à passer une table en paramètre donc plusieurs colonnes avec plusieurs lignes comme ça tu n'appel qu'une seul fois ta proc stock, il faut juste vérifier que postgre gère les variables de type table et tu en crée une en c# donc (pour sql server c'est le type SqlDbType.Structured)

Je ne suis pas sur de pouvoir...
Mais je crois qu'ici ca n'a aucun intérèt, puisque les données traitées ne viennent pas de notre base, mais d'un WebService appelé chez un prestataire.

Donc après l'appel à ce WebService, je récupère un XML que je deserialize afin de pouvoir exploiter les données. C'est ensuite pour cela qu'on fait un UPDATE/INSERT : on ne sait pas si la donnée traitée est déja dans notre BDD ou si elle a été rajoutée chez les prestataire...

**youtpout978** · 13/04/2012, 18h43

il n'existe pas de type table mais il y a le tableau, j'ai très bien compris ton problème, justement je te proposais de passer en paramètre un tableau pour éviter de rappeler plusieurs fois la même proc stock

tu passe directement toutes tes informations à ta proc stock et ensuite tu fais des requêtes select dessus pour faire des update/insert

**Gold.strike** · 13/04/2012, 18h54

Ah d'accord au temps pour moi, c'est moi qui avait mal compris

Par contre, comment mettre en "relation" les données du tableau, et la proécdure stockée?
Faudrait il une deuxième procédure qui prenne en paramètre un tableau, et qui aappelle la première pour chaque ligne?
Ou exsite t'il une méthode plus simple?

**youtpout978** · 13/04/2012, 19h05

tu modifies ta procédure stockée pour qu'elle prenne en paramètre un tableau et de la tu fais le nécessaire pour faire un update ou un insert, après pour le faire en 2 proc stock pourquoi pas mais pas sur que c'est le plus rapide au niveau exécution mais surement le plus simple pour toi (ça devrait déjà être plus rapide que la solution actuel)

**calagan99** · 16/04/2012, 10h54

Visiblement l'instruction "MERGE" n'existe pas sous PostgreSQL.
Cela dit, tu peux regarder de ce côté pour une implémentation "équivalente"

**Gold.strike** · 24/04/2012, 18h37

Envoyé par youtpout978

tu modifies ta procédure stockée pour qu'elle prenne en paramètre un tableau et de la tu fais le nécessaire pour faire un update ou un insert, après pour le faire en 2 proc stock pourquoi pas mais pas sur que c'est le plus rapide au niveau exécution mais surement le plus simple pour toi (ça devrait déjà être plus rapide que la solution actuel)

Aurais tu des exemples? J'ai trouvé un lien sur la documentation de npgsql, rubrique "Working with Arrays" : http://npgsql.projects.postgresql.or...serManual.html
Mais ce n'est pas très clair pour moi, car ils ne passent pas les paramètres à une procédure...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
NpgsqlCommand command = new NpgsqlCommand("select :arrayParam", conn);
command.Parameters.Add(new NpgsqlParameter("arrayParam", NpgsqlDbType.Array | NpgsqlDbType.Integer));
command.Parameters[0].Value = a;
Console.WriteLine(command.ExecuteScalar());

Il faudrait donc que je passe en paramètre 1 tableau par paramètre utililisé par ma procédure stockée, et qu'ensuite je les parcoure depuis une boucle de la procédure stockée?

En attendant, j'ai modifié la procédure stockée pour pouvoir loguer les éventuelles exceptions rencontrés dans la base de données, puisque la solution actuelle ne me permets pas de les faire remonter dans le code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
	EXCEPTION WHEN OTHERS THEN
		curtime := 'now';
		table_name := 'group_team';
		error := cast(sqlstate as varchar);
		request := 'team_id =' || cast(teamid as varchar) || ', group_id =' || cast(groupid as varchar) || ', round_id =' || cast(roundid as varchar);
		INSERT INTO synchronisation_errors_logs("date", error, table_name, request) 
		VALUES(curtime, error, table_name, request);
		RETURN 0;

N'y a t'il aucun moyen de faire remonter les exceptions avec le DataAdapter?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

int recordsInserted = adpt.Update(dtGroupTeam);

La valeur récupérée pour recordsInserted correspond systématiquement au nombre de lignes de mon tableau, même si certaines des lignes n'ont pas été inséres ou mises à jour...