Discussion :

[deve]

Bonjour,

J'aurai une question à vous poser, j'utilise pymmsql pour ma connexion au serveur mssql. je suis ameneé à faire des integration de données tous les soirs sur plusieurs bases donc le temps d'execution est tres important.
Aujourd'hui et apres plusieurs tentatives d'optimisation je n'arrive plus a avancer.
mon update prend 74.9s pour la mise à jour de 4587 rows. c'est exretement long d'autant plus que cette table n'a pas beaucoup d'index...etc
ce temps je l'obtiens avec une execution ligne par ligne.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

df.apply(lambda lrow: ExecuterRequete(lrow, Table,BDD,df.columns,UserCon,""), axis=1)

Comme c'est du mssql j'ai 2 statements un pour l'insert et l'autre pour l'update apres une requete de selection.

ps : le print juste de la requete et valeurs sans execute prend 12.73s

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

RequeteInsertion=''.join(["INSERT INTO [" , BDD , "].[dbo].[" ,Table , "] ( ",Columns," ) Values (",ValuesI,")"])

j'utilise les parametres %s.

Avez vous des idees?

merci.

[wiztricks]

Salut,

Avez vous des idees?

Dans la documentation de votre driver, vous devez avoir la possibilité d'un "bulk insert" via un .executemany.
En gros, vous passez au driver la liste des "insert" plutôt que d'appeler "insert" pour chaque élément de la liste. Reste à voir si le driver sait faire un "bulk insert" vers le SGDB, ou s'il se contente de faire une "boucle" à votre place.

- W

[deve]

Bonjour,

merci de votre retour, j'ai testé executemany avec pymssql mais ca ne marche pas ( il le considere comme un insert je pense et non pas un update car j'ai un message d'erreur de violation de clé).
Hier soir j'ai changé mon driver, je suis passée à PYODBC et ça n'a rien à avoir. le temps d’exécution est divisé par au moins 2.5.

Je voulais aller plus loin encore avec executemany mais je ne sais pas comment faire un catch d'exception pour chaque row, car il me faudrait la raison de non import (insert ou update) de chaque ligne.

Merci.