Lenteur avec INSERT

Bonjour,

J'ai une requête paramétrée assez simple qui insére environ 300000 rows dans une table:

Code:

---

1 2 3

INSERT INTO MaSimpleTable (DocumentID,OrgID,ParentOrgID,Sequence) VALUES (?,?,?,?)

---

La table MaSimpleTable n'a pas de contrainte, pas de clé primaire, elle a juste un index sur OrgID.
La DB est en mode "simple" sous SQL Server 2008 R2.

Que j'utilise l'api ODBC 3.0 ou l'api MSADO 6.0 en C/C++, la vitesse d'insertion est de l'ordre de 17 minutes pour les 300000 rows. Je trouve ça lent...

En utilisant l'api BCP (BulkCopy, client natif pour SQL Server, bcp_init(), bcp_sendrow(), bcp_batch(), bcp_done(), etc) j'obtiens des performances époustouflantes 8O: 6 secondes à peine pour les mêmes 300000 rows.

D'où question: est-il normal que la requête paramétrée INSERT soit à ce point si lente ?
Merci

1) supprimez votre index et mettez une clef primaire, cela augmentera les performances... C'est fou ce que les gens croient naïvement qu'en mettant pas de contraintes ça ira plus vite !
2) si vous insérez en ligne à ligne c'est normal. BCP fait du BULK => une seul insertion de toutes les lignes à la fois.

A +

Je ne crois rien, je décris simplement la table et son contexte.

Avec INSERT j'ai 300 rows/sec.
Avec BCP j'ai 50000 rows/sec, soit x150 plus rapide 8O.

Je me doute bien qu'avec une clé primaire ça ira (un peu) plus vite, mais pas x150.
Donc, c'est normal pour vous qu'un INSERT, même à 1000 rows/sec, c'est "rapide" ?

Remerci :coucou:

Tout dépend comment l'insertion est faite avec INSERT :
Si c'est fait en ligne à ligne dans une boucle, c'est normal...
par exemple :

Code:

---

1 2 3 4

INSERT INTO Matable VALUES (...); INSERT INTO Matable VALUES (...); INSERT INTO Matable VALUES (...); ...

---

Si c'est fait de manière plus ou moins ensembliste :

Code:

---

1 2	INSERT INTO Matable VALUES (...), (...), (...), (...) ... (...);

---

Cela ira déjà beaucoup plus vite...

En effet pour chaque instruction INSERT il y a :

• phase de "parsing" (analyse syntaxique)
• phase de collecte des méta données (quelles tables, quelle colonnes...)
• phase de vérification des privilèges (l'utilisateur a t'il l'autorisation de faire cet INSERT sur cette table)
• reprise d'un plan de requête s'il y en a un similaire en cache, sinon création d'un plan de requête, donc phases:
• -- d'optimisation sémantique
• -- d'optimisation statistique
• -- mise en cache du plan de requête
• journalisation des données
• pose des verrous sur la table
• vérification des contraintes à priori (domaine, NOT NULL...)
• insertion des valeurs
• vérification des contraintes à postériori (PK, FK, UNIQUE, CHECK...)
• levée des verrous
• journalisation de la fin de transaction

Dans le cadre de votre INSERT en boucle ces phases sont répétées 300 000 fois. Dans le cas du BULK INSERT une seule fois....

A +

Citation:

---

Envoyé par camboui

Je me doute bien qu'avec une clé primaire ça ira (un peu) plus vite, mais pas x150.

---

1) essayez...
2) avez vous dimensionné les fichiers de votre base correctement ?

par exemple faite une base avec fichier de données = 4 Go etr fichier du journal = 1 Go et recommencez votre test. Vous risquez d'être surpris....

A +

Merci beaucoup :coucou:

Ne jamais oublier que les bases de données relationnelles agissent selon un principe ensembliste, c'est à dire sur un ensemble de données. Si l'ensemble ne contient qu'une seule donnée, cela coute autant que s'il contient n données.... Alors faire de l'unitaire avec un SGBDR, ce serait comme si la SNCF déciderait subitement de faire des trains monoplace !!!!

A +

Citation:

---

Envoyé par camboui

Avec INSERT j'ai 300 rows/sec.
Avec BCP j'ai 50000 rows/sec, soit x150 plus rapide 8O.

Je me doute bien qu'avec une clé primaire ça ira (un peu) plus vite, mais pas x150.
Donc, c'est normal pour vous qu'un INSERT, même à 1000 rows/sec, c'est "rapide" ?

---

En tentant de comprendre un autre aspect des choses ici j'ai par hasard réussi à augmenter les performances des requêtes SQL classiques, entre autres le INSERT dont il est question dans ce sujet.
Ainsi, rien qu'en changeant la "Connection String" ODBC de SQL Server à SQL Server Native Client 11.0 l'INSERT passe de 300 rows/sec à 2500 rows/sec !
Surprenant !

Pas vraiment... Native client comme son nom l'indique est une connexion native qui, dans l'univers Windows, ne passe par aucune couche intermédiaire de middleware contrairement à ODBC, et plus encore à JDBC, mais moins qu'avec ADO DB...
Or une couche de plus c'est des lignes en plus donc du temps....

A +