Version imprimable
Bonjour à tous,
je réfléchis à l'optimisation en terme de performance d'une séquence d'insertion dans une base de données SQL server.
Je me demande si les temps que j'ai sont trop élevés ou non.
J'insère 100 enregistrements en 15 secondes.
Est ce normal ? cela vous parait-il trop long ?
Cela fait 15 ms par enregistrements, mais cela dépend le volume, le nombre d'index à mettre à jour, les triggers, en fait, non ce n'est pas si long que cela si tu as déjà quelques centaines de milliers d'engistrements ... par contre, si tu insères dans une table vide, cela peut sembler long, ... après tout dépend ton exigence, ... moi dans certains projets, je devais faire 5 insert, 5 update, 20 select, 5 delete en moins de 250 ms secondes, ce qui fait 10 ms par requête au maximum, ... avec MySQL ou Paradox, je n'ai jamais dépassé la milli seconde, mais j'avais un faible volume, avec InterBase que j'avais mal utilisé (les composants IB sont quelqu'un peu piègeur, le Prepare n'est pas automatique), avec SQL Server ou Oracle, je n'ai jamais eu de contrainte de temps aussi importante, juste, je devais faire un traitement insérant 800 000 enregistrements dans une table et 10 000 dans une autre, cela prenait 1h (l'analyse d'un fichier d'une centaine de Mo et la génération des requêtes ne prenant qu'une petite minute) ... surtout à cause de la lib lentissime (via Provider COM ... compteur manuel, d'ailleurs avec quelques astuces spéciques à cet lib) le traitement qui durait au début 12h, fut réduire à 1h), ce qui donne en fait 4 milli secondes par insert, donc par rapport à mes habitudes de faible volume avec MySQL, c'est lent ...
Bonjour
Performance/rapidité dépend aussi du matériels utilisé.
Ciao
Merci pour vos réponses,
en fait la table n'est pas vide, mais il ne s'agit pas d'un simple insert. c'est une procédure stockée qui fait quelques vérifications aussi.
J'ai un axe de recherche, nous utilisons un transport soap en envoyant des array of string, integer à un serveur d'application.
je me demande si il ne serait pas préférable d'envoyer des array of byte...
Effectivement, si tu as une architecture multi-tiers cela alourdi le traitement, et si tes insertions sont soumis à condition, il n'est donc pas surprenant que cela prenent du temps
pour les array of byte ou array of string, vous avez votre propre couche bas niveau pour l'envoi du SOAP ? basé sur TCP\IP et SSH pour la connexion sécurisé, n'ayant utilisé SOAP que via des WebService et le composant HTTPRIO et https, les traitements du WS sont lent, donc je n'ai jamais cherché à savoir combien de temps cela prenait comme temps surtout que l'on attaque un serveur sur le web et non local
Ca fait donc 150 ms par enregistrement.Citation:
J'insère 100 enregistrements en 15 secondes
Personnellement j'arrive à insérer jusqu'à 20 000 enregistrements par secondes sur SQL Server.
Pour moi c'est énorme !
Effectivement, si vous le prenez comme ça, ça a de quoi être long.Citation:
c'est une procédure stockée qui fait quelques vérifications aussi.
J'ai un axe de recherche, nous utilisons un transport soap en envoyant des array of string, integer à un serveur d'application.
je me demande si il ne serait pas préférable d'envoyer des array of byte...
Il serait intéressant de mesurer précisémentles temps d'exécution de la procédure stockée, ainsi que les temps d'appels de la procédure. Ca peut se faire de la façon suivante : Lancer SQL Profiler sur le serveur, il permettra de mesurer les temps exécution de la SP. Ensuite tu mesures le temps d'écriture des enregistrements depuis le client.
Si tu fais la différence des deux, ça donnera le d'invocation de la SP (temps d'exécution du serveur d'appli compris).
Mais je serais prêt à parier que le temps d'appel est beaucoup plus important que le temps d'exécution de la SP.
Si vous voulez améliorer les performances, il faut commencer par réduire le traffic réseau.
Ca veut dire, réduire le volume de données envoyé (pour gagner sur les temps de transit), mais également réduire le nombre de messages envoyés (pour supprimer les temps d'attente des messages d'acquitements du réseau).
Plusieurs pistes pour celà :
- L'écriture se fait-elle ligne à ligne ou bloc par bloc (vous faites un appel de la SP pour chaque ligne, ou vous envoyer un bloc de lignes (un batch d'écriture par exemple) pour écrire plusieurs lignes en un seul appels ? (évidemment le mieux c'est de tout grouper en un seul appel).
- Réduire la taille des messages échangés. L'idéal serait d'oublier SOAP et d'effectuer un envoie binaire.
Si l'essentiel du temps de traitement se passe dans la SP, ben il n'y a plus qu'à l'optimiser !