Discussion :

[Petsman]

bonjour a tous

je dispose d'un PC client connecté a une base de données distante. je dois régulièrement faire plusieurs milliers d'ajouts de ligne grâce a des INSERT INTO successifs dans une boucle for, 1 requête par ligne.

problème: c'est lent et ça bouffe de la disponibilité serveur.

pour économiser du réseau, je souhaiterais que mes requête INSERT INTO dans boucle FOR soient faite directement sur le PC du serveur.

j'ai pensé aux procédures stockées, mais j'ai deux contraintes: mes tables de valeurs sont grosses et leur taille n'est pas fixe. sur internet, je n'ai trouvé d'aide que concernant les petites tables a 1 ou 2 lignes.

auriez-vous une idée? suis-je condamné a construire une requête de 8000 insert into? :'(

merci d'avance

[SQLpro]

Pourquoi voulez-vous faire des insertions ligne par ligne ? Comment sont vos données originales ?

A +

[Petsman]

@SqlPro

pas nécessairement, mais il n'y a que cela qui me vienne a l'esprit.

ma base de données est composée d'entiers 32 bits, chaines et booleens
mon idee est de transmettre ces données sous forme de tableau 1D, chaque tableau = 1 colonne
-des tableaux d'entiers 32 bits signes
-1 tableau de booléens
-1 tableau de chaines
puis de prendre chaque lignes de ces tableaux 1D pour créer une @table dans une boucle for, puis mettre cette @table dans ma base finale.

question du début: comment transmettre de telles données le plus simplement possible?

[SQLpro]

Vous ne répondez pas à la question : d'ou proviennent ces données ???
fichier ?
calculs ?
flux continu ???

A +

[Petsman]

les données sont des variables internes au programme qui construit les requêtes avec le contenu de ces variables. Ce n'est que du texte direct, il n'y a pas de fichiers. La requête terminée est envoyée directement par le programme.

Je ne sais pas ce que vous entendez par "calcul" et "flux continu"
en espérant avoir répondu precisement

[aserf]

Bonjour,

en quoi est écrit votre programme ? Quelle est la forme de vos clefs primaires ? autoincrement ou guid ? si autoincrement, avez-vous besoin de récupérer l'id créé pour le traiter ensuite ?
Une fois les données insérées vous avez besoin de les mettre à jour ? ou vous ne les avez plus ? (sinon bulk en update et en delete nécessaire)

Dans tout les cas plusieurs solutions s'offrent à vous.

Si dotnet, alors utiliser SqlBulk, vous ne trouverez pas plus rapide pour transférer de la mémoire de votre programme vers la base de données.
Si la base de donnée est SQL Server mais un autre langage, vous pouvez concaténer les requêtes sql avec des ";" cela augmentera les insertions.
Si votre base de données n'est pas compatible avec les ";" (comme access ou sqlite), vous pouvez utiliser :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
Insert into From
Select 'value1','value2','value3'
Union
Select 'value1','value2','value3' ...

Chaque ligne Select correspond à une ligne de votre grille. vous construisez la requête avec un srtingbuilder (sous dotnet) pour être plus rapide.

Je n'ai pas la syntaxe exacte en tête, mais vous la retrouverez facilement sur le net.
Une fois que vous m'aurez donné plus de précisions sur le langage je vous aiguillerai.

Bonne chance.

[rudib]

Je me joins au concert des demandes

Le réponse n'est pas encore assez précise:

1/ quelle version de SQL Server ?
2/ d'où viennent ces valeurs dans des variables ? Le contenu de tes variables ne se crée pas tout seul, et surtout si tu parles de plusieurs milliers de lignes. Une variable scalaire contient une seul valeur, plusieurs milliers de lignes cela veut donc dire une collection, une structure de données ... quelle en est la source en amont de ton programme qui les met dans des variables ?

[Petsman]

en quoi est écrit votre programme

Labview 2015

quelle est la forme de vos clefs primaires?

je remplis 2 tables: 1 avec cles primaire non modifiable et auto incrémentale, et une deuxième avec clé modifiable, représentant un numéro de lot unique

Si dotnet, alors utiliser SqlBulk,

est ce qu'on peut transferer une table entiere en un coup? si oui c'est surement ce qu'il me faut. je teste et vous tiens au jus

1/ quelle version de SQL Server ?

Sql server 2014 management studio

2/ d'où viennent ces valeurs dans des variables ? ?

les valeurs sont gérées directement dans un programme labview2015, et les lignes sont générées en conséquence
en effet, les données sont dans des "conteneurs", mais leur valeur est mise directement dans la requête en format texte.

[aserf]

Bonjour

Apparemment vous pouvez charger des assembly dotnet dans labview.

http://zone.ni.com/reference/en-XX/h.../net_defaults/

donc vous pouvez utiliser les fonctions du framworks, SqlBulkCopy sera ce qui est le plus performant je pense.

https://msdn.microsoft.com/fr-fr/lib...v=vs.110).aspx

Pour les clefs attentions quand vous ferez un SqlBulkCopy vous ne récupérerez pas les Id Créé, donc à vous de les relire, vous n'en avez peu être pas besoin ...

Cordialement,

[StringBuilder]

Plutôt que de faire un FOR avec un INSERT par itération, faites plutôt un FOR qui génère une unique requête de ce type :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
INSERT INTO latable (les colonnes) values
(valeurs ligne 1),
(valeurs ligne 2),
(valeurs ligne 3),
...
(valeurs dernière ligne)

Ça sera toujours plus rapide (une unique transaction).