INSERT FROM SELECT (performance)

Bonjour à tous,

J'ai plusieurs tables formatées de la même manière contenant chacune d'entre elles plusieurs millions de lignes ([crb1] [crb2] [crb3], etc).
Je dois créer une table dite "agrégée" contenant un ensemble de [crb1] [crb2] [crb3] pouvant contenir plusieurs centaines de milliers de lignes.
J'ai donc écrit une procédure stockée qui permet de faire un simple

Code:

---

INSERT INTO ... SELECT FROM [crb1] WHERE [conditions]

---

!!

Le problème c'est que ça prend un temps fou... J'ai un réel problème de performance !!
Avez vous une autre solution à me proposer ??

Bonjour

Si le but est de recharger la totalité des différentes tables dans une seule, et que vos volumes sont significatifs, il est nettement préférable de passer par un load et non par insert :
- votre chargement sera extrèmement rapide
- vous ne chargerez pas la log inutilement
- vous pourrez profiter de l'opération pour mettre à jour vos statistiques
Si en plus votre table cible est partitionnée, vous pourrez paralléliser le chargement de chacune des partitions

Sur une table de plusieurs millions ou milliards de lignes, vous allez passer de plusieurs heures (voir jours :aie:), à quelques minutes pour tout charger 8-)

C'est quoi le principe du LOAD je ne connais pas !! Plus d'explications s'il vous plait si possible

Tout est là : https://technet.microsoft.com/en-us/...sql.80%29.aspx

OK...
Je dois faire un bulk sur une query spécifique qui sera lancée sur chaque table. En fait je ne fais pas une copie totale de la table mais seulement une partie !!
Et je dois faire un import avec bulk INSERT dans la table 'agrégée'.

Est ce que bulk peut me faire cela tu penses ?

Bonjour,

Sinon vous pouvez passer par SSIS ...

Bonjour,

Le mieux serait de prendre le mal à la racine : pourquoi avez vous plusieurs tables de même structures, et pourquoi les agréger dans une autre tables.

C'est sans doute dû à un problème de modélisation, qu'il faudrait corriger.

expliquez un peu plus le contexte, on pourra peut être vous aiguiller sur des solutions plus saines.

Par exemple des vues, éventuellement indexées.

Citation:

---

Envoyé par julien94320

Bonjour,

Sinon vous pouvez passer par SSIS ...

---

Effectivement passer par un package SSIS avec chargements des tables sources en parallèle en mode bulk dans la table destinatrice pourrait apporter un certain avantage ici.
Il faut bien entendu répondre à certains prérequis (utilisation d'un mode de récupération adéquate, verrouillage au niveau table pour la table destinatrice etc ... cf Microsoft technet)

++

Le contexte est simple.
Mes tables contiennent des datas mais avec plusieurs versions (v1 ... vn).
L'idée est donc de pouvoir générée une table agrégée à la demande avec le max version de chaque table "splittée".
Historiquement il y a sans doute un problème de conception, mais la je dois faire avec :) !!

Bonjour,

On ne sait pas encore où le moteur passe le plus clair de son temps à exécuter la requête.
C'est peut-être tout simplement un problème d'indexation : il est possible que la recherche des lignes correspondant à la bonne version dans chaque table soit problématique.

Pourriez-vous récupérer le plan estimé du SELECT de l'INSERT svp ?
Pour ce faire, surlignez le SELECT de l'INSERT, et pressez CTRL+L : le plan d'exécution de la requête va s'afficher dans un onglet du panneau de Résultats de la requête.
En faisant un clic-droit sur une zone vierge du plan, sélectionnez Save Execution Plan As ... et procédez comme d'habitude pour sauvegarder un fichier.
Vous pouvez ensuite attacher ce fichier à votre réponse ici.

@++ ;)