Insertion d'un grand nombre de Insert

Bonjour,

J'ai un fichier sql qui contient, plus ou moins, 10000 commandes d'Insert sur une vingtaine de table.

J'utilise l'invite de commande sous PL/SQL developper. Tout se passe bien, sauf que le temps d'exécution est d'environ 40 minutes.

J'avais pensé à utiliser SQL Loader mais je vois quil génère les fichiers à partir de fichiers plats. même si je génère un fichier de ce type. Je dois effectuer 20 fichiers différents avec 20 fichiers de contrôle différents (enfin j'ai découvert SQL loader aujourd'hui et vu la FAQ, je ne vois pas comment générer des données différentes pour des tables différentes.)

Dois-je rester sous cette forme. Ou existe-il un moyen plus rapide ? (peut être est il possible avec SQL loader ?)

Le fichier est très simple et du type:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

--Insertion table 1 INSERT INTO TABLE1(CHAMP1,CHAMP2,....,CHAMP N) VALUES (1.VALUES1, 1.VALUES2,...1.VALUES N); INSERT INTO TABLE1(CHAMP1,CHAMP2,....,CHAMP N) VALUES (2.VALUES1, 2.VALUES2,...2.VALUES N); INSERT INTO TABLE1(CHAMP1,CHAMP2,....,CHAMP N) VALUES (3.VALUES1, 3.VALUES2,...3.VALUES N); . . . INSERT INTO TABLE1(CHAMP1,CHAMP2,....,CHAMP N) VALUES (N.VALUES1, N.VALUES2,...N.VALUES N) -- Insertion table 2 INSERT INTO TABLE2(CHAMP1,CHAMP2,....,CHAMP N) VALUES (1.VALUES1, 1.VALUES2,...1.VALUES N); INSERT INTO TABLE2(CHAMP1,CHAMP2,....,CHAMP N) VALUES (2.VALUES1, 2.VALUES2,...2.VALUES N); INSERT INTO TABLE2(CHAMP1,CHAMP2,....,CHAMP N) VALUES (3.VALUES1, 3.VALUES2,...3.VALUES N); . . . INSERT INTO TABLE2(CHAMP1,CHAMP2,....,CHAMP N) VALUES (N.VALUES1, N.VALUES2,...N.VALUES N) -- Insertion table N INSERT INTO TABLE N(CHAMP1,CHAMP2,....,CHAMP N) VALUES (1.VALUES1, 1.VALUES2,...1.VALUES N); INSERT INTO TABLE N(CHAMP1,CHAMP2,....,CHAMP N) VALUES (2.VALUES1, 2.VALUES2,...2.VALUES N); INSERT INTO TABLE N(CHAMP1,CHAMP2,....,CHAMP N) VALUES (3.VALUES1, 3.VALUES2,...3.VALUES N); . . . INSERT INTO TABLE N(CHAMP1,CHAMP2,....,CHAMP N) VALUES (N.VALUES1, N.VALUES2,...N.VALUES N)

---

Merci beaucoup

Bonjour,

Peut être que je n'ai pas compris, mais tu veux inserer les mêmes données dans plusieurs tables, c'est bien ça ?

Bonjour,

Non justement. Ce sont des tables différentes avec des données différentes.

exemple concret:

Code:

---

1 2 3 4 5 6

INSERT INTO PAYS (nom, poulation) values (FRANCE, 64102000); INSERT INTO PAYS (nom, poulation) values (ITALIE, 59131287); INSERT INTO REGIONS (nom, pays, nbVille) values ( Moselle, FRANCE, 124); INSERT INTO REGIONS (nom, pays, nbVille) values ( Lazio, ITALIE, 435); --etc...

---

Tu peux faire un SQL*Loader en injectant tout dans une seule table sans index bien sûr et ensuite tu ventiles tes données avec des INSERT ... SELECT

Chaque insert est unique ça fait 10000 inserts à parser, voilà pour quoi ça prends autant de temps. Normalement il faut utiliser des variables de bindings pour chaque type d'insert (par table). C'est ce que Sql*Loader fait!
Ma question est la suivante: est ce-que tu contrôle la création du fichier qui contient les inserts?

Le problème est que je ne peux pas toucher à la BDD sur la création de table. Juste sur l'insertion de données.

En regardant SQL Loader, j'ai une question. Est il possible de mettre le Control File sous la forme:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

LOAD DATA INFILE 'data1.csv' TRUNCATE INTO TABLE PAYS FIELDS TERMINATED BY ';' ( NOM , POPULATION )   LOAD DATA INFILE 'data2.csv' TRUNCATE INTO TABLE REGION FIELDS TERMINATED BY ';' ( NOM , PAYS, NBVILLE )

---

Je n'aurais qu'a lancer une seule fois SQL Loader après avoir changé la forme et separer mon gros fichier en plus petits fichiers.

Je crois que l'exemple que tu donnes fonctionne (je n'utilise plus sqlldr tous les jours :aie:)

Mais tu peux aussi faire un truc de ce style :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

LOAD DATA INFILE * APPEND INTO TABLE PAYS WHEN tab = 'table1' FIELDS TERMINATED BY ',' ( tab FILLER, NOM, population ) INTO TABLE REGIONS WHEN tab = 'table2' FIELDS TERMINATED BY ',' ( tab FILLER, nom, pays, nbville ) BEGINDATA table1,FRANCE,64102000 table1,ITALIE,59131287 table2,Moselle,FRANCE,124 table2,Lazio,ITALIE,435

---

là encore c'est à tester

Merci !!

En fait, j'ai changé de méthode. Il y avait d'autres paramètres a prendre en compte.

Pou faire simple, je passe par sqlplus en invite de commande (avant j'utilisais PL/SQL develloper) et je met juste 5 minutes.

Je n'ai pas pu tester SQL Loader (pour faute de temps) mais je reste curieux de l'essayer ;)

En tout cas merci de votre aide,