Discussion :

[cathou9999]

Bonjour,

Mon programme PERL fais une tres grande nombre d'insertions. Je risque de passer 30heures à attendre...
En un mot:
- mon programme perl reçoit un fichier d'entrée avec beaucoup de données, les traite puis prépare les requetes SQL pour les mettre ensuite dans un fichier de sortie
- SQLLOADER charge ces données

ce que je vois comme solution, c'est couper ce fichier d'entrée en plusieurs petits fichiers , ça ira plus vite.

le problème c'est que j'aurai des problèmes de gestion de clé primaire de la base, car SQLLOADER me semble incapable de gérer la clé primaire (incrémenter d'une manière automatique). Est il vrai ?

Avez vous des idées pour résoudre ce problème

merci d'avance

Cathy

[c.langlet]

essaye le lien
http://www.developpez.net/forums/sho...OADER+sequence

cela devrait t'aider

[argoet]

Vous pouvez aussi dans votre cas utilser une table externe

[deadoralive]

Bonsoir,

Celà semble compliqué, pourquoi passer par un fichier intermédiaire et ne pas insérer directement ? Gain en io.

Pour la clef on peut utiliser un trigger, comme celà a déjà étè débattu dans ce forum.

Essayez de donner plus d'indications, pour que l'on vous aide plus facilement.

Cdt

[damiano84]

oui comme a dit deadoralive tu peux utilser un trigger gérant une séquence d'auto-incrementation a chaque nouvelle insertion dans ta table

[cathou9999]

Je me dis que faire des insertions via 1 langage nécessite une connexion à la base, la gestion I/O dans la base n'est pas forcément aussi rapide par rapport à PL/SQL ou SQLLOADER. J'hésitais même à ecrire mon programme en PL/SQL mais finalement, comme PL/SQL n'est pas fort pour faire beaucoup de traitement (calcules) j'ai changé d'idée en utilisant quand même un fichier de sortie de SQL pour SQLLOADER load après dans la base

L'histoire de Séquence est très bien. Ca a résolu une partie de mon problème: les tables 'libres'. J'ai aussi des tables dépendantes: 2 tables donc une contient 1 clé étangrère pointant sur la première. Je dois connaitre dans mon programme la valeur de la clé de la premièra table pour la mettre dans la deuxième, que dois je faire ?

Merci

Cathou

[deadoralive]

Bonjour,

En reprenant l'idée d'argoet des tables externes, on peut lire les données des fichiers directement, faire les traitements en PL, et insérer dans la base. Ce qui devrait etre le plus efficace. Rien n'empêche non plus de faire des proc java dans le PL s'il est dépassé.

La gestion des pipes pourrait aussi être une piste pour améliorer les perfs.

Cdt