incrémentation automatique de clé

Bonjour,

Mon programme PERL fais une tres grande nombre d'insertions. Je risque de passer 30heures à attendre...
En un mot:
- mon programme perl reçoit un fichier d'entrée avec beaucoup de données, les traite puis prépare les requetes SQL pour les mettre ensuite dans un fichier de sortie
- SQLLOADER charge ces données

ce que je vois comme solution, c'est couper ce fichier d'entrée en plusieurs petits fichiers , ça ira plus vite.

le problème c'est que j'aurai des problèmes de gestion de clé primaire de la base, car SQLLOADER me semble incapable de gérer la clé primaire (incrémenter d'une manière automatique). Est il vrai ?

Avez vous des idées pour résoudre ce problème

merci d'avance

Cathy

essaye le lien
http://www.developpez.net/forums/sho...OADER+sequence

cela devrait t'aider

Vous pouvez aussi dans votre cas utilser une table externe

Bonsoir,

Celà semble compliqué, pourquoi passer par un fichier intermédiaire et ne pas insérer directement ? Gain en io.

Pour la clef on peut utiliser un trigger, comme celà a déjà étè débattu dans ce forum.

Essayez de donner plus d'indications, pour que l'on vous aide plus facilement.

Cdt

oui comme a dit deadoralive tu peux utilser un trigger gérant une séquence d'auto-incrementation a chaque nouvelle insertion dans ta table

Je me dis que faire des insertions via 1 langage nécessite une connexion à la base, la gestion I/O dans la base n'est pas forcément aussi rapide par rapport à PL/SQL ou SQLLOADER. J'hésitais même à ecrire mon programme en PL/SQL mais finalement, comme PL/SQL n'est pas fort pour faire beaucoup de traitement (calcules) j'ai changé d'idée en utilisant quand même un fichier de sortie de SQL pour SQLLOADER load après dans la base

L'histoire de Séquence est très bien. Ca a résolu une partie de mon problème: les tables 'libres'. J'ai aussi des tables dépendantes: 2 tables donc une contient 1 clé étangrère pointant sur la première. Je dois connaitre dans mon programme la valeur de la clé de la premièra table pour la mettre dans la deuxième, que dois je faire ?

Merci

Cathou

Bonjour,

En reprenant l'idée d'argoet des tables externes, on peut lire les données des fichiers directement, faire les traitements en PL, et insérer dans la base. Ce qui devrait etre le plus efficace. Rien n'empêche non plus de faire des proc java dans le PL s'il est dépassé.

La gestion des pipes pourrait aussi être une piste pour améliorer les perfs.

Cdt

je reçois un fichier d'entrée .date (je ne peux pas changer de format) .
je traite en perl et génère un fichier de sortie
sqlloader load le fichier de sortie


Si vous parlez de table externe pour remplacer le fichier d'entrée, je n'ai pas le droit

Si vous parlez de table externe pour remplacer mon fichier de sortie, et réecrire un autre programme pl/sql derière pour traiter ce fichier, ce qui veut dire: fichier entrée->perl->fichier sortie->pl/sql->base, je me demande si c'est vraiment efficace, plus rapide

Et le plus gros probleme, c'est que j'ai un problème de vitesse, c'est la raison pour laquelle je vais lancer plusieur exécution de mon perl et qui entraine un problème de conflit des clés primaires.

Nextval résout des clés indépendante Mais pas des clés dépendantes (clés étrangères) comme j'ai expliqué au dessus (comment récupérer la valeur de nextval pour mettre dans une autre table avec SQLloader ?????)

merci

Cathy

est d'alller très vite, je ne vais pas charger le fichier d'entrée dans une table externe, j'ai plusieurs millions de données

Cathy

La table externe c'est pour remplacer le fichier d'entrée. En fait on colle une structure de table sur un fichier et on lit cette table comme une table classique avec SQL.

je vais essayer de réfléchir, sinon, savez vous comment gérer l'histoire des clés dépendantes (clés étrangères) avec ma situation actuelle (perl+sqlloader) ?

cathy