Discussion :

[francois839]

Bonjour à Tous, alors voici mon problème.

Je dois réaliser un script en SQL qui me permette de mettre à jour ou d'insérer des nouvelles lignes dans plusieurs tables d'une base de données à partir d'un fichier *.csv sachant que ces insertions sont liés. Je m'explique:

3 tables concernées par la MAJ ou l'insertion:

Table1_camion:
id
numero_interne
nom_camion
site_id
type_id
...

Table2_site:
id
nom_site
...

Table3_type:
id
type_camion
...

les liens entre les tables sont donc:
Table1_camion.site_id=Table2_site.id et Table1_camion.type_id=Table3_type.id

Donc dans le cas d'un update (le camion existe déjà, repéré par son numéro interne) dans la table1 je dois faire une mise a jour des trois tables sachant que l'update doit toucher la table 1 en premier et ainsi de suite. Ce cas est le plus simple je dirai car les liens entre les trois tables existent déjà.

Dans le cas d'un insert il suffit de prendre le max id de la première table (dernière création en date donc) et de le faire correspondre à la table suivante etc...

Mon problème en fait est que je dois faire tous ça avec des données provenant d'un fichier *.csv et donc que je dois faire une mise à jour conditionnelle, c'est à dire si numéro interne existe déjà --> mise à jour sinon insertion nouvelles données. Mais avec l'instruction que je pensais utiliser, le MERGE, je ne vois pas comment je peux dans le cas de la mise à jour toucher les trois tables et dans le cas de l'insert faire des inserts successifs...

Voilà j'espère avoir été assez clair. On utilise une base Oracle 9i ou 10 et je pensais me servir de SQL*Loader pour faire l'import depuis le fichier *.csv...

Merci à tous.

[CinePhil]

Importe ton ou tes fichiers CSV dans des tables provisoires.
Ensuite, fais des requêtes pour extraire de tes tables provisoires les informations nécessaires à l'alimentation des tables définitives.

Dans le cas présent, il faut d'abord importer les sites distincts et les types distincts existants dans les tables temporaires.

Ensuite tu fais une jointure entre les tables temporaires et les tables définitives pour récupérer les id.

Exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
INSERT INTO T_Camions(numero_interne, nom_camion, site_id, type_id)
SELECT tmp.numero_interne, tmp.nom_camion, s.site_id, t.type_id
FROM tabletemporaire tmp
INNER JOIN T_Sites s ON tmp.nom_site = s.nom_site
INNER JOIN T_Types t ON tmp.type_camion = t.type_camion

Attention aux données pourries à vérifier avant dans les tables d'import !
- des sites ou des types mal écrits qui peuvent générer des doublons (exemple de sites en doublon : Toulouse et Toulose)
- des camions sans site ou sans type

[skuatamad]

Salut,
Je ne sais pas si c'est la meilleur solution, mais perso, je loaderais le fichier tel quel dans une table vrac (avec l'option truncate), puis je traiterais l'import avec des procédures stockées.

[Monstros Velu]

Je confirme l'option de loader d'abbord dans une table.

Voici comment je réalise les imports :

1) charger le fichier tel quel dans une table, colonne par colonne. L'idéal étant d'avoir une table tblImportFile(id, filename, date) et une table tblImportItem(id, linenumberinfile, col1, col2, col3, ..., validationstatus, mergetype)
2) vérifier les données, mettre le validation statud à jour ("rejected", "valid", "merged", éventuellement "manual check", etc...) et le merge type précisant si s'agit d'un update ou d'un insert
3) réaliser le merge avec les insert et les updates. (Pour des raisons de perf, on peut faire les inserts et les updates par block de 500 lignes, mais c'est à adapter suivant les besoins)

[francois839]

Oki merci à tous ca m'a bien aidé... Par contre je suis maintenant confronté à une nouvelle situation d'import à partir d'un fichier csv. Je l'ai chargé dans une table import un peu à la manière que tu décrit Monstros velu. Par contre ce que je dois en faire est beaucoup plus compliqué. Je m'explique en prenant un exemple (ce n'est pas le meme cas qu'avant):

Table_ressource:
id
ressource_type
name
numero_interne
immatriculation
....

Table_truck:
id
ressource_id (=table_ressource.id)
reference
....

Table_ressource_site:
id
ressource_id (=table_ressource.id)
site_id
...


et donc dans ma table import j'ai les champ ci-dessus mais dans une seule table:

table_import:
ressource_name
immatriculation
num_interne
site_name
reference
...

Donc mon problème en fait c'est qu'à partir d'une table je dois faire des insertion dans 3 tables en même temps sachant qu'une ligne dans la table_import représente une ligne dans 3 tables différentes de l'autre côté...

Merci pour votre aide.

[CinePhil]

Il faut d'abord remplir la table ressource puis successivement les autres en faisant une jointure pour récupérer le ressource_id afin d'alimenter la clé étrangère.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
INSERT INTO Table_truck(ressouce_id, reference, ...)
SELECT r.id, i.reference
FROM table_import i
INNER JOIN table_ressource r ON i.immatriculation = r.immatriculation