Importer partiellement des données d'une base vers une autre. [Résolu]

weebo · 01/03/2011, 15h37

Bonjour,

Comme indiqué dans mon titre, je souhaiterais importer des données d'une base "mère" vers une base "fille".
Par exemple, la base mère contient tous les produits du Monde, et j'aimerais importer dans ma base fille que les produits de la France, qui se trouvent dans la base Monde.

Le soucis c'est que les noms des tables ne correspondent pas forcement et que j'ai des contraintes (logique) au niveau des Foreign Key.

J'ai commencé par regarder dans la table ''Langue" l'ID rattaché à la France (IdLangue), et fait une requête système pour connaitre toutes les tables qui ont cet IdLangue dans leur table ... et ainsi de suite.

Puis avec des curseurs, j'ai commencé à remplir les tables qui allaient bien quand ca ne posait pas de problèmes de contraintes.
Le travail est plutôt long et fastidieux

Est ce la bonne démarche ?

Sinon j'ai pensé à virer toutes les contraintes sur les Foreign Keys et à importer mes données en masses mais ca peu peut être poser le soucis d'intégrité des données.

Et ma question est :
Quel est la meilleur façon de procéder dans ce cas ?

SQLpro · 01/03/2011, 15h39

La réplication peut être une solution....

A +

weebo · 01/03/2011, 17h27

Je m'y connais pas trop en réplication de base de donnée !

Népomucène · 01/03/2011, 17h38

Il n'y a qu'une seule table à importer ?

aieeeuuuuu · 01/03/2011, 18h09

Citation:

Envoyé par weebo

Le soucis c'est que les noms des tables ne correspondent pas forcement

Les deux bases n'ont pas le même modèle ? ou est-ce seulement le nom des tables qui changent ?

Et aussi :
Voulez vous faire cela pour alimenter initialement votre base fille, qui sera ensuite indépendante, ou voulez vous pouvoir synchroniser les deux bases ultérieurement ?

weebo · 02/03/2011, 10h06

Bonjour,

Tout d'abord merci pour l'aide que vous pourrez m'apporter !

Il n'y a pas qu'un seule table à importer !

Les deux bases ont le même modèle mais certaines infos dans la base parente sont dispatchées dans plusieurs tables alors qu'il faudrait que je les regroupe dans la même table de la base fille.
Exemple :
- Base Parent :

- Table produit :
champs : IdProduit, toto, tata, id...

- Table produitPays :
champs : IdProduitPays, IdProduit, yoyo, truc, id...

- Base Fille

- Table produit :
champs : IdProduit, toto, tata, yoyo, truc

Le but de cette manœuvre est effectivement d'alimenter à un instant t une base fille, en fonction d'un critère sur la base de donnée générale.
Puis cette base fille sera sur le poste Client et sera indépendante. Donc pas besoins de synchronisation (pour le moment)

Népomucène · 02/03/2011, 10h38

En théorie, c'est facile.
Il faut faire une requête avec les tables produit et produitPays de la base Parent
pour insérer dans la table cible de la base fille :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
INSERT INTO Fille..produit (IdProduit, toto, tata, yoyo, truc)
SELECT A.IdProduit, A.toto, A.tata, A.yoyo, A.truc
FROM Parent..produit A INNER JOIN Parent..produitPays B
ON A.IdProduit = B.IdProduit
WHERE B.IdLangue = 'FR'

C'est la syntaxe générale.
Il faut adapter pour le pays (je ne sais pas où est IdLangue )

ce serait bien mieux de mettre les vrais noms de tables et de colonnes ...

aieeeuuuuu · 02/03/2011, 10h40

Citation:

Envoyé par weebo

- Base Parent :

- Table produit :
champs : IdProduit, toto, tata, id...

- Table produitPays :
champs : IdProduitPays, IdProduit, yoyo, truc, id...

- Base Fille

- Table produit :
champs : IdProduit, toto, tata, yoyo, truc

donc les bases n'ont pas le même modèle.
Dans ces conditions, il me parait difficile de faire autrement qu'à la main, surtout si vous avez beaucoup de cas comme celui-ci (données d'une table dans la cible provenant de plusieurs tables dans la source...)

en peuplant chaque table de votre base cible avec une requete dans votre table source, dans le bon ordre, afin de ne pas violer de contraintes d'intégrité.

Combien de tables avez vous dans la cible ?

weebo · 02/03/2011, 10h50

merci pour vos réponses !

Népomucène => j'avais commencé à faire comme tu m'as dit, avec des curseurs pour chaque table ... mais le travail est long car j'ai pas mal de table à remplir en fonction de la langue qui n'est pas toujours spécifié dans la table de la base parente. Du coup, dans certains cas j'ai pas mal de jointure à faire.

aieeeuuuuu => Les bases ont le "même" modèle sauf dans certains cas comme celui ci qui reste mineur.
La base cible contient environ 70 tables .... *PAN*

weebo · 02/03/2011, 10h57

J'ai commencé à regarder pour faire de la réplication de la base parente avec une condition (IdLangue = 2 - "FR")
Mais le problème c'est qu'il me crée dans la base de donnée cible, les deux tables, or ce n'est pas ce que je veux.

Du coup je suis en train de chercher s'il est possible de modifier le script de réplication lorsqu'il va chercher les données dans la table source pour les basculer dans la table cible, parce qu'en fait seulement quelques champs m'intéressent.
il faudrait que je supprime la création de la table, ici ProduitPays, et que je bascule ses champs dans la table Produit. Mais ca je ne sais pas si c'est possible ?!

aieeeuuuuu · 02/03/2011, 11h04

Dans ce cas, et puisque tu ne comptes pas synchroniser ultérieurement les deux bases, le simple est peu être maintenant de traiter ces cas particuliers à la main, en peuplant ta nouvelle table à partir des deux autres (avec le type de requête que t'as fourni Népomucène), et supprimer les deux anciennes tables ensuite...

Dans tous les cas, il va être difficile de traiter de façon automatique des cas particuliers !

weebo · 02/03/2011, 11h15

Ok donc, si je résume (pour ceux dont ca pourrait intéresser) :
- Faire une réplication de la base principale en sélectionnant toutes les tables dont j'ai besoins.
- Importer les données de la bdd source vers la bdd cible
- Basculer les données de la table ProduitsPays vers la table produit
- Supprimer la table ProduitsPays

Le problème c'est qu'il faut recréer les champs dans la table Produit car la réplication va tout exploser ...

aieeeuuuuu · 02/03/2011, 11h20

Citation:

Envoyé par weebo

Le problème c'est qu'il faut recréer les champs dans la table Produit car la réplication va tout exploser ...

Vous pouvez avant cela
1/ scripter votre table Produit "cible".
2/ après la réplication, vous lancez le script, en changeant le nom de la table. (tmpProduit)
3/vous peuplez la table tmpProduit
4/vous supprimez les deux tables sources
5/vous renommez tmpProduit en Produit

Népomucène · 02/03/2011, 11h21

Citation:

avec des curseurs pour chaque table

C'est curieux que tu ais besoin de curseurs
Il vaut mieux faire plusieurs requêtes ...

Sinon, Talend propose un outil graphique spécialisé pour le transfert de données d'une base à l'autre
permettant de filtrer les données, de choisir ses colonnes etc...

SQLpro · 02/03/2011, 11h27

Inutile d'utiliser Talend.... SSIS est livré avec SQL Server et possède beaucoup plus de fonctionnalités, plus rapide et mieux sécurisé pour ce faire.

Ensuite pour faire ce genre de chose il y a un outil parfait, c'est service broker.
SB est un système de messagerie de données pour faire des bases de données collaboratives, transactionnées, sécurisées, fiables et performantes.
L'idée est d'envoyer dans une file d'attente les modif de la source à la cible par le biais de paquet XML représentant le flux de données.
pour un court exemple voir : http://blog.developpez.com/sqlpro/p7...ervice-broker/

A +

weebo · 02/03/2011, 14h05

Merci pour vos réponses !

Je vais m'orienter vers la solution d'aieuuuuu, qui est si j'ai bien compris :

1 - Modifier le nom de ma table cible (tmpProduit)
2 - Effectuer la réplication de la base source
3 - Migrer les données des tables (tables créées par la réplication) dans la table tempo
4 - Supprimer les 2 tables
5 - Renommer ma table tempo

Ça devrait rouler !!

Népomucène => Je me suis mal exprimé. J'effectue une requête différente par table, et j'utilise des curseurs pour les remplir.

Népomucène · 02/03/2011, 14h13

Citation:

J'effectue une requête différente par table, et j'utilise des curseurs pour les remplir

Si tu utilises des requêtes alors pourquoi utiliser des curseurs ?
Cela dit, c'était une simple curiosité de ma part.
L'important c'est que tu y arrives au moindre coût (solution d'aieuuuuu ...)

weebo · 02/03/2011, 14h16

Parce que je stock certaines données dans ces curseurs que j'utilise après pour remplir mes tables, faire des conditions dessus ...

elsuket · 02/03/2011, 16h17

Bonjour,

Pour faire plus clair, les curseurs, c'est de la grosse m...

C'est ce que je démontre ici.
Donc quand vous écrivez de code SQL, et dans notre cas T-SQL, oubliez toute logique ligne-à-ligne comme on le fait dans les langages non déclaratifs.
Traitez les données dans leur ensemble : SQL est conçu pour cela.

Si vous ne voyez pas comment faire, postez le code de votre curseur

@++

weebo · 02/03/2011, 16h40

Encore une question,

Pour les réplications, je vois qu'il est possible de filtrer mais apparemment le filtre ne fonctionne que sur la table sélectionnée !
Or je voudrais par exemple faire une réplication de la BDD en fonction d'un id (IdLangue =2) et toutes les données qui en découlent.

Or dans mon cas je récupère quand même toutes les données ! sauf dans la table ou j'ai appliqué le filtre ?!

Comment faire ?

01/03/2011, 15h37	#1
weebo Candidat au titre de Membre du Club Inscription : février 2011 Messages : 70 Détails du profil Informations forums : Inscription : février 2011 Messages : 70 Points : 13 Points : 13	Importer partiellement des données d'une base vers une autre. Bonjour, Comme indiqué dans mon titre, je souhaiterais importer des données d'une base "mère" vers une base "fille". Par exemple, la base mère contient tous les produits du Monde, et j'aimerais importer dans ma base fille que les produits de la France, qui se trouvent dans la base Monde. Le soucis c'est que les noms des tables ne correspondent pas forcement et que j'ai des contraintes (logique) au niveau des Foreign Key. J'ai commencé par regarder dans la table ''Langue" l'ID rattaché à la France (IdLangue), et fait une requête système pour connaitre toutes les tables qui ont cet IdLangue dans leur table ... et ainsi de suite. Puis avec des curseurs, j'ai commencé à remplir les tables qui allaient bien quand ca ne posait pas de problèmes de contraintes. Le travail est plutôt long et fastidieux Est ce la bonne démarche ? Sinon j'ai pensé à virer toutes les contraintes sur les Foreign Keys et à importer mes données en masses mais ca peu peut être poser le soucis d'intégrité des données. Et ma question est : Quel est la meilleur façon de procéder dans ce cas ?
	00

01/03/2011, 15h39	#2
SQLpro Rédacteur/Modérateur Frédéric BROUARD Expert SGBDR & SQL Inscription : mai 2002 Messages : 10 950 Détails du profil Informations personnelles : Nom : Frédéric BROUARD Localisation : France Informations professionnelles : Activité : Expert SGBDR & SQL Secteur : Conseil Informations forums : Inscription : mai 2002 Messages : 10 950 Points : 17 769 Points : 17 769	La réplication peut être une solution.... A + __________________ Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL Site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/ *Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.* Blog SQL, SQL Server, modélisation données : http://blog.developpez.com/sqlpro http://www.sqlspot.com : modélisation, conseils, audit, optimisation, formation * * * * * Enseignant CNAM PACA - ISEN Toulon - CESI Aix en Provence * * * * *
	00

01/03/2011, 17h27	#3
weebo Candidat au titre de Membre du Club Inscription : février 2011 Messages : 70 Détails du profil Informations forums : Inscription : février 2011 Messages : 70 Points : 13 Points : 13	Je m'y connais pas trop en réplication de base de donnée !
	00

01/03/2011, 17h38	#4
Népomucène Membre Expert Développeur java, access, sql server Inscription : octobre 2005 Messages : 851 Détails du profil Informations personnelles : Sexe : Localisation : France, Val de Marne (Île de France) Informations professionnelles : Activité : Développeur java, access, sql server Secteur : Industrie Informations forums : Inscription : octobre 2005 Messages : 851 Points : 1 302 Points : 1 302	Il n'y a qu'une seule table à importer ? __________________ D'abord qu'il marche. Ensuite qu'il soit rapide. Enfin qu'il soit agréable à utiliser. First, make it work. Then, make it fast. Finally, make it user-friendly. Erst, mach', dass es funktioniert. Dann, mach', dass es schnell geht, Zum Schluss mach' es benutzerfreundlich.
	00

02/03/2011, 10h06	#6
weebo Candidat au titre de Membre du Club Inscription : février 2011 Messages : 70 Détails du profil Informations forums : Inscription : février 2011 Messages : 70 Points : 13 Points : 13	Bonjour, Tout d'abord merci pour l'aide que vous pourrez m'apporter ! Il n'y a pas qu'un seule table à importer ! Les deux bases ont le même modèle mais certaines infos dans la base parente sont dispatchées dans plusieurs tables alors qu'il faudrait que je les regroupe dans la même table de la base fille. Exemple : - Base Parent : - Table produit : champs : IdProduit, toto, tata, id... - Table produitPays : champs : IdProduitPays, IdProduit, yoyo, truc, id... - Base Fille - Table produit : champs : IdProduit, toto, tata, yoyo, truc Le but de cette manœuvre est effectivement d'alimenter à un instant t une base fille, en fonction d'un critère sur la base de donnée générale. Puis cette base fille sera sur le poste Client et sera indépendante. Donc pas besoins de synchronisation (pour le moment)
	00

02/03/2011, 10h50	#9
weebo Candidat au titre de Membre du Club Inscription : février 2011 Messages : 70 Détails du profil Informations forums : Inscription : février 2011 Messages : 70 Points : 13 Points : 13	merci pour vos réponses ! Népomucène => j'avais commencé à faire comme tu m'as dit, avec des curseurs pour chaque table ... mais le travail est long car j'ai pas mal de table à remplir en fonction de la langue qui n'est pas toujours spécifié dans la table de la base parente. Du coup, dans certains cas j'ai pas mal de jointure à faire. aieeeuuuuu => Les bases ont le "même" modèle sauf dans certains cas comme celui ci qui reste mineur. La base cible contient environ 70 tables .... PAN
	00

02/03/2011, 10h57	#10
weebo Candidat au titre de Membre du Club Inscription : février 2011 Messages : 70 Détails du profil Informations forums : Inscription : février 2011 Messages : 70 Points : 13 Points : 13	J'ai commencé à regarder pour faire de la réplication de la base parente avec une condition (IdLangue = 2 - "FR") Mais le problème c'est qu'il me crée dans la base de donnée cible, les deux tables, or ce n'est pas ce que je veux. Du coup je suis en train de chercher s'il est possible de modifier le script de réplication lorsqu'il va chercher les données dans la table source pour les basculer dans la table cible, parce qu'en fait seulement quelques champs m'intéressent. il faudrait que je supprime la création de la table, ici ProduitPays, et que je bascule ses champs dans la table Produit. Mais ca je ne sais pas si c'est possible ?!
	00

02/03/2011, 11h04	#11
aieeeuuuuu Membre Expert Inscription : janvier 2010 Messages : 1 084 Détails du profil Informations personnelles : Localisation : France, Rhône (Rhône Alpes) Informations forums : Inscription : janvier 2010 Messages : 1 084 Points : 1 573 Points : 1 573	Dans ce cas, et puisque tu ne comptes pas synchroniser ultérieurement les deux bases, le simple est peu être maintenant de traiter ces cas particuliers à la main, en peuplant ta nouvelle table à partir des deux autres (avec le type de requête que t'as fourni Népomucène), et supprimer les deux anciennes tables ensuite... Dans tous les cas, il va être difficile de traiter de façon automatique des cas particuliers !
	00

02/03/2011, 11h15	#12
weebo Candidat au titre de Membre du Club Inscription : février 2011 Messages : 70 Détails du profil Informations forums : Inscription : février 2011 Messages : 70 Points : 13 Points : 13	Ok donc, si je résume (pour ceux dont ca pourrait intéresser) : - Faire une réplication de la base principale en sélectionnant toutes les tables dont j'ai besoins. - Importer les données de la bdd source vers la bdd cible - Basculer les données de la table ProduitsPays vers la table produit - Supprimer la table ProduitsPays Le problème c'est qu'il faut recréer les champs dans la table Produit car la réplication va tout exploser ...
	00

02/03/2011, 11h27	#15
SQLpro Rédacteur/Modérateur Frédéric BROUARD Expert SGBDR & SQL Inscription : mai 2002 Messages : 10 950 Détails du profil Informations personnelles : Nom : Frédéric BROUARD Localisation : France Informations professionnelles : Activité : Expert SGBDR & SQL Secteur : Conseil Informations forums : Inscription : mai 2002 Messages : 10 950 Points : 17 769 Points : 17 769	Inutile d'utiliser Talend.... SSIS est livré avec SQL Server et possède beaucoup plus de fonctionnalités, plus rapide et mieux sécurisé pour ce faire. Ensuite pour faire ce genre de chose il y a un outil parfait, c'est service broker. SB est un système de messagerie de données pour faire des bases de données collaboratives, transactionnées, sécurisées, fiables et performantes. L'idée est d'envoyer dans une file d'attente les modif de la source à la cible par le biais de paquet XML représentant le flux de données. pour un court exemple voir : http://blog.developpez.com/sqlpro/p7...ervice-broker/ A + __________________ Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL Site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/ *Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.* Blog SQL, SQL Server, modélisation données : http://blog.developpez.com/sqlpro http://www.sqlspot.com : modélisation, conseils, audit, optimisation, formation * * * * * Enseignant CNAM PACA - ISEN Toulon - CESI Aix en Provence * * * * *
	00

02/03/2011, 14h05	#16
weebo Candidat au titre de Membre du Club Inscription : février 2011 Messages : 70 Détails du profil Informations forums : Inscription : février 2011 Messages : 70 Points : 13 Points : 13	Merci pour vos réponses ! Je vais m'orienter vers la solution d'aieuuuuu, qui est si j'ai bien compris : 1 - Modifier le nom de ma table cible (tmpProduit) 2 - Effectuer la réplication de la base source 3 - Migrer les données des tables (tables créées par la réplication) dans la table tempo 4 - Supprimer les 2 tables 5 - Renommer ma table tempo Ça devrait rouler !! Népomucène => Je me suis mal exprimé. J'effectue une requête différente par table, et j'utilise des curseurs pour les remplir.
	00

02/03/2011, 14h16	#18
weebo Candidat au titre de Membre du Club Inscription : février 2011 Messages : 70 Détails du profil Informations forums : Inscription : février 2011 Messages : 70 Points : 13 Points : 13	Parce que je stock certaines données dans ces curseurs que j'utilise après pour remplir mes tables, faire des conditions dessus ...
	00

02/03/2011, 16h17	#19
elsuket Modérateur Nicolas Souquet Administrateur de base de données Inscription : janvier 2005 Messages : 4 667 Détails du profil Informations personnelles : Nom : Nicolas Souquet Âge : 30 Localisation : Thaïlande Informations professionnelles : Activité : Administrateur de base de données Secteur : High Tech - Éditeur de logiciels Informations forums : Inscription : janvier 2005 Messages : 4 667 Points : 8 715 Points : 8 715	Bonjour, Pour faire plus clair, les curseurs, c'est de la grosse m... C'est ce que je démontre ici. Donc quand vous écrivez de code SQL, et dans notre cas T-SQL, oubliez toute logique ligne-à-ligne comme on le fait dans les langages non déclaratifs. Traitez les données dans leur ensemble : SQL est conçu pour cela. Si vous ne voyez pas comment faire, postez le code de votre curseur @++ __________________ En bases de données relationnelles SQL, il n'y a ni tableaux, ni enregistrements, ni champs: il y a des tables, des lignes et des colonnes. Blog \| Profil\| Consulter ou télécharger les fichiers d'aide de SQL Server, des versions 2000 à 2012
	00

02/03/2011, 16h40	#20
weebo Candidat au titre de Membre du Club Inscription : février 2011 Messages : 70 Détails du profil Informations forums : Inscription : février 2011 Messages : 70 Points : 13 Points : 13	Encore une question, Pour les réplications, je vois qu'il est possible de filtrer mais apparemment le filtre ne fonctionne que sur la table sélectionnée ! Or je voudrais par exemple faire une réplication de la BDD en fonction d'un id (IdLangue =2) et toutes les données qui en découlent. Or dans mon cas je récupère quand même toutes les données ! sauf dans la table ou j'ai appliqué le filtre ?! Comment faire ?
	00

Outils de la discussion
Afficher une version imprimable Envoyer un lien vers cette page par email