Fusion de X base de données ayant la même structure

[S_ami]

Bonjour tt le monde,

je travaille sur un projet de BI en utilisant Pentaho, il s'agit en fait de fusionner plusieurs bases de données ayant la même structure en une seule en essayant de récolter le maximum d'information des différentes base de données. je vous donne un exemple:
supposant que j'ai une table personne1 dans la base de donnée 1, et une table aussi appelée personne2 ayant la même structure que celle d'avant dans une base de donnée 2.
le souci ce que je peux avoir par exemple la même personne dans les tables personne1 et personne2 sauf que dans l'une des deux tables les informations sont complète, à titre d'exemple:

personne1:
id |nom |prenom |email |tel |sexe |codePostale
11 |el-bahy |abdess |null |0619992929 |homme |null


personne2:
id |nom |prenom |email |tel |sexe |codePostale
33 |el-bahy |abdess |a.elbahy@gmail.com |null |homme |80000

alors dans ce cas les deux tables sont complémentaire et les deux table seront agrégée en une seule :

id |nom |prenom |email |tel |sexe |codePostale
33 |el-bahy |abdess |a.elbahy@gmail.com | 0619 99 29 29 |homme |80000

je travaille avec PDI(dernière version).

Merci de votre aide

[S_ami]

personne n'a une idée!!

[sdecloix]

Bonjour

Il y a plusieurs solutions pour joindre des données issues de bases de données, par exemple :
* l'étape "Produit cartésien" (dans la section "Jointure lignes")
* l'étape "Jointure Base de données" (dans la section "Recherche")

Dans les 2 il faudra que tu identifies tes conditions de jointure, donc les clées qui permettent d'identifier un enregistrement de façon unique

si je prends ton exemple, on peut sans pb se servir du champ "email" comme clée de jointure

Sylvain - http://www.osbi.fr

[S_ami]

Laissez moi vous expliquer, je ne cherche pas de faire des jointures. plutôt j'essaie d'intégrer deux base de données en une seule, sachant que les deux bases de données contiennent des enregistrement qui peuvent se référer vers le même personne, alors je dois éliminer les duplications et je dois essayer de compléter les champs qui sont nul, comme l'exemple que j'ai donné en haut :

table personne: Base de donnée 1
id |nom |prenom |email |tel |sexe |codePostale
11 |el-bahy |abdess |null |0619992929 |homme |null


table personne: Base de donnée 2
id |nom |prenom |email |tel |sexe |codePostale
33 |el-bahy |abdess |a.elbahy@gmail.com |null |homme |80000

alors dans ce cas les deux enregistrement réfère la même personne, je ne peux pas éliminer l'un deux, parce qu'ils sont complémentaire. mais je dois faire en sorte de les agréger en un seul enregistrement
id |nom |prenom |email |tel |sexe |codePostale
33 |el-bahy |abdess |a.elbahy@gmail.com | 0619 99 29 29 |homme |80000

une jointure en utilisant le champ 'email' ne donnera rien dans ca cas !!!!!


Merci de votre soutien.

[sdecloix]

Dans ce cas il faut plutôt utiliser des étapes de la section "Jointure lignes" :

=> "Comparaison lignes" (Merge Rows diff)
=> "Jointure comparaison lignes" (Merge Join)

Pour mieux comprendre le fonctionnement, regarder les transformations suivantes depuis le répertoire "\samples\transformations" :
=> "Merge Join - Join 2 sorted data sets.ktr"
=> "Merge rows - mergs 2 streams of data and add a flag.ktr"