problème talend datawarehouse [Résolu]

[chrass]

bonjour tout le monde
c'est ma première participation j’espère que je serais le bienvenue dans ce forum.
voila mon problème :
je veux créer un datawarehouse et pour cela j'ai une table X dans une base de données avec
x.colonne1 et x.colonne2 et x.colonne3 et x.colonne4
les 3 premières colonnes c'est une clé et la quatrième est une valeur,
donc j'ai envi de créer une table de fait avec des identifiants id1 et id2 et id3 et la valeur x.colonne4, et 3 tables de dimensions W,Y,Z avec
W contient le id1 et les valeurs de la colonne1
Y contient le id2 et les valeurs de la colonne2
Z contient le id3 et les valeurs de la colonne3

mes questions sont :
1) Comment je pourrais faire pour remplir en même temps la table de fait et les dimensions en associant les identifiants des dimensions avec ceux de la table de fait
2) je compte déployer un ordonnanceur qui exécute le job chaque jour ,comment éviter les doublons sachant qu'en cas de problème on peut exécuter le job 2 fois par jours?
3 ) je compte garder un historique d'un mois , comment je peux faire pour effacer les données de l'entrepot qui date de plus d'un mois?

merci d'avance

[Croaker]

Tout d'abord bienvenue parmi nous!

Pour ta question concernant l'alimentation simultanée des tables, un schéma de type :

|---> tXXXOutput (table 1)
tXXXInput ---> tMap ---> tXXXOutput (table 2)
|----> tXXXOutput (table 3)

Après Talend ne te sert qu'à remplir les tables, les contraintes se sont au niveau de tes scripts SQL qu'elles doivent se trouver.

Pour moi tu dois :

1. Créer les tables avec un script SQL
2. Les remplir grâce à Talend
3. Appliquer les contraintes sur tes tables en exécutant un second script

Pour la question concernant les doublons, il suffit que tu choisisses dans tes composants tXXXOuput l'option Insert / Update.

En espérant t'avoir aidé, des utilisateurs plus confirmés pourront peut-être t'aiguiller davantage

[chrass]

merci croacker pour ta réponse , c'est gentil de ta part

oui effectivement cette partie je l'ai compris,mais quand je vais remplir les tables dimensions faut que je remplisse la table de fait avec les identifiants des tables dimension comment je peux faire le lien ?

[Benoit_Durand]

Bonjour,
Pour récupérer les clés des tables de dim il est possible de faire une jointure à l'aide d'un tMap par exemple entre la table de staging (flux main) et la table de dimension (lookup).
http://www.talendforge.org/tutorials/menu.php

Méthode plus radicale et plus performante, faire une jointure en sql dans le composant txxxInput.

Cordialement,

[chrass]

merci benoit durand pour ta réponse , mais je n'ai pas trop compris ta solution
voila en PJ les schéma et tu me dis comment je dois faire
j'ai une table TPS sonde et je récupère le libellé du serveur que je l'insère dans la table serveur avec un identifiant auto-incrément
pareil pour la table campagne
maintenant je dois remplir la table de fait avec l'identifiant de serveur et l'identifiant campagne et ajouter la valeur associée

c'est gentil de votre part surtout que je suis en stage et c'est un peu urgent

[Benoit_Durand]

Ah oui il faut faire plusieurs étapes.

Par exemple un job qui va alimenter les 2 tables de dimension et un autre job qui alimentera le table de faits. Il sera ainsi possible dans le second job d'obtenir les clés des dimensions.

S'il faut impérativement tout mettre dan le même (job (je le déconseille), il faut faire 2 flux reliés par un lien OnSubJobOK par exemple.

Je vous conseille de regarder les tutoriaux sur le site de talend http://www.talendforge.org/tutorials/menu.php.
Juste en vous arrêtant 1h pour les consulter vous apprendrez pas mal de choses afin d'avancer plus rapidement pour la suite.

[chrass]

Merci c'est gentil , je pense que je vais faire comme ça , je remplie les table dimension et après faire une jointure avec les tables de dimensions et la table source pour remplir la table de fait

dès que j'aurais fini de faire ça , je mettrais la solution ici avec le détail
j'oublierais pas de mettre "Résolu"
Merci encore à toi