Discussion :

[yaway]

Hello,
j'ai un ensemble de table ayant pour préfixe "col_" que je souhaite utiliser comme "TMysqlInput" pour alimenter une table unique.
Ces tables (input ) ont toutes la même structure, mais le nombre est dynamique, les utilisateurs peuvent en rajouter comme en supprimer.
Existe t'il un moyen de dire à talend, de récupérer toutes les tables ayant ce préfixe, puis de l'intégrer dans ma table de destination ?

[bstevy]

De ce que je vois tu es sous MySQL donc je ne pourrais pas être super précis car je ne connais pas très bien, mais dans l'idée, voici ce qu'il faut faire.

En gros, l'idée est dans une première requête d'aller chercher dans les tables d'administration de MySQL l'ensemble des tables commencant par col_*
Sous oracle, je sais que c'est faisable très facilement, mais je ne saurais pas t'indiquer sous MySQL où aller chercher, désolé.

A partir de là, tu as une liste de table sur laquelle tu peux boucler en passant le nom de la table à un job fils.
Etant donné que tu as la même structure, tu n'as qu'a utilisé le paramètre provenant du job parent dans ta requete d'extraction, et ca devrait bien se passer.

[sebfch]

Salut,
tu peux aussi utiliser le composant tUnite qui te permet de regrouper des éléments ensembles. Ex tInputtable1 et tInputtable 2 -> tUnite -> tOutputtableFinale.
Ensuite tu peux utiliser un tSortRow si tu veux classer tes lignes.

[bstevy]

et comment tu gères ton tUnit avec un nombre de tables variable en entrée ?

[yaway]

Merci pour vos réponses,

@bstevy L'algorithme est clair, c'est ce que j'aurai fait si je n'utilisais pas Talend. Maintenant avec talend quel sera le plus ? Où est ce que je suis censé codé cela ?

@sebfch Comme @bstevy l'a dit est ce que tUnit peut gerer des tables variables ?

[bstevy]

Maintenant avec talend quel sera le plus ?

Très honnetement, je vois de moins en moins l'intéret d'utiliser un ETL, et pourtant, j'ai commencé en étant un fervant defenseur de ces outils.
Dans l'absolue, ton cas ne requière pas d'ETL pour la simple et bonne raison que tu fais un transfert de base à base.
L'interet d'utiliser un ETL réside plus dans le multisourcing et l'hétérogénéité de ces sources, tout en sachant que maintenant, la plus part des SGBD gère parfaitement bien le multisourcing.


Après, pour la mise en place de l'algo, tu vas avoir un job parent qui va appeler un premier job qui va récupéré la liste des tables.
A partir de la, il faut remonter cette liste au parent, et le faire boucler (un tLoop je crois me rappeler) sur un deuxieme job enfant qui récupère le nom d'un table et lance le transfert.

[yaway]

Merci pour vos réponses,
là je suis maintenant plus éclairé.