Récupérer le contenu de plusieurs tables (Mysql) et le stocker sous forme de fichier plat.

Bonjour à tous,

je débute avec Talend (TOS) et je vous remercie d'avance pour votre aide.

J’ai une base de données « DataBase » sur mon server MySql. Elle comporte 70 tables au total.
Avec Talend, je cherche à récupérer le contenu de chaque table via une requête (sélect * from tableN) et ensuite de stocker ce contenu dans un fichier(.csv) qui porte le nom de la table en question.
Et recommencer l’opération pour toutes les tables de manière automatique.

j’ai récupéré via le composant tMysqlTableList le nom des tables de ma base que j’ai stocké dans un fichier (.csv) une table de deux colonnes (id et table_name) qui va me servir pour ma fonction java,(tJava).

Dans l’idée, je pensais partir sur un boucle for.
for (int = i; i <= +id ; i++) {
query (« select * from » +table_name + « where id = » +i );
}
Je ne vois pas vraiment comment procéder pour écrire cette fonction pour ensuite la stocker dans un fichier(.csv) :calim2:

Merci de votre aide.

Bonjour,


Avec la version TOS, il ne te sera pas possible de faire un job générique. Tu vas devoir créer 70 traitements TMysqlInput -> tFileOuputDelimited.
Tu créés une métadonnée, et tu récupères le schéma de tes tables. Cela ira plus vite pour le développement.

Pour répondre a la question, si tu veux boucler sur la liste des tables, tu utilises le composant tMysqlTableList suivit du composant tFlowToIterate.
Ce composant transforme un flux main en lien iteration. Tu as donc ta boucle directement sans passer par du code Java.

Pour aller plus loin, si tu avais la version entreprise, tu aurais après le lien iterate un TMysqlInput -> tFileOuputDelimited.
Dans le tMysqlInput il y aurait ta requete paramétrée "select * from " + (string)globalMap.get("nomTable")
Le schema a utiliser serait une seul colonne de type Dynamique. Tu aurais donc 1 job avec 4 composants pour exporter toutes tes tables.

Bonjour emenuet,

Merci de ta réponse très rapide. Merci.
Bon ça confirme un peu ce que je pensais. :?
Oui je me suis rendu compte que la version entreprise pouvait faire le fameux traitement que je cherche à faire et avec une simplicité déroutante. :calim2:

Citation:

---

Pour répondre a la question, si tu veux boucler sur la liste des tables, tu utilises le composant tMysqlTableList suivit du composant tFlowToIterate.
Ce composant transforme un flux main en lien itération. Tu as donc ta boucle directement sans passer par du code Java.

---

On ne peut pas utiliser le composant tMysqlTableList suivit de tFlowToIterate directement. Car comme tu le décris dans ton explication, tFlowToIterate va "transformer un flux main en itération" et le composant tMysqlTableList envoie en sortie un lien d'itération, si je ne me trompe pas. ;)

Dans mon job, j'ai utilisé tIterateToFlow, il m'a permis d'utiliser les données récupérées du composant tMysqlTableList.
"tMysqlConnection -> tMysqlTableList -> tIterateToFlow -> tMap (j'ajoute une colonne id auto-généré) -> tFileInputDelimited"