Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Alimentation Discussion :

Charger plusieurs centaines de tables à iso structure


Sujet :

Alimentation

  1. #1
    Membre du Club
    Charger plusieurs centaines de tables à iso structure
    Bonjour,

    je dois copier toutes les nuits une base de données ORACLE dans un système décisionnel sous PostgreSQL. J'ai environ 800 tables à copier à iso structure :

    table1 (oracle) -> table1 (PostgreSQL)
    table2 (oracle) -> table2 (PostgreSQL)
    ...

    Nous avons talend (version gratuite) que nous utilisons pour récupérer des tables d'autres applications métiers (RH, finance etc.) mais il faut développer les jobs un par un et définir les schémas sources et cibles. En cas de modification de la source, il faut repasser sur tous les jobs.

    Est ce qu'il y a un moyen de générer les jobs automatiquement avec Talend (hors version payante) ou alors existe-t-il une autre alternative open source à Talend pour faire ça ? une autre méthode ? Je ne veux pas passer 1 mois à créer des jobs identiques pour charger mes 800 tables.

    Merci pour votre aide.

  2. #2
    Modérateur

    Si vos bases ne sont pas trop loin l'une de l'autre en terme de réseau et peuvent se voir, regardez du côté des DB Links.
    Vous pourrez alimenter vos données en SQL (d'un côté ou de l'autre, à vous de voir) directement, et vous pouvez générer dynamiquement ce SQL à l'aide des tables systèmes.

  3. #3
    Membre averti
    Je pense que Talend est une très bonne solution pour faire ce genre de traitement, après on ne connais pas le degré de compétences de vos équipes sur Talend, mais avec deux petits jobs vous pouvez faire cette recopie de façon performante.

    Par exemple : Un Job père qui va parcourir la liste des tables que vous voulez recopier dans PostgreSQL, et un job fils que vous pouvez paralléliser afin de charger plusieurs tables en même temps.

    Ensuite, vu que c'est la version gratuite que vous utilisez si c'est sur linux vous pouvez utiliser les crons jobs afin d'automatiser l'exécution de vos jobs chaque nuit, si c'est sur windows vous pouvez utiliser le Task Scheduler.
    Utilisez le bouton pour mettre en valeur la ou les réponses qui vous ont été les plus utiles. Marquez comme si c'est le cas.

    ''Le savoir est la seule matière qui s’accroît lorsqu’on la partage.''
    (Socrate)

###raw>template_hook.ano_emploi###