Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #1
    Membre du Club
    Profil pro
    Inscrit en
    mars 2007
    Messages
    154
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : mars 2007
    Messages : 154
    Points : 43
    Points
    43

    Par défaut Charger plusieurs centaines de tables à iso structure

    Bonjour,

    je dois copier toutes les nuits une base de données ORACLE dans un système décisionnel sous PostgreSQL. J'ai environ 800 tables à copier à iso structure :

    table1 (oracle) -> table1 (PostgreSQL)
    table2 (oracle) -> table2 (PostgreSQL)
    ...

    Nous avons talend (version gratuite) que nous utilisons pour récupérer des tables d'autres applications métiers (RH, finance etc.) mais il faut développer les jobs un par un et définir les schémas sources et cibles. En cas de modification de la source, il faut repasser sur tous les jobs.

    Est ce qu'il y a un moyen de générer les jobs automatiquement avec Talend (hors version payante) ou alors existe-t-il une autre alternative open source à Talend pour faire ça ? une autre méthode ? Je ne veux pas passer 1 mois à créer des jobs identiques pour charger mes 800 tables.

    Merci pour votre aide.

  2. #2
    Modérateur

    Homme Profil pro
    Consultant Teradata
    Inscrit en
    septembre 2008
    Messages
    7 701
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 41
    Localisation : France, Val de Marne (Île de France)

    Informations professionnelles :
    Activité : Consultant Teradata

    Informations forums :
    Inscription : septembre 2008
    Messages : 7 701
    Points : 16 055
    Points
    16 055

    Par défaut

    Si vos bases ne sont pas trop loin l'une de l'autre en terme de réseau et peuvent se voir, regardez du côté des DB Links.
    Vous pourrez alimenter vos données en SQL (d'un côté ou de l'autre, à vous de voir) directement, et vous pouvez générer dynamiquement ce SQL à l'aide des tables systèmes.

  3. #3
    Membre averti

    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    juillet 2011
    Messages
    134
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Service public

    Informations forums :
    Inscription : juillet 2011
    Messages : 134
    Points : 321
    Points
    321
    Billets dans le blog
    2

    Par défaut

    Je pense que Talend est une très bonne solution pour faire ce genre de traitement, après on ne connais pas le degré de compétences de vos équipes sur Talend, mais avec deux petits jobs vous pouvez faire cette recopie de façon performante.

    Par exemple : Un Job père qui va parcourir la liste des tables que vous voulez recopier dans PostgreSQL, et un job fils que vous pouvez paralléliser afin de charger plusieurs tables en même temps.

    Ensuite, vu que c'est la version gratuite que vous utilisez si c'est sur linux vous pouvez utiliser les crons jobs afin d'automatiser l'exécution de vos jobs chaque nuit, si c'est sur windows vous pouvez utiliser le Task Scheduler.
    Utilisez le bouton pour mettre en valeur la ou les réponses qui vous ont été les plus utiles. Marquez comme si c'est le cas.

    ''Le savoir est la seule matière qui s’accroît lorsqu’on la partage.''
    (Socrate)

Discussions similaires

  1. Charger plusieurs tables SAS dans une librairie
    Par Polmart dans le forum SAS Base
    Réponses: 1
    Dernier message: 11/01/2017, 12h50
  2. VB.NET Access 2010 Charger plusieurs tables
    Par nadong dans le forum ADO.NET
    Réponses: 2
    Dernier message: 17/02/2014, 09h56
  3. Charger plusieurs tables dans une seule
    Par sfmcentre dans le forum PL/SQL
    Réponses: 3
    Dernier message: 14/10/2012, 18h47
  4. Réponses: 2
    Dernier message: 26/04/2006, 16h14
  5. Optimiser MySql pour plusieurs milliers de tables
    Par compu dans le forum Installation
    Réponses: 14
    Dernier message: 02/09/2005, 16h11

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo