IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Alimentation Discussion :

Charger plusieurs centaines de tables à iso structure


Sujet :

Alimentation

  1. #1
    Membre du Club
    Profil pro
    Inscrit en
    Mars 2007
    Messages
    159
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mars 2007
    Messages : 159
    Points : 46
    Points
    46
    Par défaut Charger plusieurs centaines de tables à iso structure
    Bonjour,

    je dois copier toutes les nuits une base de données ORACLE dans un système décisionnel sous PostgreSQL. J'ai environ 800 tables à copier à iso structure :

    table1 (oracle) -> table1 (PostgreSQL)
    table2 (oracle) -> table2 (PostgreSQL)
    ...

    Nous avons talend (version gratuite) que nous utilisons pour récupérer des tables d'autres applications métiers (RH, finance etc.) mais il faut développer les jobs un par un et définir les schémas sources et cibles. En cas de modification de la source, il faut repasser sur tous les jobs.

    Est ce qu'il y a un moyen de générer les jobs automatiquement avec Talend (hors version payante) ou alors existe-t-il une autre alternative open source à Talend pour faire ça ? une autre méthode ? Je ne veux pas passer 1 mois à créer des jobs identiques pour charger mes 800 tables.

    Merci pour votre aide.

  2. #2
    Modérateur
    Avatar de Waldar
    Homme Profil pro
    Customer Success Manager @Vertica
    Inscrit en
    Septembre 2008
    Messages
    8 452
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 46
    Localisation : France, Val de Marne (Île de France)

    Informations professionnelles :
    Activité : Customer Success Manager @Vertica
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Septembre 2008
    Messages : 8 452
    Points : 17 814
    Points
    17 814
    Par défaut
    Si vos bases ne sont pas trop loin l'une de l'autre en terme de réseau et peuvent se voir, regardez du côté des DB Links.
    Vous pourrez alimenter vos données en SQL (d'un côté ou de l'autre, à vous de voir) directement, et vous pouvez générer dynamiquement ce SQL à l'aide des tables systèmes.

  3. #3
    Membre averti

    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Juillet 2011
    Messages
    160
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Service public

    Informations forums :
    Inscription : Juillet 2011
    Messages : 160
    Points : 443
    Points
    443
    Billets dans le blog
    2
    Par défaut
    Je pense que Talend est une très bonne solution pour faire ce genre de traitement, après on ne connais pas le degré de compétences de vos équipes sur Talend, mais avec deux petits jobs vous pouvez faire cette recopie de façon performante.

    Par exemple : Un Job père qui va parcourir la liste des tables que vous voulez recopier dans PostgreSQL, et un job fils que vous pouvez paralléliser afin de charger plusieurs tables en même temps.

    Ensuite, vu que c'est la version gratuite que vous utilisez si c'est sur linux vous pouvez utiliser les crons jobs afin d'automatiser l'exécution de vos jobs chaque nuit, si c'est sur windows vous pouvez utiliser le Task Scheduler.
    Utilisez le bouton pour mettre en valeur la ou les réponses qui vous ont été les plus utiles. Marquez comme si c'est le cas.

    ''Le savoir est la seule matière qui s’accroît lorsqu’on la partage.''
    (Socrate)

Discussions similaires

  1. Charger plusieurs tables SAS dans une librairie
    Par Polmart dans le forum SAS Base
    Réponses: 1
    Dernier message: 11/01/2017, 12h50
  2. VB.NET Access 2010 Charger plusieurs tables
    Par nadong dans le forum ADO.NET
    Réponses: 2
    Dernier message: 17/02/2014, 09h56
  3. Charger plusieurs tables dans une seule
    Par sfmcentre dans le forum PL/SQL
    Réponses: 3
    Dernier message: 14/10/2012, 18h47
  4. Réponses: 2
    Dernier message: 26/04/2006, 16h14
  5. Optimiser MySql pour plusieurs milliers de tables
    Par compu dans le forum Installation
    Réponses: 14
    Dernier message: 02/09/2005, 16h11

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo