IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Développement de jobs Discussion :

Data warehouse avec Talend


Sujet :

Développement de jobs

  1. #1
    Nouveau membre du Club
    Inscrit en
    août 2010
    Messages
    33
    Détails du profil
    Informations forums :
    Inscription : août 2010
    Messages : 33
    Points : 25
    Points
    25
    Par défaut Data warehouse avec Talend
    Bonjour
    Je dois trouver une méthode pour créer un data warehouse automatiquement à partir d'un fichier sql qui crée la base de données postgreSQL
    je ne sais pas par où commencer et comment procéder
    pouvez vous m'aider??
    merci

  2. #2
    Membre régulier
    Homme Profil pro
    Analyste Programmeur
    Inscrit en
    janvier 2008
    Messages
    114
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Congo-Kinshasa

    Informations professionnelles :
    Activité : Analyste Programmeur

    Informations forums :
    Inscription : janvier 2008
    Messages : 114
    Points : 91
    Points
    91
    Par défaut
    Bonjour,

    Il te faut un outils de datawarehouse, telque cognos, mais lui est payant, y'en a plein d'autre, il suffira que tu lui donne en source ta requete sql, et lui se chargera de généré le cube, mais reste un probleme, la coherence!!! donc, faudra faire attention a ta requete!!

  3. #3
    Nouveau Candidat au Club
    Profil pro
    Inscrit en
    octobre 2010
    Messages
    1
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : octobre 2010
    Messages : 1
    Points : 0
    Points
    0
    Par défaut Salut Hakrimi - j'ai une solution qui marche très bien...
    L'ETL DataStudio (www.data.fr) est une solution qui permet de construire dynamiquement des requêtes Sql de type DDL (Data Definition Language), donc les instructions de création des tables et qui permet aussi de créer dynamiquement les requêtes Sql de type DML (Data Manipulation Language).

    Il te suffit de disposer en entrée des données identifiant les tables et les colonnes et de disposer des données à charger. Ces données peuvent être diponibles dans tout format tables, fichiers etc. Le traitement lit ces données sources et génère à la volée et exécute les scripts de création des objets de la base ainsi que les requêtes insert qui chargent les données.

    La solution est gratuite dans un certain mode d'utilisation. Si tu n'es pas obligé d'utiliser Talend, tu peux essayer cette solution.

    Bonne continuation
    ItFriend

  4. #4
    Nouveau membre du Club
    Inscrit en
    août 2010
    Messages
    33
    Détails du profil
    Informations forums :
    Inscription : août 2010
    Messages : 33
    Points : 25
    Points
    25
    Par défaut
    bjr
    merci pour vos réponses
    mais je suis obligée d'utiliser Talend

  5. #5
    Membre éprouvé
    Homme Profil pro
    Architecte Décisionnel
    Inscrit en
    février 2008
    Messages
    864
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 46
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Architecte Décisionnel

    Informations forums :
    Inscription : février 2008
    Messages : 864
    Points : 1 255
    Points
    1 255
    Par défaut
    Bonjour,

    Pourrais-tu préciser ce que tu veux faire ?

    Est-ce que ta question concerne juste la création des tables dont tu connais déjà la structure, ou est-ce que tu dois modéliser toi-même ton datawarehouse ?
    Pourquoi parles-tu d'un fichier sql ? Est-ce que ce fichier existe déjà ?

    Nicolas

  6. #6
    Nouveau membre du Club
    Inscrit en
    août 2010
    Messages
    33
    Détails du profil
    Informations forums :
    Inscription : août 2010
    Messages : 33
    Points : 25
    Points
    25
    Par défaut
    Merci pour votre réponse
    en fait j'ai une plateforme qui génère des application web avec la base de données sous postgresql, moi ce que je veux c'est faire un job Talend qui crée le data warehouse correspondant à cette base de données, et ce job doit marcher non pas pour une seule application mais pour toutes les applications
    pour le fichier sql c'est le fichier qui crée la base de données dans postgres et je peux l'avoir ce fichier ainsi que le fichier orm.xml
    je bloque
    merci pour votre aide

  7. #7
    Membre habitué
    Profil pro
    Consultant informatique
    Inscrit en
    mars 2003
    Messages
    132
    Détails du profil
    Informations personnelles :
    Localisation : France, Nord (Nord Pas de Calais)

    Informations professionnelles :
    Activité : Consultant informatique

    Informations forums :
    Inscription : mars 2003
    Messages : 132
    Points : 199
    Points
    199
    Par défaut
    Si j'ai bien compri ton fichier sql c les create table de ta base source ?
    En pensant que pour chaque application web ces tables ne seront pas exactement les mêmes.
    Si j'ai bien compris tu voudrais pouvoir créer un job qui charge les modèles sources dynamiquement a chaque exécution... si c'est bien ça... Talend sait pas faire.

  8. #8
    Nouveau membre du Club
    Inscrit en
    août 2010
    Messages
    33
    Détails du profil
    Informations forums :
    Inscription : août 2010
    Messages : 33
    Points : 25
    Points
    25
    Par défaut
    oui c bien ça
    alors que pourrais je utiliser pour faire ça??

  9. #9
    Membre régulier
    Profil pro
    Inscrit en
    décembre 2007
    Messages
    93
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : décembre 2007
    Messages : 93
    Points : 110
    Points
    110
    Par défaut
    Heu,

    Datstage EE qui gere les schemas dynamiques:-)
    C'est bien sûr payant (très cher)

    Il y a des rumeurs pour le support des schemas dynamiques dans Talend en 4.1, mais je pense que cela sera sur TIS (payant, mais moins que datastage).

    Bref si tu n'as pas la possibilité de justifier l'aquisition d'un outil d'integration payant, il te reste le bon vieux custom code/scripting.


    boubsy

  10. #10
    Nouveau membre du Club
    Inscrit en
    août 2010
    Messages
    33
    Détails du profil
    Informations forums :
    Inscription : août 2010
    Messages : 33
    Points : 25
    Points
    25
    Par défaut
    bonjour
    merci pour votre réponse
    en fait je suis en stage donc je ne pense pas que je puisse avoir un outil payant, donc apparemment je vais devoir coder comme vous avez dit
    merci

  11. #11
    Nouveau membre du Club
    Inscrit en
    août 2010
    Messages
    33
    Détails du profil
    Informations forums :
    Inscription : août 2010
    Messages : 33
    Points : 25
    Points
    25
    Par défaut
    J'ai pensé à utiliser les fichiers csv au lieu des tables de la base de données, comme ça j'aurai pas besoin des schémas
    qu'est ce que vous en pensez??

  12. #12
    Membre éprouvé
    Homme Profil pro
    Architecte Décisionnel
    Inscrit en
    février 2008
    Messages
    864
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 46
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Architecte Décisionnel

    Informations forums :
    Inscription : février 2008
    Messages : 864
    Points : 1 255
    Points
    1 255
    Par défaut
    Générer automatiquement un schéma de Datawarehouse à partir du schéma de la base de données opérationnelle me semble super compliqué.

    A part si on ne fait que recopier le contenu de chaque table sans modification, le process de définir un datawarehouse nécessite une phase de conception qui est loin d'être évidente.

    Nicolas

  13. #13
    Nouveau membre du Club
    Inscrit en
    août 2010
    Messages
    33
    Détails du profil
    Informations forums :
    Inscription : août 2010
    Messages : 33
    Points : 25
    Points
    25
    Par défaut
    oui les modification ne seront pas énormes, si vous avez une idée dans le cas ou on ne va pas modifier les tables je serai reconnaissante
    merci

  14. #14
    Membre éprouvé
    Homme Profil pro
    Architecte Décisionnel
    Inscrit en
    février 2008
    Messages
    864
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 46
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Architecte Décisionnel

    Informations forums :
    Inscription : février 2008
    Messages : 864
    Points : 1 255
    Points
    1 255
    Par défaut
    Alors à mon avis, il faut juste travailler sur le fichier sql pour le transformer en script de génération des tables du Datawarehouse.

    Dans ce cas, Talend n'est pas utile.

    Il faut retraiter le fichier sql afin d'y apporter les modifications que tu juges nécessaire (modification du nom du shéma, modification du nom des tables, ...).
    Puis générer un fichier de chargement qui ferait du insert select entre les 2 schémas. (il faut que les 2 schéma soient sur la même base)

    C'est d'un outil de modification en masse du fichier dont tu as besoin ici, et non d'un ETL.

    Nicolas

  15. #15
    Membre habitué
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    août 2008
    Messages
    108
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : août 2008
    Messages : 108
    Points : 174
    Points
    174
    Par défaut
    Talend gère effectivement les schémas dynamiques en 4.1. Par contre, cette fonctionnalité n'est disponible qu'à partir de TIS.

    Des opérations sont faisables sur les champs fixés. On peut en effet considérer dans certains cas que les premiers champs de toutes les tables aient toujours le même schéma.

    On spécifierait alors ce genre de schéma :

    -id INTEGER
    -champ1 STRING
    -leReste DYNAMIC

Discussions similaires

  1. Talend Data warehouse Multidimensionnelle
    Par Zagrarni dans le forum Autres outils
    Réponses: 2
    Dernier message: 03/03/2015, 17h46
  2. Compasant data warehouse avec SpagoBI
    Par assemism dans le forum SpagoBI
    Réponses: 0
    Dernier message: 24/07/2013, 11h06
  3. Un Data Warehouse avec Postgres
    Par IMPRO dans le forum PostgreSQL
    Réponses: 0
    Dernier message: 16/12/2012, 12h21
  4. Réponses: 1
    Dernier message: 28/10/2011, 15h38
  5. Réponses: 0
    Dernier message: 17/10/2011, 17h10

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo