IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Installation, migration et administration Discussion :

Architecture applicative autour de Talend


Sujet :

Installation, migration et administration

  1. #1
    Membre éprouvé
    Homme Profil pro
    Architecte Décisionnel
    Inscrit en
    Février 2008
    Messages
    866
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 48
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Architecte Décisionnel

    Informations forums :
    Inscription : Février 2008
    Messages : 866
    Points : 1 260
    Points
    1 260
    Par défaut Architecture applicative autour de Talend
    Bonjour,

    Je ne suis pas certain que le terme Architecture applicative soit le bon en fait...

    Ma question porte sur tout ce qui peut être mis en place autour de traitements applicatifs Talend dans le but de faciliter la mise en œuvre de ceux-ci.

    Voici des exemples que j'ai utilisés sur d'autres ETL :

    - Gestion des logs : Récupération de messages générés lors de l'exécution des traitements pour les traiter.
    - Gestion des rejets : Récupération des lignes rejetées et des codes erreurs générés pour les stocker, voir les retraiter par la suite.
    - Mise à jour d'une base de suivi : Mise à jour des tables de suivi des traitements pour indiquer d'un traitement a démarré, s'est terminé en indiquant le code retour.
    - Récupération de paramètres globaux au projet : Passer automatiquement à un traitement des paramètres qui sont globaux au projet (stockés dans un fichier)
    - Alimentation de paramètres internes : Alimenter automatiquement des paramètres propres à l'exécution du traitement (date d'exécution, identifiant d'exécution, autres données propres au projet)

    Chacune de ces fonctions pourrait être codée dans le job applicatif, mais il est donc bien plus intéressant de les intégrer dans une sorte d'enveloppe qui engloberait chaque traitement.
    Une fois cette 'enveloppe' mise en place, les développeurs n'ont plus à s'en soucier.

    Est-ce que c'est quelque chose que vous avez déjà mis en œuvre, ou vu mettre en œuvre ?
    Si oui, par quel moyen ? (dans un shell unix déclenchant les traitements Talend, via des composants Java, ...)

    Merci,
    Nicolas

  2. #2
    co2
    co2 est déconnecté
    Membre éclairé
    Avatar de co2
    Profil pro
    Inscrit en
    Mai 2002
    Messages
    182
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mai 2002
    Messages : 182
    Points : 829
    Points
    829
    Par défaut
    Bonjour DevNico,

    Il existe des concepts (comme les contexts, les tWarn/tDie/tFlowMeter) dans Talend Open Studio qui te permettent de réaliser une partie des traitements que tu cherches.

    Il y a également Talend Integration Suite, qui constitue un ensemble de briques supplémentaires (commerciales) autour de talend qui te permettront de faire du monitoring (Activity Monitoring Console, Dashboard), d'augmenter la maintenance (JobLet), de travailler en équipe (via SVN), d'automatiser tes mises en Prod (scheduler), d'industrialiser ton développement...
    Plus d'information à http://fr.talend.com/products-data-i...d-products.php où dans la datasheet attachée à un post précédent :
    http://www.developpez.net/forums/d64...d/#post3908517
    Cédric Carbone, Talend CTO
    Blog sur Talend, la Business Intelligence et l'intégration de données | Télécharger Talend Open Studio 3.2 / TOP 3.2
    Le forum Talend francophone | anglophone

    Actu : Offre d'emploi Consultants Talend |
    Tu as la réponse à ta question ? Clique sur en bas à gauche de ton message

  3. #3
    Membre éprouvé
    Homme Profil pro
    Architecte Décisionnel
    Inscrit en
    Février 2008
    Messages
    866
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 48
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Architecte Décisionnel

    Informations forums :
    Inscription : Février 2008
    Messages : 866
    Points : 1 260
    Points
    1 260
    Par défaut
    Bonjour Cédric,

    Merci pour ces pistes, je vais y jeter un coup d'œil.

    Nous n'utiliserons pas TIS dans un premier temps (pour des raisons de coûts).
    Peut-être que cela changera dans le temps...

    Sinon personne n'aurait un retour d'expérience à nous faire sur la mise en place de son architecture applicative autours de Talend ?
    Il doit bien y avoir un ou deux projets un peu conséquents qui ont investi là dessus ?

    Nicolas

  4. #4
    Membre expérimenté Avatar de Benoit_Durand
    Profil pro
    Consultant en Business Intelligence Freelance
    Inscrit en
    Mars 2005
    Messages
    861
    Détails du profil
    Informations personnelles :
    Localisation : France, Gironde (Aquitaine)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence Freelance

    Informations forums :
    Inscription : Mars 2005
    Messages : 861
    Points : 1 308
    Points
    1 308
    Par défaut
    Gestion des logs : Récupération de messages générés lors de l'exécution des traitements pour les traiter.
    >>géré par un autre logiciel

    - Gestion des rejets : Récupération des lignes rejetées et des codes erreurs générés pour les stocker, voir les retraiter par la suite.
    >> gérés par les developpeurs

    -- Mise à jour d'une base de suivi : Mise à jour des tables de suivi des traitements pour indiquer d'un traitement a démarré, s'est terminé en indiquant le code retour.
    >> un sous job appelé en début de job et fin de job pour alimenter un table

    - Récupération de paramètres globaux au projet : Passer automatiquement à un traitement des paramètres qui sont globaux au projet (stockés dans un fichier)
    >> les contextes sont la pour ça

    - Alimentation de paramètres internes : Alimenter automatiquement des paramètres propres à l'exécution du traitement (date d'exécution, identifiant d'exécution, autres données propres au projet)
    >> un sous job à appeler

    Ca demande du travail pour mettre en place une telle architecture mais TOS est gratuit.
    Pensez à la fonction Recherche

Discussions similaires

  1. architecture application .net
    Par Hydre dans le forum Général Dotnet
    Réponses: 14
    Dernier message: 26/02/2009, 15h40
  2. [Debutant] Architecture application web
    Par coco21 dans le forum ASP.NET
    Réponses: 2
    Dernier message: 15/02/2009, 14h47
  3. Architecture application web
    Par bach58 dans le forum Général Conception Web
    Réponses: 3
    Dernier message: 17/09/2007, 10h26
  4. [EJB3] Architecture application client lourd
    Par kristof_machin dans le forum Java EE
    Réponses: 3
    Dernier message: 19/04/2006, 14h36
  5. [JDBC][ARCHITECTURE] application swing
    Par benssj5 dans le forum JDBC
    Réponses: 6
    Dernier message: 31/08/2004, 20h25

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo