IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Développement de jobs Discussion :

Intégration temps réel de données avec TALEND


Sujet :

Développement de jobs

  1. #1
    Membre du Club
    Profil pro
    Inscrit en
    juin 2005
    Messages
    179
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : juin 2005
    Messages : 179
    Points : 58
    Points
    58
    Par défaut Intégration temps réel de données avec TALEND
    Bonjour,

    je m'intéresse dans le cadre professionnel à l'intégration de données.

    TALEND semble répondre d'après nos lectures sur Internet à notre besoin et nous envisageons de l'essayer très prochainement comme ETL.

    Pour autant, TOS permet il de réaliser de l'intégration de données en temps réel ?

    En fait, si TALEND est un ETL, peut il faire également office d'EAI ? Si oui, sous quelles versions ? Et si non, connaissez vous d'autres outils libres qui permettraient de réaliser ce type de tâches ?

    Par avance, merci pour votre aide.

  2. #2
    Membre régulier
    Profil pro
    Inscrit en
    décembre 2007
    Messages
    93
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : décembre 2007
    Messages : 93
    Points : 110
    Points
    110
    Par défaut
    Citation Envoyé par sat478 Voir le message
    Bonjour,
    Pour autant, TOS permet il de réaliser de l'intégration de données en temps réel ?
    Les version payantes TIS Team Edition ou RTx (Real Time) seraient plus indiquées.
    Ensuite avec TOS il est toujours possible de bidouiller quelque chose, mais ca sera toujours un peu crado.
    Tout dépend de ton besoin

    En fait, si TALEND est un ETL, peut il faire également office d'EAI ? Si oui, sous quelles versions ? Et si non, connaissez vous d'autres outils libres qui permettraient de réaliser ce type de tâches ?
    Talend peut faire office d'EAI.
    Idem pour le temps réel, les versions payantes sont mieux positionnées.
    Pas d'outil gratuit disponible a ma connaissance qui offre en standard ces fonctionalitées

    boubsy

  3. #3
    Membre du Club
    Profil pro
    Inscrit en
    juin 2005
    Messages
    179
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : juin 2005
    Messages : 179
    Points : 58
    Points
    58
    Par défaut
    Merci beaucoup Boubsy pour ces informations.

    Selon toi est-il possible de tester TOS en tant qu'EAI (avec des performances nécessairement dégradées) puis éventuellement passer ensuite sur les autres versions de TALEND ?

    Nous sommes en effet intéressés pour tester cette solution qui permettrait de répondre à 2 besoins distincts, et ensuite envisager éventuellement un projet complet d'intégration avec les versions pro de TALEND

  4. #4
    Membre régulier
    Profil pro
    Inscrit en
    décembre 2007
    Messages
    93
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : décembre 2007
    Messages : 93
    Points : 110
    Points
    110
    Par défaut
    C'est tout a fait possible.
    C'est notamment l'un des intérêt de leur modèle. Tu peux ainsi prouver par A+B la plus value avant de passer aux versions payantes.

    Ensuite a voir si tu ne gagneras pas plus de temps en commençant directement sur le TIS, mais ca, ca dépend du type de problématique que tu as.

    Le plus simple est peut-être de les contacter directement et de leur exposer ta problématique.

    boubsy

  5. #5
    Membre éprouvé
    Homme Profil pro
    Architecte Décisionnel
    Inscrit en
    février 2008
    Messages
    855
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 46
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Architecte Décisionnel

    Informations forums :
    Inscription : février 2008
    Messages : 855
    Points : 1 238
    Points
    1 238
    Par défaut
    Citation Envoyé par boubsy Voir le message
    Les version payantes TIS Team Edition ou RTx (Real Time) seraient plus indiquées.
    Ensuite avec TOS il est toujours possible de bidouiller quelque chose, mais ca sera toujours un peu crado.
    Tout dépend de ton besoin
    Bonjour,

    On a déjà eu ce genre de discussion sur le forum, et je maintiens ma position : je ne pense pas qu'on puisse dire que du temps réel avec TOS soit moins efficace que du temps réel avec TIS.
    TIS fourni des composants qui simplifient le développement, mais il est tout à fait possible de mettre en place des système très efficaces d'intégration temps réel avec la version TOS. Le développement est juste un peu plus long et nécessite de mettre en place une architecture applicative qui va bien.

    Concernant le passage de la version Gratuite à la version Payante, c'est tout à fait possible et très simple (c'est ce que nous avons fait).
    Mais c'est vrai que du coup les traitements réalisés avec la version payante doivent être repris si vous souhaitez utiliser toutes les possiblités de la version payante (nouveaux composants par exemples).

    Nicolas

  6. #6
    Rédacteur
    Avatar de CyberChouan
    Homme Profil pro
    Directeur technique
    Inscrit en
    janvier 2007
    Messages
    2 752
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Directeur technique
    Secteur : Communication - Médias

    Informations forums :
    Inscription : janvier 2007
    Messages : 2 752
    Points : 4 437
    Points
    4 437
    Par défaut
    Citation Envoyé par DevNico Voir le message
    On a déjà eu ce genre de discussion sur le forum, et je maintiens ma position : je ne pense pas qu'on puisse dire que du temps réel avec TOS soit moins efficace que du temps réel avec TIS.
    Je nuancerais cette position... Tout dépend du besoin, et de l'architecture du SI sur lequel on intervient.

    - Si les données à intégrer en temps réel proviennent de "piles" de type MQ, TOS dispose des fonctionnalités de lecture pour traiter celles-ci.

    - En revanche, si une des problématiques temps réel est de détecter les changements dans une base de données source pour y réagir, TOS risque d'être léger par rapport à TIS (à cause principalement du manque de composants "CDC").

    Certes, le fonctionnement de ces composant peut toujours être "émulé" (triggers, table temporaire, etc.) mais cela nécessite un développement spécifique qui est inutile avec TIS (je suppose que c'est à cela que pense DevNico lorsqu'il parle "d'architecture spécifique" nécessaire avec TOS).

    Enfin, je nuancerais en fonction du débit des données à intégrer. S'il est "faible" (cette mesure étant évidemment à définir), la différence entre TOS et TIS ne sera pas significative.
    En revanche, pour un débit "élevé" (pareil : à définir), TOS peut prendre du retard par rapport au flux de données, là où les composants dédiés de l'édition RTx seraient plus efficaces.
    Avant de poster, pensez à regarder la FAQ, les tutoriaux, la Javadoc (de la JRE que vous utilisez) et à faire une recherche
    Je ne réponds pas aux questions techniques par MP: les forums sont faits pour ça
    Mes articles et tutoriaux & Mon blog informatique

  7. #7
    Membre du Club
    Profil pro
    Inscrit en
    janvier 2005
    Messages
    61
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : janvier 2005
    Messages : 61
    Points : 58
    Points
    58
    Par défaut
    Il n'y a pas de composants spécifiques dans la version RTx (comparée à une autre édition de TIS exceptée la MPx) il y a juste un module en plus qui est le SOAManager (permet d'exposer et monitorer des job en WebService). S'il y a juste cette feature qui vous interesse un TOS + Tomcat peut faire l'affaire...

  8. #8
    Membre régulier
    Profil pro
    Inscrit en
    décembre 2007
    Messages
    93
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : décembre 2007
    Messages : 93
    Points : 110
    Points
    110
    Par défaut
    RTx est effectivement pour du SOA.

    Il n'y pas de composants spécifique, mais un déploiement avancé en webservice.

    Par contre on peut faire des choses impossible dans TOS comme déployer plusieurs job dans un même WSDL et avoir des paramètre "lisibles" au niveau du webservice et pas des --context...

    Alors ensuite on va dire qu'il est toujours possible de créer des webservices qui vont wrapper d'autre webservices TOS AXIS, mais bonjour l'usine a gaz.

    Bref cela permet de faire du temps réel "asynchrone"

    Le seul vrai probleme côté webservice avec Talend (TOS/TIS) c'est qu'on ne contrôle pas vraiment le format d'entrée/sortie du webservice lors de l'exposition. Il y a du mieux avec RTx (paramètres d'entrée), mais les formats complexes ne sont pas exposables directement.

    boubsy

  9. #9
    Rédacteur
    Avatar de CyberChouan
    Homme Profil pro
    Directeur technique
    Inscrit en
    janvier 2007
    Messages
    2 752
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Directeur technique
    Secteur : Communication - Médias

    Informations forums :
    Inscription : janvier 2007
    Messages : 2 752
    Points : 4 437
    Points
    4 437
    Par défaut
    Merci beaucoup Oreste et boubsy pour ces précisions concernant l'édition RTx...

    Je ne l'ai pas essayée et je pensais donc qu'elle embarquait plus de composants dédiés au temps réel. En particulier, je me posais la question des types complexes composés de sous-paramètres élémentaires.

    Effectivement, pour les grosses volumétries et en conservant un temps de traitement rapide, c'est l'édition MPx (et non RTx) qu'il faut utiliser.

    Sinon, pour l'intégration "temps réel" de modifications sur une base source, c'est bien les composants CDC de l'édition TIS qu'il faut utiliser.
    Avant de poster, pensez à regarder la FAQ, les tutoriaux, la Javadoc (de la JRE que vous utilisez) et à faire une recherche
    Je ne réponds pas aux questions techniques par MP: les forums sont faits pour ça
    Mes articles et tutoriaux & Mon blog informatique

Discussions similaires

  1. Réponses: 0
    Dernier message: 08/09/2010, 00h11
  2. traitement temp réel de données port série
    Par lezebulon dans le forum Langages de programmation
    Réponses: 1
    Dernier message: 29/07/2010, 12h13
  3. Intégration temps réel
    Par DevNico dans le forum Développement de jobs
    Réponses: 10
    Dernier message: 22/07/2009, 11h06
  4. Affichage en temps réel des données
    Par oumokhtar dans le forum Shell et commandes GNU
    Réponses: 7
    Dernier message: 25/03/2008, 12h47
  5. Processus de chargement des données (avec talend)
    Par szoubir dans le forum Développement de jobs
    Réponses: 2
    Dernier message: 27/04/2007, 12h17

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo