Architecture applicative autour de Talend

Bonjour,

Je ne suis pas certain que le terme Architecture applicative soit le bon en fait...

Ma question porte sur tout ce qui peut être mis en place autour de traitements applicatifs Talend dans le but de faciliter la mise en œuvre de ceux-ci.

Voici des exemples que j'ai utilisés sur d'autres ETL :

- Gestion des logs : Récupération de messages générés lors de l'exécution des traitements pour les traiter.
- Gestion des rejets : Récupération des lignes rejetées et des codes erreurs générés pour les stocker, voir les retraiter par la suite.
- Mise à jour d'une base de suivi : Mise à jour des tables de suivi des traitements pour indiquer d'un traitement a démarré, s'est terminé en indiquant le code retour.
- Récupération de paramètres globaux au projet : Passer automatiquement à un traitement des paramètres qui sont globaux au projet (stockés dans un fichier)
- Alimentation de paramètres internes : Alimenter automatiquement des paramètres propres à l'exécution du traitement (date d'exécution, identifiant d'exécution, autres données propres au projet)

Chacune de ces fonctions pourrait être codée dans le job applicatif, mais il est donc bien plus intéressant de les intégrer dans une sorte d'enveloppe qui engloberait chaque traitement.
Une fois cette 'enveloppe' mise en place, les développeurs n'ont plus à s'en soucier.

Est-ce que c'est quelque chose que vous avez déjà mis en œuvre, ou vu mettre en œuvre ?
Si oui, par quel moyen ? (dans un shell unix déclenchant les traitements Talend, via des composants Java, ...)

Merci,
Nicolas

Bonjour DevNico,

Il existe des concepts (comme les contexts, les tWarn/tDie/tFlowMeter) dans Talend Open Studio qui te permettent de réaliser une partie des traitements que tu cherches.

Il y a également Talend Integration Suite, qui constitue un ensemble de briques supplémentaires (commerciales) autour de talend qui te permettront de faire du monitoring (Activity Monitoring Console, Dashboard), d'augmenter la maintenance (JobLet), de travailler en équipe (via SVN), d'automatiser tes mises en Prod (scheduler), d'industrialiser ton développement...
Plus d'information à http://fr.talend.com/products-data-i...d-products.php où dans la datasheet attachée à un post précédent :
http://www.developpez.net/forums/d64...d/#post3908517

Bonjour Cédric,

Merci pour ces pistes, je vais y jeter un coup d'œil.

Nous n'utiliserons pas TIS dans un premier temps (pour des raisons de coûts).
Peut-être que cela changera dans le temps...

Sinon personne n'aurait un retour d'expérience à nous faire sur la mise en place de son architecture applicative autours de Talend ?
Il doit bien y avoir un ou deux projets un peu conséquents qui ont investi là dessus ?

Nicolas

Gestion des logs : Récupération de messages générés lors de l'exécution des traitements pour les traiter.
>>géré par un autre logiciel

- Gestion des rejets : Récupération des lignes rejetées et des codes erreurs générés pour les stocker, voir les retraiter par la suite.
>> gérés par les developpeurs

-- Mise à jour d'une base de suivi : Mise à jour des tables de suivi des traitements pour indiquer d'un traitement a démarré, s'est terminé en indiquant le code retour.
>> un sous job appelé en début de job et fin de job pour alimenter un table

- Récupération de paramètres globaux au projet : Passer automatiquement à un traitement des paramètres qui sont globaux au projet (stockés dans un fichier)
>> les contextes sont la pour ça

- Alimentation de paramètres internes : Alimenter automatiquement des paramètres propres à l'exécution du traitement (date d'exécution, identifiant d'exécution, autres données propres au projet)
>> un sous job à appeler

Ca demande du travail pour mettre en place une telle architecture mais TOS est gratuit.