Discussion :

[Jester]

Ca, mon ami, c'est Kettle :-)

Notez qu'à aucun moment, j'ai dit si c'était une meilleure approche ou pas. De 1) j'ai pas assez de recul et de 2) je pense que la meilleure solution est hybride (comme souvent).

Bon je télécharge Kettle et je vais tester un peu. Ca me permettra de comparer mes impressions sur les deux outils et de faire un choix en connaissance de cause.

[VinZent]

Bonjour,

Ayant benchmarké les deux (Kettle et Talend) l'année dernière pour le compte d'un grand groupe d'hotellerie, Kettle a été choisi principalement pour ses performances en environnement Solaris / Oracle, pour la rapidité de sa prise en main et la richesse de la librairie de fonctions.
La proximité et la disponibilité des leaders du projet (dont l'excellent Matt Casters) ont aussi compté dans la balance.
Plus de 50 gigas ont été chargés en alimentation initiale (avec de lourdes transformations jusqu'à des pivots / unpivots) et approx 3 gigas de manière quotidienne, avant transformations et agrégation.
Un feedback complet (qui date d'un an), est disponible ici : http://www.developpez.net/forums/sho...d.php?t=253349

Bien entendu, les deux produits ont évolué et même si Kettle reste mon préféré à titre personnel, les dernières utilisations que j'ai pu faire de Talend démontrent un niveau de maturité important.

Vincent Teyssier
http://open-bi.blogspot.com

[Shiki tono]

Bonjour

Mes collègues et moi même venons juste de terminer, pour un groupe hôtelier ,un gros projet avec Talend.

Nous manipulons un peu moins de 100G quotidiennement !

Nous ne sommes pas encore au niveau du peta octet, mais on ne peut pas dire que ce soit négligeable non plus ! (inutile de vous dire que les machines sont bien dimensionnées !).
Nous utilise actuellement les modes ETL et ELT.

Et justement nous avions évalué au début du projet (il y a quelque mois) Kettle également, mais nous avons finalement décidé de l'écarter pour des raisons d'ergonomie/performance.

Comme quoi...

Ceci étant dit nous avons peut-être fait nos tests de performances après vinzent, et compte tenu de l'extrême évolutivité de Talend cela explique peut-être que nous ne soyons pas arrivé au mêmes conclusions.

[mumuri]

en terme de retour d'expérience , je dirais juste
- essayer d'évaluer les performances de votre script à toutes les étapes du dév pour ne pas être bloqué (les tMap sont très gourmand en particulier)
- faites attention , la lecture/écriture des fichiers XML n'est pas encore aussi générique qu'on le voudrai, on ne peut boucler que sur une donnée pour lire/ecrire des données, ce qui peut être gênant dans des projets ou on génère des fichiers XML intermédiaire complexe

[jsd03]

Voici mon retour d'expérience :

J'ai utilisé TIS en entreprise pour un gros projet. Je le dis tout de suite Talend Integration Suite n'est pas approprié pour un projet qui comprendra plus de 30 jobs et dont plusieurs personnes développent dessus.

- la mise à jour du repository en mode MySQL est HYPER lent, heureusement qu'ils sont passés depuis peu à une mise à jour en mode SVN qui est plus rapide surtout lors d'un ajout/modification de variables de contexte.

- la gestion des projets via une web application java est plutôt jolie.. mais jolie ne rime pas forcement avec éfficacité et je trouve qu'elle prend beaucoup trop de mémoire et de CPU.

- la commandline et le jobserver pour générer et scheduler les scripts des jobs prennent également énormément de ressources et la mise en place des ces deux outils auraient pû être largement simplifié!

- comme l'a dit une autre personne dans ce post, l'interface est plutôt simpa avec les objets qu'on dépose, par contre encore un point négatif, l'interface Eclipse ! très longue à charger et lourde sur un poste client.

- savoir développer en JAVA est, je pense, obligatoire quand on souhaite développer un projet en java.

En conclusion, n'utiliser la version TIS que pour un projet mineur et favoriser la version TOS (gratuite) pour des jobs de tous les jours.

[velvet_underground]

hello

je suis un petit nouveau dans la bande, voici ma question qui fera lieu de self made bizutage
je suis intéressé pour apprendre un outil BI comme Talend avec vous
Seulement voici mes compétences
connaissances de base de Cognos Impromptu (pour avoir remplacé au pied levé un spécialiste de cet outil que j'aime bien par ailleurs)
je n'ai jamais pratiqué du java ni du perl et je suis spécialiste Powerbuilder/VB/Sybase/Oracle/Access
M'est-il quand même possible d'apprendre Talend ? Si oui est-ce la présence d'Eclipse est obligatoire sur le poste (le JDK sans doute)
A plus et muchas gracias

[jemleweb]

hello

je suis un petit nouveau dans la bande, voici ma question qui fera lieu de self made bizutage
je suis intéressé pour apprendre un outil BI comme Talend avec vous
Seulement voici mes compétences
connaissances de base de Cognos Impromptu (pour avoir remplacé au pied levé un spécialiste de cet outil que j'aime bien par ailleurs)
je n'ai jamais pratiqué du java ni du perl et je suis spécialiste Powerbuilder/VB/Sybase/Oracle/Access
M'est-il quand même possible d'apprendre Talend ? Si oui est-ce la présence d'Eclipse est obligatoire sur le poste (le JDK sans doute)
A plus et muchas gracias

Bonjour,

Eclipse n'est pas nécessaire sur le poste.
La JDK oui pour le soft puis pour les projets en Java sinon ajouter Perl (mais l'installation n'est pas simple sous windows ...).

La connaissance de Java ou Perl n'est pas un pré requis pour commencer. Cependant lors de transformation plus élaboré, cela devient vite nécessaire mais on apprend vite sur des choses simples ( concaténation, sous-chaine, conditions, casting des variables,...) et pour utilisation de paramètres et variables produite par les composants ou les contextes.

Pas du tout programmeur de formation , j'ai acquis une certaine maitrise de l'outil en Java et je me suis même essayé à Perl.

Jérémie

[plegall]

Bonjour jsd03,

Déjà merci pour ce retour d'expérience. Même s'il n'est pas très positif sur Talend Integration Suite, il a le mérite de mettre en évidence certaines défaillances auxquelles nous (chez Talend) devons porter notre attention.

- la gestion des projets via une web application java est plutôt jolie.. mais jolie ne rime pas forcement avec éfficacité et je trouve qu'elle prend beaucoup trop de mémoire et de CPU.

Tu évoques bien la nouvelle interface web sortie en 3.0 pour l'administrator ? Elle a été développée en utilisant GWT (Google Web Toolkit). La forte consommation mémoire, c'est côté client ou serveur ? quel ordre de grandeur ?

- la commandline et le jobserver pour générer et scheduler les scripts des jobs prennent également énormément de ressources et la mise en place des ces deux outils auraient pû être largement simplifié!

Nous sommes preneur de conseils sur l'architecture. Toute idée est bonne à prendre !

En conclusion, n'utiliser la version TIS que pour un projet mineur et favoriser la version TOS (gratuite) pour des jobs de tous les jours.

De toute évidence, ce n'est pas notre objectif chez Talend (réserver Talend Integration Suite à des projets mineurs), donc on va s'attacher à étudier les points négatifs que tu évoques.

[jsd03]

Tu évoques bien la nouvelle interface web sortie en 3.0 pour l'administrator ? Elle a été développée en utilisant GWT (Google Web Toolkit). La forte consommation mémoire, c'est côté client ou serveur ? quel ordre de grandeur ?

Oui je parle de l'interface pour l'administrator. Il semble qu'elle prenne beaucoup de mémoire au lancement d'un job et pendant tout le suivit du job. Mais peut être que ça vient aussi plus du jobserver. En tout qu'à lors de l'exéction d'un job les procéssus Java grimpent à 100% de CPU et la mémoire et vite "mangé". D'ailleurs sur la mémoire plus on met de mémoire au serveur et plus java l'utilise et ne rend pas la mémoire ou très peu en fin de job.

[taoufiqENSIAS]

Bonjour,

voilà mon retour,

je développe depuis 2 ans maintenant dans le domaine de décisionnel BO et Open source .

c'est la première fois que j'utilise TalenD, et je suis vraiment satisfait des résultats, c'est vrai que ça deviens un petit peu long quand je dépasse des trentain de jobs , mais en général c'est un très bon ETL.

La force pour moi d'un ETL c'est dans la documentation,TalenD est très riche en documentation, tu peux si tu as de l'expérience dans un autre ETL,dans une journée être familiariser avec cet outil.

la force aussi c'est dans l'interface graphique ,très bien fait,très organisé, surtout le modèle métier c'est très sympa

sympa aussi je peux regarder la partit code java des composant c'est très très bien , une fois j'avais un problème et j'ai pas réussi à le résoudre que quand j'ai lu le code c'est super pratique.

Ohh je voulais laisser tMap à la fin c'est un super magique composant, c'est vraiment quand tu découvre ce composant tu ne peux que l'utiliser dans tous tes jobs.

voilà

Cordialement,

[SAM_92]

Je viens de faire une formation sur Talend, il est vrai que le produit est ergonomique et flexible, mais il est vrais aussi qu'il faut des connaissances dans le langage choisit pour déboguer. j'ai pu aussi tester les performances il s'avère que ce n'est pas adapté à la grande volumétrie (les données sont traités ligne par ligne).

[DevNico]

J'ai pu aussi tester les performances il s'avère que ce n'est pas adapté à la grande volumétrie (les données sont traités ligne par ligne).

C'est un peu vite dit d'après moi.
- D'abord voir ce qu'on appelle une grande volumétrie (Talend gère très bien des traitements sur plusieurs millions de lignes)
- Tous les ETLs traitent les données ligne par ligne. Les ELTs font des traitements ensembliste du fait qu'ils utilisent les moteurs de base de donnée, mais au global je ne pense pas qu'on puisse dire qu'ils sont plus performants que les ETL.

Ceci dit, je suis d'accord sur le fait qu'il faut maîtriser le language (java ou perl) pour pouvoir développer dans de bonnes conditions.

Nicolas

[Tguru]

Je viens de faire une formation sur Talend, il est vrai que le produit est ergonomique et flexible, mais il est vrais aussi qu'il faut des connaissances dans le langage choisit pour déboguer. j'ai pu aussi tester les performances il s'avère que ce n'est pas adapté à la grande volumétrie (les données sont traités ligne par ligne).

Je rejoins Devnico sur la volumétrie

Et Sam_92, ta formation Talend s'est elle bien passée? Je peux te demander à laquelle tu as participé?

Merci!

[jsd03]

+1 pour la volumétrie et surtout si tu as une base Oracle (en même temps j'ai pas essayé sur une autre BDD)... j'ai fais un projet au début on utilisait Talend pour tout faire et maintenant on passe par du PL/SQL pour faire de l'insertion en masse... et du coup au lieu de mettre 12h pour un traitement (et oui on utilise des millions de lignes) on en met plus que 6...

[DevNico]

J'ai fais un projet au début on utilisait Talend pour tout faire et maintenant on passe par du PL/SQL pour faire de l'insertion en masse... et du coup au lieu de mettre 12h pour un traitement (et oui on utilise des millions de lignes) on en met plus que 6...

Est-ce que vous avez essayé les composants ELT de Talend ?
Ils permettent de faire des traitements ensemblistes sans perdre les avantages d'un ETL.

Parce qu'abandonner un ETL pour faire du PL/SQL, c'est un peu dommage quand même...

Nicolas

[jsd03]

Oui mais après on gagne un temps considérable donc...

[DevNico]

Ce que je veux dire, c'est que si vous avez réussi à diviser votre temps d'alimentation par 2 en le recodant en PL/SQL, c'est qu'il était possible de faire quelque chose d'équivalent avec Talend.

[jsd03]

Ou pas . Mais c'est une autre discution Ne nous éloignons pas du droit chemin

[Michael G]

jsd03 tu peux me dire si vous aviez utilisé les composants Bulk ou juste les composants output ?

[jsd03]

On utilisait les composants output car on devait à la fois faire de l'instert, récupérer un id et faire un update derrière. Donc pas évident évident.

Par contre autre chose étonnante : avec une entrée "Main" (BDD) avec 12 millions d'enregistrements et une jointure avec un fichier dans un tMap en faisant un "store on disk" (pour éviter les problèmes de mémoire) et en modifiant les paramètres de la JVM au moment de l'éxécution du job pour prendre 4Go de mémoire, le job plante car il y a trop de données à traiter... A parament il faudrait utiliser les composants ELT plutôt que t[BDD]... donc dans ce cas là pourquoi avec les composants t[BDD] qui ne supportent pas une grosse charge de données.