Discussion :

[Jester]

Je cite ygrim.

Je sais, je sais, si tout le monde pensait comme moi, on est pas pret de voir du BI open source dans les entreprises. Mais pour ma défense je dirais que Open source ou non, ça coute très cher de mettre en plance une solution BI. Et ça prend une certaine maturité des outils pour qu'ils puissent être choisis.

Est ce que vous avez des retours/exemples de solutions open source BI (complètes ou partielles) utilisées en entreprise?

Est-ce que vous trouvez que les solutions open sources sont assez matures?

[Benoit_Durand]

Est ce que vous avez des retours/exemples de solutions open source BI (complètes ou partielles) utilisées en entreprise?

Oui, je ne peux pas citer d'exemples précis. Par exemple Talend commence a être utilisé pour alimenter des entrepôts. Concernant le reporting notamment SpagoBI, à part des protos plus ou moins utilisés je n'ai pas d'autres retours. J'espère que ca va se développer. Tu trouveras également des entrepôts de données gérés par PostgreSQL.

Est-ce que vous trouvez que les solutions open sources sont assez matures?

Talend commence à être correcte mais il y a 6 mois je disais "dans 6 mois il sera très bien" et actuellement je pense encore que dans 6 mois il sera bien ^^. Ireport pour faire du reporting peut très bien faire l'affaire et Mondrian également.
En reporting, le plus dur je pense c'est motiver les utilisateurs. S'ils n'ont jamais vu d'outils BI pourquoi pas, s'ils ont l'habitude de BO ou Cognos c'est foutu ^^.

[uraxyd]

On utilise Talend pour faire des migrations de bdd.

Il est parfait pour ce genre de tache

[ygrim]

Salut,
Je sais pas vous, mais je trouve que talend souffre d'un "monopole de documentation". Si on a un problème on ne peut aller voir que les tuto du site offiel "moyen", le user guide "moyen moyen" ou chercher dans dvp
Hier encore j'aidais un collègue qui avait du mail avec le composant T_FTP pour le transfert de fichier, devant le manque de doc sur le net, il a décidé de coder ça en dur ^^. On la voit bien l'utilité de la solution ETL...
PS: pour ma part, j'aimerais bien encourager les solutions Open Source. Mais tous les livres de Monsieur Kimball sont explicite la dessus : n'innovez JAMAIS dans le choix de la solution, utilisez quelque chose qui a fait ses preuves. Voila le message qu'il passe à ses lecteurs. À tort ou à raison, je vous laisse vous faire votre opinion

[Jester]

En effet, la documentation est le points faible des solution gratuites. Ce qui, s'additionne à une ergonomie réduite.

Il faut souvent aller directement dans les fichiers de configurations pour régler des choses. Souvent dans plusieurs fichiers réparties à des endroits impossibles.

Je suis actuellement en train d'installer une solution spagobi à la main et il est évident que ce n'est pas user friendly avec un long manuel d'installation qui zappe la moitié des étapes importantes (du genre installer spago !). De plus une bonne partie des étapes sont de modifier les fichiers de configuration (passer du mode portlet en mode web) qui auraient pu être faites directement dans la distribution.

Et quand ça ne marche pas, on ne trouve rien de spago dans le log de log4j, car c'est un système de log à part (??) alors bien que chaque classe définit un logger log4j (??). Et bien sur les logs sont en italien en sont très peu informatifs sur ce qui se passe.

La situation est meilleure sur les petits projets, par exemple mondrian qui dispose d'une doc moyen plus, qui logge bien comme il faut (me semble) et qu'au pire on a les sources qui sont assez bien faites (parce que dans l'open source, sans les sources c'est souvent mort). Weka aussi a même une bonne ergonomie et au pire les sources sont bien faites et l'architecture simple.

[ygrim]

Tu installes spago pour un client ??? Qu'est ce qui a justifié leur choix ??? Est ce qu'ils ont pensé que ça couterait moins cher ???? Ou est ce par souci d'innovation ?

La seule fois ou on m'a demandé de regarder du coté Open Source, c'était un responsable informatique qui était CERTAIN que Open Source = pas cher.

[Jester]

Ah non, c'est pour me former à la BI.
J'avais commencé à faire un site J2EE directement à la mano (dashboard, JPivot et weka, talend plus tard), mais je me suis dit qu'apprendre SpagoBi ou Pentaho aurait plus de poids sur mon CV.

Finalement j'hésite car j'avançais peut-être plus vite en faisant tout. En tout cas le résultats est plus attirant et le développement plus intéressant (car finalement dans les deux cas c'est du J2EE).

C'est de plus lassant de perdre du temps sur l'aspect technique au détriment du fonctionnel.

[Aitone]

<Mode HS> Si vous trouvez qu'il n'y a pas assez de docs, écrivez-les et je les publierai

[ygrim]

C'est de plus lassant de perdre du temps sur l'aspect technique au détriment du fonctionnel.

Tu as parfaitement résumé l'affaire !!!!
Les gens ne veulent plus passer plus de temps sur les problèmes techniques que sur les problèmes métier (les vrais problèmes).
D'ailleurs c'est l'argument de vente des solutions payantes : avoir des problèmes techniques est considéré comme une perte de temps ! On en est la !

[co2]

Je vous remet un post que j'ai fait sur un autre thead qui a dérivé sur la meme discussion. http://www.developpez.net/forums/sho...7&postcount=20

Ça a l'air super bon tout ca !

Mais permet moi de rester un peu sur la défensive... Est ce que tu connais des entreprises qui ont implanté des solutions BI Open Source et qui l'utilisent ou est ce que ça reste du domaine estudiantin ?

Je sais, je sais, si tout le monde pensait comme moi, on est pas pret de voir du BI open source dans les entreprises. Mais pour ma défense je dirais que Open source ou non, ça coute très cher de mettre en plance une solution BI. Et ça prend une certaine maturité des outils pour qu'ils puissent être choisis.

Je connais pleins de sociétés qui implémentent des solutions BI Open Source (que cela soit du Talend, du JasperSoft, du SpagoBI, du Birt ou du Pentaho).
Pour Talend, on a des projets en Prod chez la Swissport, CDiscount, Eurofins, SNCF, le groupe Accor (du Talend intégré au sein de SpagoBI), ETAI...
C'est des projets en Production (et non du POC). Pour certains on remplace des plateformes ETL propriétaires leaders comme Eurofins (Sunopsis / Oracle Data Integrator) ou CDiscount (IBM Ascential DatStage).

Je laisse 2 pointeurs :
http://www.toolinux.com/news/service...d_ar10238.html
http://www.vnunet.fr/fr/news/2007/07...viaire-de-sncf
http://www.talend.com/press/Open-Wid...ion-system.php

[co2]

Les gens ne veulent plus passer plus de temps sur les problèmes techniques que sur les problèmes métier (les vrais problèmes).

100% d'accord, le but est d'avoir tous les outils qui permettent de se concentrer sur le metier.Par exemple, dans le cas d'une solution ETL (je travaille chez Talend), on peut faire à la main (= en code maison) n'importe quel job ETL sauf que ca va prendre plus de temps car il faut gérer les aspects techniques (gestion d'erreur, gestion des transactions...).
Je rencontre souvent des clients qui ont fait développé des flux non stratégiques par des développeurs juniors (stagiaires pour la plupart) en code spécifique. Bien sur pas de convention, pas de documentation ou de mise en place de norme... Une gestion d'erreur somaire mise en place. Dès qu'il y avait un probleme, c'était un autre stagiaire qui était en poste et reccupérait le bébé. Il a du redevelopper la moulinette (car ne connaissait pas la techno ou bien ne comprennait pas comment la moulinette etait developpée). Ces clients ont a maintenir des multiples moulinettes qui sont dans des techno variées (Perl, C, shell, python, Java...) ce qui est quasiment impossible. Cette non industrialisation leur coute cher et le manque de qualité induit par ces moulinettes peuvent leur couter encore plus cher. Passer par un ETL avec un mode graphique est bien plus interessant ne serait ce que pour la generation de doc et un support natif de différents aspects technologique (gestion d'erreur, de reprise, ordonancement, mail d'alerte, monitoring...).

D'ailleurs c'est l'argument de vente des solutions payantes : avoir des problèmes techniques est considéré comme une perte de temps ! On en est la !

La je ne suis pas d'accord avec toi, c est l'argument des Solutions/Frameworks (et non une specificité des solutions payantes) d'industrialiser et pouvoir cacher la complexité technologique derriere des assistants ou des IHM évoluées?

Je sais pas vous, mais je trouve que talend souffre d'un "monopole de documentation". Si on a un problème on ne peut aller voir que les tuto du site offiel "moyen", le user guide "moyen moyen" ou chercher dans dvp

On essaye de faire de notre mieux sur ce cote la je suis d'accord avec toi on a encore beaucoup de travail de ce cote (et ce n'est pas fait expres pour vendre notre support payant!).
On a enlevé du userguide la partie sur les composants (description de tous les paramètres des composants + scénario d'utilisation) pour le publier dans un guide de référence (car la le user guide actuel fait 600 pages...)
On a une personne qui est à plein temps pour écrire le user guide en anglais (de Talend Open Studio mais aussi des solutions Talend Integration Suite basées sur de la souscription annuelle payante). On a cependant un énorme retard sur le user guide français (une nouvelle personne à mi-temps est entrain de traduire le userguide anglais en français, ce guide est actuellement en relecture D'ailleurs si certaine personne veulent le relire, je peux vous mettre en relation avec l'équipe documentaire).

On a une charge de 2 personnes sur le forum communautaire sur www.talendforge.org (en langue anglaise). On a en moyenne 30 messages par jour. En debut de semaine on a eu un jour où 80 messages se sont échangés sur le forum de talendforge.

A bientot (enfin dans une semaine car maintenant je suis en congé pour une semaine de ski )

[co2]

@Co2, ton post précédent même ton expérience pourrait être les bienvenus sur http://www.developpez.net/forums/sho...d.php?t=503622 ^^

Merci c'est fait! D'ailleurs je propose qu'on garde ce thread pour discuter sur Palo et que l'on discute dans le thread "L'open source BI et la réalité (http://www.developpez.net/forums/sho...d.php?t=503622)" pour la discussion autour de l'Open Source.

Le but de ces entreprises est de réellement remplacer ces outils ou est ce que Talend vient en complément, pour éviter de payer des licences supplémentaires ou éviter de s'enfermer chez un même éditeur ?

Car redévelopper des centaines de jobs existant en Talend coûte une petite fortune et je vois mal où se trouve le ROI.

Je vais répondre à ta question "remplacer ces outils ou est ce que Talend vient en complément" dans cet autre thread

Tout dépend des projets.

Cas 1: le remplacement
Pour certains, ils désirent basculer d'un ETL à un autre ce qui n'est pas simple, il faut dans certains cas prendre les processus un par un et les redévelopper. On a également des outils pour migrer des métadonnées de certains ETL vers Talend (DB connexions, schema des bases, requetes SQL, format des fichiers...) et on dispose des consultants Talend qui travaillaient avant avec d'autres ETL (Datastage, Informatica, Sunopsis/ODI, Genio...)
Basculer d'un ETL à un autre se justifie par un manque de confiance dans son ETL (par exemple suite à un rachat et au changement de stratégie induit) ou pour baisser des coûts de licences exorbitant (plusieurs centaines de milliers d'euros pour certains)

Cas 2: cohabitation avec une autre plateforme
Apres il faut garder à l'esprit que faire cohabiter 2 ETL peut être une bonne économie. Par exemple, votre machine DataStage installée sur un serveur de 32 CPU double-cores commence à être bien chargée. Le volume de données double presque tous les ans, par contre, une journée cela fait toujours (et fera toujours) 24 heures donc il faut que les batch soient 2 fois plus rapides.
Ce qui se passe c'est rajouter des CPU /RAM sur la machine ETL ce qui est tres couteux (une machine à 32 CPU double core coute beaucoup plus cher que 32 machines à 1 CPU double core) surtout qu'il ne faut pas oublier de repasser par la case licence avec l'editeur propriétaire (qui facture par CPU et par coeur). A la place de cela, on peut laisser les flux existants sur la machine où l'ETL traditionnel fonctionne (sans avoir à augmenter la machine/licence) et développer les nouveaux flux sur une plateforme ETL moins onéreuse et ne nécessitant pas une énorme machine.

Cas 3: remplacement des moulinettes
On désire remplacer les moulinettes développées en code à façon (Perl, Java, script shell, Javascript...) par une plateforme ETL.
Dans ce cas, les gains sont sur la qualité (code maison souvent développé en quick&dirty sans documentation, sans gestion d'erreur...) et sur la productivité (c'est plus rapide de faire un job via une IHM que de développer du code)


A+
Cédric

[Kihmé Xs]

je suis en train de faire un petit guide sur talend pour les bases, vraiment les bases quand il sera finit je vous l'enverrais.

C'est vrais que l'aspect recherche rébute beaucoup, la preuve, je suis stagiaire, on m'a demandé de tester les solutions open source car la personne qui devait le faire n'a pas le temps de se lancer dans ces recherches, alors que moi...

[uraxyd]

je suis en train de faire un petit guide sur talend pour les bases, vraiment les bases quand il sera finit je vous l'enverrais.

C'est vrais que l'aspect recherche rébute beaucoup, la preuve, je suis stagiaire, on m'a demandé de tester les solutions open source car la personne qui devait le faire n'a pas le temps de se lancer dans ces recherches, alors que moi...

au contraire la phase recherche est souvent la plus interessante et enrichissante

[Kihmé Xs]

oui c'est vrai mais les contraintes de temps ne te permettent pas toujours de pouvoir profiter de ça

[uraxyd]

oui c'est vrai mais les contraintes de temps ne te permettent pas toujours de pouvoir profiter de ça

bienvenue dans le monde du travail

[mayce]

bienvenue dans le monde du travail

justement et dans ce monde en plus de dead line serrée, les users reclament des IHM tres conviviales ce qui ne facilite pas l'open source

je suis consultant en BI, j'ai voulu evaluer les outils BI open source pour les entreprises a faible budget pr la BI et franchement je dois avouer que pr s'y retrouver c'est vraiment galère

nous les informaticiens gagneront (si nous voulons rendre la BI open source crédible comme alternative aux solutions payantes) a nous retrousser les manches et a bosser encore un peu plus sur la simplicité d'utilisation et la convivialité

cordialement, mayce

[co2]

je suis en train de faire un petit guide sur talend pour les bases, vraiment les bases quand il sera finit je vous l'enverrais.

As-tu avancé sur ton petit guide? Ca m'intéresse bcp!

On a enlevé du userguide la partie sur les composants (description de tous les paramètres des composants + scénario d'utilisation) pour le publier dans un guide de référence (car la le user guide actuel fait 600 pages...)
On a une personne qui est à plein temps pour écrire le user guide en anglais (de Talend Open Studio mais aussi des solutions Talend Integration Suite basées sur de la souscription annuelle payante). On a cependant un énorme retard sur le user guide français (une nouvelle personne à mi-temps est entrain de traduire le userguide anglais en français, ce guide est actuellement en relecture D'ailleurs si certaine personne veulent le relire, je peux vous mettre en relation avec l'équipe documentaire).

On a une charge de 2 personnes sur le forum communautaire sur www.talendforge.org (en langue anglaise). On a en moyenne 30 messages par jour. En debut de semaine on a eu un jour où 80 messages se sont échangés sur le forum de talendforge.

A bientot (enfin dans une semaine car maintenant je suis en congé pour une semaine de ski )

On a publié à mon retour de congés (le 19 mars dernier) la mise à jour du guide utilisateur de Talend Open Studio en français. http://www.talend.com/resources/documentation.php

Elle tient compte des dernières nouveautés du logiciel et est iso-fonctionnelle à la version anglaise!

Bonne lecture et si vous avez des commentaires pour améliorer cette documentation n'hésitez pas!
A+

[Kihmé Xs]

oui il est fait, j'ai encore des retouches à faire et il sera prêt