[Talend] Alimentation BDD

[ledu_alexandre]

Bonjour,
Nous cherchons un etl permettant l'alimentation de notre infocentre pour le reporting, pensez-vous que talend peut nous servir à alimenter notre base de données infocentre??

[Kihmé Xs]

vous auriez plus de détails?

[ledu_alexandre]

Merci de votre aide,
Notre besoin est le suivant:
Nous avons une base de donnée plutôt conséquente qui stocke toutes les information provenant des divers applications de notre entreprise, nous désirons extraire ces données non structurées pour créer des tables qui nous serons utiles pour le reporting. Ce que nous aimerions savoir c'est:
Pouvons une fois notre infocentre créé continuer a alimenter les tables et cela automatiquement grâce a une planification par exemple..
croyez que cela soit possible avec cet etl?
Je n'est pas réellement le temps de tester ce produit c'est pour cela que je pose cette question.

Merci encore pour vos informations.

[Kihmé Xs]

vous pourrez faire votre migration des données sans problèmes par contre pour l'automatisation de talend c'est un peu compliqué à ce que j'ai compris mais je peux pas le garentir.

Sinon vous pouvez regarder du côté de Kettle ne l'ayant pas testé je ne peux pas non plus être catégorique mais j'ai entendu parler d'automatisation.

et bien entendu les etl propriétaires...

[helpmemorvan]

Envoyé par ledu_alexandre

Je n'est pas réellement le temps de tester ce produit c'est pour cela que je pose cette question.

talend est un ETL open source si tu n'as pas le temps de mettre les main dans le camboui c'est loin d'être gagné encore que celui ci est plutôt bien documenté(et tu peux toujours passé par une société qui ferait l'installation)

pour ce qui est de l'automatisation très souvent c'est loin d'être évident à mettre en place que ce soit ETL open source ou ETL propriétaire, mais a priori oui un ETL qui ne permet pas une automatisation de ces processus aurait du mal à trouver preneur.

[ledu_alexandre]

Je n'ai pas le temps de les tester comme je le disais précédemment, car c'est dans un cadre professionnel que j'en ai besoin et le temps c'est de l'argent si je devais tester chaque outil du marché avant d'en choisir un j'aurais sans doute beaucoup de mal a honoré les délais de livraison que l'on m'impose... C'est donc pour cela que je m'informe sur ce type de forum car je sais qu'il y a beaucoup de personne bien plus expérimenté que moi qui pourrait me répondre et me faire gagner un temps précieux en me dirigeant vers un outil efficace et pertinent.
(Je sors de l'université et je n'ai quasi pas d'expérience dans ce milieu).

En tout cas merci de vos réponse...
Je pense intégrer quelques jours de test etl dans la planification du projet si je "galère de trop" je ferai sans doute appel a une entreprise externe.
Merci.

[helpmemorvan]

sinon pour une réponse sur à 99.9% sur talend attend que co2 intervienne il passe assez souvent sur le forum il aura certainement des infos a te transmettre.

c'estun Directeur Technique de Talend

[Kihmé Xs]

sinon demande à mathew il boss pour Kettle je crois, tu devrais avoir toutes les réponses que tu veux grâce à ces deux personne

[Benoit_Durand]

Le but d'un ETL est d'alimenter une base (entrepôt) de données à partir de différentes sources et de manière périodique donc je dirai que oui Talend est fait pour ce type de projet.
Avec la version gratuite de Talend va générer un .bat ou .sh que tu devras exécuter pour lancer l'application, pas idéal pour surveiller l'exécution mais pratique à utiliser.

Je n'ai pas le temps de les tester comme je le disais précédemment, car c'est dans un cadre professionnel que j'en ai besoin et le temps c'est de l'argent si je devais tester chaque outil du marché avant d'en choisir un j'aurais sans doute beaucoup de mal a honoré les délais de livraison que l'on m'impose...

Et oui maintenant on a plus le temps pour préparer correctement un projet... Les seuls qui sont contents ce sont les commerciaux X)

[ledu_alexandre]

Merci à vous tous pour vos nombreuses réponses.

[smallet]

Avec Talend tu peux facilement automatiser/planifier l'exécution des jobs quand tu souhaites.
Tu peux exporter un job sous forme de "script". Par exemple si tu as un projet java, le job exporté contient tout ce dont le job a besoin (classes du job, fichiers de paramètres, jar tiers, routines, etc.).
Tu obtiens un .bat et/ou un .sh pour exécuter ce job hors du designer sur n'importe quelle machine pour peu qu'elle dispose d'une JVM (toujours dans le cas d'un projet java).

Ensuite tu peux planifier ce script soit dans un cron (linux ou windows) soit en passant par les tâches planifiées sous windows.
Pour moi c'est très flexible.

[co2]

Envoyé par Kihmé Xs

vous pourrez faire votre migration des données sans problèmes par contre pour l'automatisation de talend c'est un peu compliqué à ce que j'ai compris mais je peux pas le garentir.

Hello Kihmé. Ça m'intéresse fortement de savoir ce que tu trouves compliqué dans l'automatisation de tes jobs avec Talend (c'est un mot qui peut regrouper beaucoup de chose).

Envoyé par smallet

Avec Talend tu peux facilement automatiser/planifier l'exécution des jobs quand tu souhaites.
Tu peux exporter un job sous forme de "script". Par exemple si tu as un projet java, le job exporté contient tout ce dont le job a besoin (classes du job, fichiers de paramètres, jar tiers, routines, etc.).
Tu obtiens un .bat et/ou un .sh pour exécuter ce job hors du designer sur n'importe quelle machine pour peu qu'elle dispose d'une JVM (toujours dans le cas d'un projet java).

Ensuite tu peux planifier ce script soit dans un cron (linux ou windows) soit en passant par les tâches planifiées sous windows.
Pour moi c'est très flexible.

Je rejoins à 100% smallet. Je rajoute juste que cela est disponible dans la licence de base du produit (Talend Open Studio) et qu'un export de tes jobs sous forme de web service est également possible si tu es dans le cas d'une SOA.

Il existe également Talend Integration Suite, ouvert sous forme de souscription payante qui rajoute des briques à Talend Open Studio et un support professionnel. Concernant l'automatisation, on peut noter la possibilité de déployer, exécuter (à la demande ou via un scheduler time ou event based intégré) via une application web (et via le studio dans le cas du distant run). Le déploiement/exécution se fait sur un serveur distant (ou un serveur virtuel dans le cas de partage de charge sur différents serveurs physiques).

Il existe aussi un outil dédié à l'automatisation dans TIS qui s'appelle le commandline. Il permet de lancer des opérations telles que récupération de tous les jobs qui sont en statut "Recette", dont la version est supérieure à "2.3" et dont l'auteur est "co2". Pour chacun des jobs sélectionnés, le commandline peut générer la stucture qu'expliquait smallet. Tout peut bien sur être scripté très facilement. Une liste des commandes est consultable sur le wiki de talendforge à :
http://talendforge.org/wiki/doku.php...line_functions

De plus, j'aurai le plaisir de vous faire un webinar sur le thème de l'industrialisation (et le monitoring) dans le but est de présenter le commandline (et d'autres briques comme le distantrun, loadbalancing automatique des jobs suivant la charge des serveurs, l'Activity Monitoring Console...). Si vous êtes intéressé, envoyez un mail à webinar@talend.com ou contactez moi par MP.


<HS>

Envoyé par helpmemorvan

sinon pour une réponse sur à 99.9% sur talend attend que co2 intervienne il passe assez souvent sur le forum il aura certainement des infos a te transmettre.

c'estun Directeur Technique de Talend

Attention la marge d'erreur dépend de l'heure à laquelle j'écris le post et pour atteindre 99,9% il faut que cela soit dans des conditions optimales
</HS>

-cedric
Mon blog : http://talend.developpez.com

[Kihmé Xs]

Envoyé par co2

Hello Kihmé. Ça m'intéresse fortement de savoir ce que tu trouves compliqué dans l'automatisation de tes jobs avec Talend (c'est un mot qui peut regrouper beaucoup de chose).

Je n'ai pas essayé, je mentionnais simplement les retours que j'avais pu avoir ou compris, je pensais que le formule "à ce que j'ai compris" ferait comprendre ceci. Ceci dit c'est un côté de talend que j'aurais bien aimé tester, mais mon stage se terminant je ne vais pas pouvoir voir ça tout de suite.

J'ai une chose à te demander Co2, j'essais de déployer un job talend dans la suite SpagoBi, mais dans mon portail mon job ne veut pas s'executer, j'ai ouvert un post sur le forum de spagoBi le 31 mars mais je n'ai toujours pas de réponse, tu sais si je peux avoir ce genre de renseignement sur le forum Talend?

[BI-Ali]

Bonjour;
Je travaille actuellement sur un projet BI qui comporte une partie importante d'assainissement de données en provenance d'une structure VSAM. Ma question est la suivante : est ce que Talend peut lire des données de structure VSAM? sinon y a-t-il un autre outils pour le faire? je vous prie de bien vouloir me répondre rapidement car ça urge pour moi.




Cordialement.

[dizzystyle]

Bonjour à vous
je rencontre un souci plus ou moins grave concernant l'éxeution du .bat exporté par Talend de facon plannifiée.
il est tout con en fait le souci, le script du .bat est de la forme :
--------------------------------------------------------------------------
java -Xms256M -Xmx1024M -cp ../lib/javacsv.jar;../lib/mysql-connector-java-5.1.0-bin.jar;../lib/systemRoutines.jar;../lib/userRoutines.jar;.;a_executer_en_premier_0_1.jar;../lib; send_mail.a_executer_en_premier_0_1.A_Executer_en_premier --context=Default %*
--------------------------------------------------------------------------
on remarque que les chemins sont indiqués d'une manière relative, ce qui fait que si jamais on modifie l'emplacement du .bat, il s'égare complètement
et étant donné que le plannificateur de tâches sous windows copie le fichier exécutable à plannifier dans un "dossier particulier" avant de l'executer, celui ci génère logiquement une erreur.
J'aimerai savoir s'il est possible de parametrer le plannificateur de windows pour qu'il prenne en compte mes fichiers ou alors de configurer Talend pour qu'il génère un .bat avec des chemins absolus.
Merci

[cantoine]

Bonjour à tous,

Je crois savoir que ce problème ne se reproduit pas avec le planificateur de tâche Windows de la version 2000, XP, Server2003.

J'observe en effet le même problème avec le planificateur Windows de Vista.

Il existe plusieurs possibilités pour résoudre ce problème, dont la plus simple serait d'avoir un .bat référencé dans le planificateur qui a pour seul effet que de lancer le .bat produit par le Studio.

L'autre solution plus complexe étant comme l'indique DIZZYSTYLE de changer les PATH relatif en absolue.

Bonne journée à vous.

Christophe.

[cantoine]

Envoyé par dizzystyle

Salut, CANTOINE tu pourrais détailler un peu plus ta solution qui consiste à créer un .BAT qui a pour but d' executer le .bat produit par Talend s'il te plait?
Merci

Bonjour dizzystyle,

Si tu écris un .bat que tu spécifieras dans ton Planificateur de tâche Windows, il faut spécifier dans le fichier les lignes suivantes :

//utilisez la commande CD pour se placer dans le répertoire courant du Job
cd C:\jobTest\executionJob
//utilisez la commande de start du process
executionJon_run.bat

Ce fichier .bat que nous nommerons lanceur.bat peut être utilisé dans le planificateur des tâches.