[Talend open studio] Comment extraire les données à partir d'Oracle ?

[aymengomez]

Bonjour ,

J'utilise talend open studio comme ETL, mais je n'arrive pas à comprendre comment extraire les donnés ?

Quelqu'un peu m'aider avec un exemple de réalisation de cette etape ?

[rbillerey]

Bonjour,

Quel source de données voulez vous extraire ? Talend accède à des fichiers, des bases de données ou des fichiers xml. Avez vous consulté le forum sur leur site ? Il y a pas mal d'exemples et la documentation est complète. Je pourrais vous donner plus d'info avec plus d'éléments sur votre problématique ETL.

Bien cordialement

[aymengomez]

merci mon ami, bon les donnee que je veu le extraire et une bese de donnéé oracle

[co2]

Envoyé par aymengomez

merci mon ami, bon les donnee que je veu le extraire et une bese de donnéé oracle

Pour Oracle, il va te falloir installer le module afin d'attaquer Oracle en natif (et non en ODBC).

L'as-tu installé? Pour vérifier cela, regarde dans la vue Module l'état du module DBD::Oracle. Si tu as une croix rouge, lance une ligne de commande et tape

Code :

ppm install DBD-Oracle

attention cela risque de prendre une bonne dizaine de minutes étant données que cela va télécharger la couche cliente Oracle qui pèse 30Mo

---
Cordialement,
Cédric Carbone
Directeur Technique Talend
Skype : cedriccarbone
Mail : ccarbone(a)talend.com

• Téléchargement de Talend Open Studio (ETL Open Source) http://www.talend.com/downloads-talend.htm
• Outils communautaires (Forum, Bugtracker, Wiki, business case sous forme de tutoriels animés...) http://www.talend.com/communities-talend/index.htm

[szoubir]

Bonjour,

Je suis en train de tester Talend. Pour le moment j'essaie de voir comment extraire des données (d'un fichier texte), les transformer et les charger dans un fichier excel.

Mon problème est que je ne sais pas ce qu'il faut faire pour effectuer les transformations. Comment faire?

Merci d'avance

[CONSULTANT_SQLI]

Salut,

A partir du moment où tu veux réaliser des transformations sur les données, il te faut utiliser le composant tMap.

D'après tes explications, ton mapping serait le suivant :

1) un tFileInputDelimited ou un tFileInputPositionnal

2) un tMap

3) un tFileOuputExcel

Dans ton tMap, il te faudra lier chaque colonne source à la colonne cible correspondante et appliquer tes transformations. Celles-ci se codent en Perl.

Je t'invite à aller sur le site Talend à l'adresse suivante : http://www.talend.com/index.htm

Cordialement,

[szoubir]

J'essaie TMap. J'ai trouvé ca dans la documentation aussi mais j'etais pas sur. Merci pour la confirmation

[szoubir]

J'ai un champ tel de mon fichier source qui est de cette forme : 0123456789 et j'aurais voulu dans mon fichier de sortie le tel soit de cette forme : 01.23.45.67.89.

Je fais des tests pour une petite prise en main de l'outil TALEND et j'aurais voulu savoir si c'est possible de faire ce genre de transformation si oui comment?

Merci

[CONSULTANT_SQLI]

Salut,

C'est tout a fait possible de faire cela. Dans un premier temps, il faudrait écrire une routine Perl qui transformerai la chaine 0123456789 en 01.23.45.67.89 et ensuite appeler cette routine dans ton tMap pour le champ sur lequel tu veux appliquer la transformation.

Pour de l'aide sur cette routine, tu peux aller poster un post sur le Forum de Talend, ils sont très réactif.

Cordialement,

[szoubir]

Merci pour la reponse

Est-ce que j'ai besoin du composant TPerl ou je crée uniquement la routine sans ajouter ce composant. je vais essayer de faire ca et ensuite aller dans le forum Talend.

Cordialement

[CONSULTANT_SQLI]

Bonjour,

Le composant Tperl, est un composant qui va te permettre d'écrire des routines Perl, qui auront uniquement des actions sur le système, c'est à dire que c'est un composant qui va être exécuté avant ou après le traitement des données.

L'autre possibilité, je pense, serait de mettre un tPerlRow entre ta source et ta cible et exécuté ta routine pour le champ en question. Dans ce cas là, il exécutera la routine autant de fois que tu as d'enregistrements en source.

Cordialement,

[szoubir]

Salut

Donc si j'ai bien compris si je crée un composant tPerl ou tPerlRow, la routine fonctionnera uniquement dans le job en cours sinon si c'est au niveau du dossier "Routines" dans "Repository" cela concernera tout le projet et je pourrais la reutiliser (meme principe que les variables locales ou variables globales)
Si j'ai bien compris alors ca depend de mon besoin...

Cordialement.

[CONSULTANT_SQLI]

Envoyé par szoubir

Salut

Donc si j'ai bien compris si je crée un composant tPerl ou tPerlRow, la routine fonctionnera uniquement dans le job en cours sinon si c'est au niveau du dossier "Routines" dans "Repository" cela concernera tout le projet et je pourrais la reutiliser (meme principe que les variables locales ou variables globales)
Si j'ai bien compris alors ca depend de mon besoin...

Cordialement.

Il faut juste bien faire la différence entre le tPerl et le tPerlRow.
Tu utiliseras un tPerl pour assigner une variable.
Tu utiliseras un tPerlRow pour réaliser une fonction a appliquer sur les données.

Cordialement,

[szoubir]

Bonjour,

J'ai reussi à faire mes transformations sans avoir à utiliser de tPerl ou tPerlRow.
J'ai crée une routine qui me permet de faire plusieurs transformations. chaque fonction est appelée dans le tMap

Merci encore pour votre aide

[jtaddei]

Bonjour, je suis tout nouveau et j'aimerais que l'on m'aide svp.

En fait j'ai un problème avec Talend lorsque j'exécute un job.(Mon job comporte un objet tmysqlinput vers un tmap vers lui même un toracleinput.) A chaque fois que j'exécute mon projet j'ai une fenêtre qui apparait à lécran en me disant:

"Perl Command Line Interpreter a rencontré un problème et doit fermer. Nous vous prions de nous excuser pour le désagrément encouru."


Merci à ceux qui me répondront

[sounine]

Bonjour, je suis nouveau et j'aimerais que l'on maide svp.

Voila, j'utilise en ce moment le nouveau ETL open source Talend et j'ai deux questions : comment comparer deux tables avec Talend? et comment effectuer une historisation comme le permet Business Objects Data Integrator?

Merci d'avance

[BI-Ali]

Bonjour;
Mon pb à moi est que je veux utiliser Talend pour une récupération de données et je veux contrôler mes transferts de données et afficher un panneau de Contrôle pour les points suivants :
- erreurs de connexion
- erreurs formatage du fichier
- erreurs de non disponibilité des données
- etc...

Estce que quelqu'un pourrait m'orienter dans mon projet.


Merci

Cordialement.

[co2]

Envoyé par BI-Ali

Bonjour;
Mon pb à moi est que je veux utiliser Talend pour une récupération de données et je veux contrôler mes transferts de données et afficher un panneau de Contrôle pour les points suivants :
- erreurs de connexion
- erreurs formatage du fichier
- erreurs de non disponibilité des données
- etc...

Estce que quelqu'un pourrait m'orienter dans mon projet.


Merci

Cordialement.

Bonjour,

Tu peux générer des logs fonctionnels via des composants Talend comme le tWarn et remonter toutes les infos dont tu as besoin. Il existe aussi un logiciel disponible via une souscription annuelle permettant d'avoir une console de monitoring (Activity Monitoring Console) :

---
Cédric Carbone
Blog : http://talend.developpez.com

[BI-Ali]

Bonjour;
I need your help. j'ai à traiter des données via une requête sql; je veux que ma requête soit paramétrée selon une condition. Comment pourrai-je faire pour avoir une requête paramétrée.

Merci d'avance.

[jsd03]

Bonjour,

et bien tu mets dans la requête de ton tOracleInput une requête du type :

Code :

1
2
3
"select *
from employees
where employeeid = 2"

sinon tu peux créer une variable de contexte (voir la FAQ), l'initialiser au début du job ou attribuer une valeur pendant le job et appeler cette variable dans ton tOracleInput :

Code :

1
2
3
"select *
from employees
where employeeid = " + context.empID

(si la variable d'environnement s'appelle empID)