IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Talend Discussion :

[Tutoriel] Utilisation des variables de contexte avec l'ETL Talend Open Studio


Sujet :

Talend

  1. #1
    Expert éminent sénior

    Avatar de Djug
    Homme Profil pro
    Inscrit en
    Mai 2007
    Messages
    2 980
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 37
    Localisation : Algérie

    Informations forums :
    Inscription : Mai 2007
    Messages : 2 980
    Points : 17 970
    Points
    17 970
    Par défaut [Tutoriel] Utilisation des variables de contexte avec l'ETL Talend Open Studio
    Bonjour,

    Mustapha EL HASSAK vous présente un tutoriel intitulé:

    Utilisation des variables de contexte avec l'ETL Talend Open Studio


    Ce tutoriel va nous permettre de comprendre comment utiliser les variables de contexte avec Talend Open Studio puis comment exploiter ces dernières après l'exportation de notre job sous forme de batch.
    Bonne lecture

  2. #2
    Membre du Club
    Inscrit en
    Octobre 2009
    Messages
    45
    Détails du profil
    Informations forums :
    Inscription : Octobre 2009
    Messages : 45
    Points : 53
    Points
    53
    Par défaut
    Bonjour Mustapha,

    Un tutoriel intéressant! Merci pour les explications sur l'utilisation des variables de contexte avec Talend.

    Best,
    JCB.

  3. #3
    Membre émérite
    Avatar de haskouse
    Homme Profil pro
    Salesforce
    Inscrit en
    Août 2009
    Messages
    923
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 37
    Localisation : Maroc

    Informations professionnelles :
    Activité : Salesforce
    Secteur : Conseil

    Informations forums :
    Inscription : Août 2009
    Messages : 923
    Points : 2 684
    Points
    2 684
    Par défaut
    Pas de quoi me remercrier.
    C'est le fruit de ce que j'ai appris sur le forum !!
    "Le savant qui enseigne le bien aux gens et ne le met pas en pratique, est semblable à la torche qui éclaire en se brûlant." Mohammed le Messager d’Allah (que la paix et le salut d'Allah soient sur lui)

    Tutoriels Talend
    Mes articles publiés
    Mon CV en-ligne

  4. #4
    Membre à l'essai
    Inscrit en
    Août 2007
    Messages
    11
    Détails du profil
    Informations forums :
    Inscription : Août 2007
    Messages : 11
    Points : 11
    Points
    11
    Par défaut Context Unique, comment faire ??
    Bonjour;
    Je viens de lire votre Tuto : Utilisation des variables de contexte avec l'ETL Talend Open Studio et je le trouve vraiment bien. J'ai une question, dans mon talend je n'ai pas un seul job comme dans votre Tuto, mais j'ai 20 jobs, y-t-il un moyen d'avoir un seul context global, car modifier les 20 Default.properties générés aprés l'export n'est pas vraiment optimal comme solution.
    Merci par Avance

  5. #5
    Membre expérimenté Avatar de Benoit_Durand
    Profil pro
    Consultant en Business Intelligence Freelance
    Inscrit en
    Mars 2005
    Messages
    861
    Détails du profil
    Informations personnelles :
    Localisation : France, Gironde (Aquitaine)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence Freelance

    Informations forums :
    Inscription : Mars 2005
    Messages : 861
    Points : 1 308
    Points
    1 308
    Par défaut
    Il est possible de charger un fichier de contexte au début des des jobs, soit via le chargement implicit (disponible seulement dans TIS il me semble) soit via un tContextLoad.
    Si vous avez une variable à modifier il faudra le faire uniquement dans ce fichier.

    Est ce que ça répond à votre question ?
    Pensez à la fonction Recherche

  6. #6
    Membre à l'essai
    Homme Profil pro
    Talend
    Inscrit en
    Juillet 2014
    Messages
    12
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Val d'Oise (Île de France)

    Informations professionnelles :
    Activité : Talend
    Secteur : Conseil

    Informations forums :
    Inscription : Juillet 2014
    Messages : 12
    Points : 12
    Points
    12
    Par défaut
    Bonjour Mustapha,

    En fait j'ai fait un job et j'exporte pour que je lance .bat sur une autre machine.
    J'ai défini une variable de context pour le répertoire de sortie sur le quel je mets mes fichiers résultats.
    Est-ce qu'il faut change mes variables de context dans le dossier Default.properties quand je dezip mon job sur le 2eme machine.
    Ou comment faire exactement.

    Merci d'avance

  7. #7
    Membre émérite
    Avatar de haskouse
    Homme Profil pro
    Salesforce
    Inscrit en
    Août 2009
    Messages
    923
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 37
    Localisation : Maroc

    Informations professionnelles :
    Activité : Salesforce
    Secteur : Conseil

    Informations forums :
    Inscription : Août 2009
    Messages : 923
    Points : 2 684
    Points
    2 684
    Par défaut
    Oui exactement, si tu as un seul contexte DEFAULT alors il suffit de modifier la valeur dans le fichier default.properties
    "Le savant qui enseigne le bien aux gens et ne le met pas en pratique, est semblable à la torche qui éclaire en se brûlant." Mohammed le Messager d’Allah (que la paix et le salut d'Allah soient sur lui)

    Tutoriels Talend
    Mes articles publiés
    Mon CV en-ligne

  8. #8
    Membre à l'essai
    Homme Profil pro
    Talend
    Inscrit en
    Juillet 2014
    Messages
    12
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Val d'Oise (Île de France)

    Informations professionnelles :
    Activité : Talend
    Secteur : Conseil

    Informations forums :
    Inscription : Juillet 2014
    Messages : 12
    Points : 12
    Points
    12
    Par défaut
    Citation Envoyé par haskouse Voir le message
    Oui exactement, si tu as un seul contexte DEFAULT alors il suffit de modifier la valeur dans le fichier default.properties
    J'ai changé mais quand je lance l'executable .bat je trouve pas le résultat souhaite
    En fait j'ai une seule variable de context
    sortie: sur le quel je stocke les fichiers genere par mon job
    sur la machine cible j'ai changé le fichier Defaulte.properties avec l'emplacement souhaite mais quand j’exécute le job ca fonctionne (puisque j'ai fait un tlog et elle affiche sur le terminal le resultat mais le fichier n'existe pas.

  9. #9
    Membre à l'essai
    Homme Profil pro
    Talend
    Inscrit en
    Juillet 2014
    Messages
    12
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Val d'Oise (Île de France)

    Informations professionnelles :
    Activité : Talend
    Secteur : Conseil

    Informations forums :
    Inscription : Juillet 2014
    Messages : 12
    Points : 12
    Points
    12
    Par défaut
    C'est moi qui fais n'importe quoi dsl
    Tu as raison il faut juste change le fichier default.proprietes (ou le groupe des variables de context que on a exporte par exemple Production)
    Ma faute est que j'ai un fichier xls en entre je n'est pas mis comme variable de context

  10. #10
    Membre à l'essai
    Inscrit en
    Juillet 2009
    Messages
    19
    Détails du profil
    Informations forums :
    Inscription : Juillet 2009
    Messages : 19
    Points : 12
    Points
    12
    Par défaut contextload et le case sensitive
    est il possible d'utiliser un fichier de paramétre TIS_params.txt (poser sur le serveur)
    et dans se fichier utiliser une variable de type fichier=toto.txt
    mais je voudrais que mon job lise se fichier mais qu'il le lise egalement si le fichier s'appel ToTo.txt ou TOTO.TXT sans tenir compte de la case ?
    est ce possible y a t'il une option pour lui dire de lire la variable "fichier" sans tenir compte de la case?

  11. #11
    Membre habitué
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Janvier 2015
    Messages
    10
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Consultant en Business Intelligence
    Secteur : Conseil

    Informations forums :
    Inscription : Janvier 2015
    Messages : 10
    Points : 155
    Points
    155
    Par défaut
    Bonjour,

    Je souhaite savoir comment on peut poster des tutoriels talend.

    Merci d'avance

  12. #12
    Membre éclairé Avatar de MythOnirie
    Homme Profil pro
    Développeur décisionnel
    Inscrit en
    Juin 2012
    Messages
    376
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Puy de Dôme (Auvergne)

    Informations professionnelles :
    Activité : Développeur décisionnel

    Informations forums :
    Inscription : Juin 2012
    Messages : 376
    Points : 795
    Points
    795
    Par défaut
    Citation Envoyé par lambachri Voir le message
    Bonjour,

    Je souhaite savoir comment on peut poster des tutoriels talend.

    Merci d'avance
    Bonjour,

    La rubrique Contribuez et plus précisément cet article devrait répondre à vos interrogations.

  13. #13
    Membre à l'essai
    Profil pro
    Inscrit en
    Novembre 2003
    Messages
    25
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Novembre 2003
    Messages : 25
    Points : 16
    Points
    16
    Par défaut Pas d'onglet
    Bonjour
    j'ai TOS for data Integration 5.6 en français
    je ne vois pas d'onglet Context dans mon Job ou sur mes composants
    Dans l'onglet "execution" j'ai à droite un tableau Default vide. Pourtant j'ai créé un group de context dans Default.
    J'ai du raté quelque chose. Mais quoi?
    Merci

  14. #14
    Membre éclairé Avatar de MythOnirie
    Homme Profil pro
    Développeur décisionnel
    Inscrit en
    Juin 2012
    Messages
    376
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Puy de Dôme (Auvergne)

    Informations professionnelles :
    Activité : Développeur décisionnel

    Informations forums :
    Inscription : Juin 2012
    Messages : 376
    Points : 795
    Points
    795
    Par défaut
    Citation Envoyé par jeantrucmuche Voir le message
    Bonjour
    j'ai TOS for data Integration 5.6 en français
    je ne vois pas d'onglet Context dans mon Job ou sur mes composants
    Dans l'onglet "execution" j'ai à droite un tableau Default vide. Pourtant j'ai créé un group de context dans Default.
    J'ai du raté quelque chose. Mais quoi?
    Merci
    Bonjour,
    Dans "Fenêtre" -> "Montrer la vue" devrait afficher une petite fenêtre. Tapez "contexts", sélectionnez le seul élément alors disponible et cliquez sur "OK".
    Vous devriez avoir maintenant l'onglet contexts pour votre job.

  15. #15
    Membre à l'essai
    Profil pro
    Inscrit en
    Novembre 2003
    Messages
    25
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Novembre 2003
    Messages : 25
    Points : 16
    Points
    16
    Par défaut
    Citation Envoyé par MythOnirie Voir le message
    Bonjour,
    Dans "Fenêtre" -> "Montrer la vue" devrait afficher une petite fenêtre. Tapez "contexts", sélectionnez le seul élément alors disponible et cliquez sur "OK".
    Vous devriez avoir maintenant l'onglet contexts pour votre job.
    Merci cela ne s'invente pas et j'ai fait l'aide en ligne rien vu là dessus.

    Juste une précision il faut taper context (pas de s à la fin)

  16. #16
    Membre éclairé Avatar de MythOnirie
    Homme Profil pro
    Développeur décisionnel
    Inscrit en
    Juin 2012
    Messages
    376
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Puy de Dôme (Auvergne)

    Informations professionnelles :
    Activité : Développeur décisionnel

    Informations forums :
    Inscription : Juin 2012
    Messages : 376
    Points : 795
    Points
    795
    Par défaut
    Citation Envoyé par jeantrucmuche Voir le message
    Merci cela ne s'invente pas et j'ai fait l'aide en ligne rien vu là dessus. Juste une précision il faut taper context (pas de s à la fin)
    Étant sur la version entreprise en version 5.2.1, il peut y avoir de petites différences. Bonne continuation.

  17. #17
    Candidat au Club
    Femme Profil pro
    Étudiant
    Inscrit en
    Février 2012
    Messages
    2
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Côte d'Or (Bourgogne)

    Informations professionnelles :
    Activité : Étudiant
    Secteur : Industrie

    Informations forums :
    Inscription : Février 2012
    Messages : 2
    Points : 3
    Points
    3
    Par défaut variables de contextes et variables d'environnement
    Bonjour,

    J'ai un traitement traitement.ksh qui lance plusieurs scripts: script.sql et Batch talend.

    j'utilise 2 connexions et un chemin du fichier csv (source) comme contextes.

    Sachant que dans mon traitement talend j’utilise un flux.csv (source) et sur le serveur je dois utiliser le flux.dat que je récupère du traitement script.sql dans le rep de travail $RESULT (on me suggère de créer une var d'env FIC=${RESULT}/flux.dat )

    - les connexions seront des variables d'environnement et les autres variable de contextes dans un fichier.properties dans un rep config.
    - le script talend est standardisé en rajoutant une boucle qui lit les variables d'env comme suit :

    for cmd in $(printenv)
    do
    params="--context_param ${cmd} ${params}"
    done

    java -Xms256M -Xmx1024M -cp ${classpath} [BATCH TALEND A LANCER] --context_param CONTEXT_PROPERTIES=$prop_path/context.properties ${params} "$@"

    Mes questions sont:
    - Comment mettre tous ça en oeuvre sur un serveur Unix ?
    - Est ce que je dois utiliser un tFileInputProperties et un tContextLoad ? dans ce cas comment faire sur le serveur pour fournir le chemin de ce dernier ?
    - comment utiliser le flux.dat au tant que var d'env?
    - comment m'y prendre avec les connexion pour avoir les mêmes noms avec celles des var d'env car si je crée mes connexion et je fait exporter en contexte j'aurai pas les mêmes noms
    - j'ai remarqué en le lançant il se pointe pas sur le fichier context.properties dans le rep config mais il utilise uniquement les contexte généré avec l'export Default.Properties

    Merci par avance, j'espère que vous pourriez déchiffrer mon besoin

    j'attends vos réponses

Discussions similaires

  1. Réponses: 2
    Dernier message: 25/07/2011, 10h36

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo