IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Développement de jobs Discussion :

lecture de flux talend


Sujet :

Développement de jobs

  1. #1
    Futur Membre du Club
    Homme Profil pro
    Chef de projet MOA
    Inscrit en
    Mars 2017
    Messages
    12
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : Chef de projet MOA
    Secteur : Finance

    Informations forums :
    Inscription : Mars 2017
    Messages : 12
    Points : 9
    Points
    9
    Par défaut lecture de flux talend
    Bonjour,

    A nouveau une question sur talend,

    je cherche à lire un flux d'un fichier csv sans en-tête ,et chaque enregistrement est différent je vous donne un exemple de fichier que je veux lire comme ceci

    0;16/03/2017;22:10:10;
    O;PL1702;01/03/2017;AA000222;P;02;MIRABELLE;Sophie;mail@mail.fr;0611223344;;;;;4;RUE HAUTE;;75112;PARIS 112;FRANCE;
    O;PL1701;01/06/2017;AA000333;M;;SA OHMONBATEAU;;mail@ohmonbateau.fr;0101225533;;;;;1;RUE PLAISANCE;; 06400;CANNES;FRANCE;
    O;PL1701;01/03/2017;AA000555;M;;SA OHMONBATEAU2;;mail@ohmonbateau2.fr;0101225533;;;;;1;RUE PLAISANCE;; 06400;CANNES;FRANCE;
    9;00000003;00000000;00000000;

    une idée sur la manière de réaliser cela ?

    Merci beaucoup pour vos conseils à un débutant talend

  2. #2
    Membre éclairé Avatar de MythOnirie
    Homme Profil pro
    Développeur décisionnel
    Inscrit en
    Juin 2012
    Messages
    376
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Puy de Dôme (Auvergne)

    Informations professionnelles :
    Activité : Développeur décisionnel

    Informations forums :
    Inscription : Juin 2012
    Messages : 376
    Points : 795
    Points
    795
    Par défaut
    Bonjour,

    Tout dépend de ce que tu compte faire comme traitement sur tes lignes et tes champs.

  3. #3
    Futur Membre du Club
    Homme Profil pro
    Chef de projet MOA
    Inscrit en
    Mars 2017
    Messages
    12
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : Chef de projet MOA
    Secteur : Finance

    Informations forums :
    Inscription : Mars 2017
    Messages : 12
    Points : 9
    Points
    9
    Par défaut
    Citation Envoyé par MythOnirie Voir le message
    Bonjour,

    Tout dépend de ce que tu compte faire comme traitement sur tes lignes et tes champs.
    Merci d'avoir répondu,

    le but est de prendre ces lignes et faire un insert ou update dans le CRM.

    Merci

  4. #4
    Membre éclairé Avatar de MythOnirie
    Homme Profil pro
    Développeur décisionnel
    Inscrit en
    Juin 2012
    Messages
    376
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Puy de Dôme (Auvergne)

    Informations professionnelles :
    Activité : Développeur décisionnel

    Informations forums :
    Inscription : Juin 2012
    Messages : 376
    Points : 795
    Points
    795
    Par défaut
    Tous les enregistrements sont différents ou est-ce que il y a des structures précise et tu peux dire : s'il y a 10 champs sur la ligne alors c'est la structure 1 et je sais à quoi correspond chaque champ, s'il y a 7 champs c'est la structure 2 et je sais à quoi correspond chaque champ... ?

  5. #5
    Futur Membre du Club
    Homme Profil pro
    Chef de projet MOA
    Inscrit en
    Mars 2017
    Messages
    12
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : Chef de projet MOA
    Secteur : Finance

    Informations forums :
    Inscription : Mars 2017
    Messages : 12
    Points : 9
    Points
    9
    Par défaut
    Citation Envoyé par MythOnirie Voir le message
    Tous les enregistrements sont différents ou est-ce que il y a des structures précise et tu peux dire : s'il y a 10 champs sur la ligne alors c'est la structure 1 et je sais à quoi correspond chaque champ, s'il y a 7 champs c'est la structure 2 et je sais à quoi correspond chaque champ... ?
    Ce que je comprend de ce fichier y'a des codes pour chaque type de lignecommence par
    1 = 0 entête
    2 = O ->comme ouverture
    3 = F ->comme fermeture
    4 = A ->comme annulation
    5 = 9 ->comme resumé du traitement

    j'apprécie ton aide je commence tout juste sur talend
    Merci

  6. #6
    Membre éclairé Avatar de MythOnirie
    Homme Profil pro
    Développeur décisionnel
    Inscrit en
    Juin 2012
    Messages
    376
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Puy de Dôme (Auvergne)

    Informations professionnelles :
    Activité : Développeur décisionnel

    Informations forums :
    Inscription : Juin 2012
    Messages : 376
    Points : 795
    Points
    795
    Par défaut
    D'accord, c'est déjà un bon début.
    Toute les lignes commençant par O ont la même structure (même nombre de champ, même contenu dans chaque champ...) ?
    Même question pour tous les types de lignes.

  7. #7
    Futur Membre du Club
    Homme Profil pro
    Chef de projet MOA
    Inscrit en
    Mars 2017
    Messages
    12
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : Chef de projet MOA
    Secteur : Finance

    Informations forums :
    Inscription : Mars 2017
    Messages : 12
    Points : 9
    Points
    9
    Par défaut
    Citation Envoyé par MythOnirie Voir le message
    D'accord, c'est déjà un bon début.
    Toute les lignes commençant par O ont la même structure (même nombre de champ, même contenu dans chaque champ...) ?
    Même question pour tous les types de lignes.

    oui c'est exactement ça.

  8. #8
    Nouveau membre du Club
    Homme Profil pro
    Inscrit en
    Mai 2012
    Messages
    17
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : Mai 2012
    Messages : 17
    Points : 25
    Points
    25
    Par défaut
    Bonjour fathi
    Dans ce cas je te propose de faire le tri des lignes en fonction de la valeur du premier champ de ton csv (entête, ouverture, resume...)
    ensuite tu traite chaque type de flux en fonction du schema attendu.
    Ca peut donner un truc de ce genre :

    Nom : 1.png
Affichages : 285
Taille : 11,7 Ko

  9. #9
    Membre éclairé Avatar de MythOnirie
    Homme Profil pro
    Développeur décisionnel
    Inscrit en
    Juin 2012
    Messages
    376
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Puy de Dôme (Auvergne)

    Informations professionnelles :
    Activité : Développeur décisionnel

    Informations forums :
    Inscription : Juin 2012
    Messages : 376
    Points : 795
    Points
    795
    Par défaut
    Le composant tFileInputMSDelimited permet de déclarer plusieurs schémas et d'envoyer chaque schéma sur un traitement spécifique.

  10. #10
    Futur Membre du Club
    Homme Profil pro
    Chef de projet MOA
    Inscrit en
    Mars 2017
    Messages
    12
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : Chef de projet MOA
    Secteur : Finance

    Informations forums :
    Inscription : Mars 2017
    Messages : 12
    Points : 9
    Points
    9
    Par défaut
    Citation Envoyé par MythOnirie Voir le message
    Le composant tFileInputMSDelimited permet de déclarer plusieurs schémas et d'envoyer chaque schéma sur un traitement spécifique.
    wawww!!!! je vous remercie les talendiens je vais essayer de le reproduire malgré mon peu de connaissance sur talend .

    j'aurais juste une question pour ce job une fois que c'est spliter je refais un autre tMap pour l'intégrer dans mon crm?

  11. #11
    Membre éclairé Avatar de MythOnirie
    Homme Profil pro
    Développeur décisionnel
    Inscrit en
    Juin 2012
    Messages
    376
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Puy de Dôme (Auvergne)

    Informations professionnelles :
    Activité : Développeur décisionnel

    Informations forums :
    Inscription : Juin 2012
    Messages : 376
    Points : 795
    Points
    795
    Par défaut A
    Une fois les flux séparés tu ne peux plus les rassembler. Après, les composant que tu va utiliser vont dépendre des actions que tu dois faire sur les données. Un tMap n'est pas forcément nécessaire.

    Pour mieux progresser, je te propose d'essayer déjà de lire le fichier avec les différents schémas, de vérifier que tu arrive bien à lire ton fichier et ensuite d'essayer de faire ton traitement. Si tu as d'autre question n'hésite pas à revenir.

    En attendant tu peux mettre ce sujet en résolu si tu arrive a faire la lecture de ton fichier.

  12. #12
    Futur Membre du Club
    Homme Profil pro
    Chef de projet MOA
    Inscrit en
    Mars 2017
    Messages
    12
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : Chef de projet MOA
    Secteur : Finance

    Informations forums :
    Inscription : Mars 2017
    Messages : 12
    Points : 9
    Points
    9
    Par défaut
    Citation Envoyé par MythOnirie Voir le message
    Une fois les flux séparés tu ne peux plus les rassembler. Après, les composant que tu va utiliser vont dépendre des actions que tu dois faire sur les données. Un tMap n'est pas forcément nécessaire.

    Pour mieux progresser, je te propose d'essayer déjà de lire le fichier avec les différents schémas, de vérifier que tu arrive bien à lire ton fichier et ensuite d'essayer de faire ton traitement. Si tu as d'autre question n'hésite pas à revenir.

    En attendant tu peux mettre ce sujet en résolu si tu arrive a faire la lecture de ton fichier.
    merci beaucoup

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. [Java][Socket] Pas de lecture de flux
    Par mavina dans le forum Entrée/Sortie
    Réponses: 7
    Dernier message: 20/10/2006, 19h02
  2. [lecteur flux RSS]Problème de lien dans lecture de flux RSS
    Par pistache42 dans le forum Général JavaScript
    Réponses: 1
    Dernier message: 21/09/2006, 14h09
  3. lecture de flux video dans borderLayout.CENTER
    Par Dsphinx dans le forum Multimédia
    Réponses: 5
    Dernier message: 04/08/2006, 17h30
  4. [Audio] Enregistrement et lecture de flux...
    Par remixtech dans le forum Langage
    Réponses: 2
    Dernier message: 29/10/2005, 12h07
  5. Erreur de lecture du flux sous SQLServer
    Par smazaudi dans le forum Bases de données
    Réponses: 4
    Dernier message: 29/03/2005, 14h30

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo