IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Développement de jobs Discussion :

Transcodage de données


Sujet :

Développement de jobs

  1. #1
    Membre expérimenté
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Avril 2003
    Messages
    1 303
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Service public

    Informations forums :
    Inscription : Avril 2003
    Messages : 1 303
    Points : 1 380
    Points
    1 380
    Par défaut Transcodage de données
    Bonjour,

    j'ai une base de données dont je dois transcoder certaines valeurs. J'utilise une table de transcodage faisant la correspondance entre ces valeurs. J'ai un problème avec la date de naissance (DDN) qui ne doit pas être transcodée mais ne pas être rejetée.
    Base :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    CODE      REPONSE
    A           1
    A           2
    B           3
    DDN       01/01/1960
    DDN       01/01/1962
    Fichier de correspondance :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    nom    REPONSE BASE    valeurDxCare
    A        1                  azerty
    A        2                  qsdf
    DDN      %                    %
    Dans le tMap j'ai mis les clés sur CODE-nom et REPONSE-valeurDxCare (correspondance unique et Left outer join).

    Dans le fichier résultat du tMap j'ai ajouté le code suivant
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    DonneesGeneral != null && DonneesGeneral.CODE != null && DonneesGeneral.REPONSE != null && 
    StringHandling.TRIM(DonneesGeneral.CODE).equalsIgnoreCase(StringHandling.TRIM(TransGeneral.nom)) && 
    StringHandling.TRIM(DonneesGeneral.REPONSE).equalsIgnoreCase(StringHandling.TRIM(TransGeneral.valeurDxCare))
    J'obtiens bien le transcodage de A et le rejet de B mais je n'arrive pas à conserver la date de naissance. Entre-autres parce que la clé ne correspond pas (la base contient la date, le fichier %).

    Je ne vois pas comment faire pour ne pas rejeter la DDN.
    Christophe

    Pensez à mettre quand c'est le cas.

  2. #2
    Membre expérimenté
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Avril 2003
    Messages
    1 303
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Service public

    Informations forums :
    Inscription : Avril 2003
    Messages : 1 303
    Points : 1 380
    Points
    1 380
    Par défaut
    J'ai trouvé une solution de contournement : je récupère les dates de naissance depuis le fichier de rejet et je les ajoute au fichier de résultat.

    Ça ne me plait pas trop et c'est lourd, si quelqu'un a une autre solution, je suis preneur.
    Christophe

    Pensez à mettre quand c'est le cas.

  3. #3
    Futur Membre du Club
    Homme Profil pro
    Consultant informatique
    Inscrit en
    Décembre 2016
    Messages
    9
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Consultant informatique

    Informations forums :
    Inscription : Décembre 2016
    Messages : 9
    Points : 8
    Points
    8
    Par défaut
    Bonjour, je suis nouveau sur un projet de transcodification et d’anonymisation des tables avec la technologie Talend, dans mes règles de gestion ils me demandent de transcodifier les champs qui doivent être anonymiser. Ma question est ce qu’il y a un composant qui nous permet de transcodifier et l’anonymisation ou bien juste sur le tmap ? Je vous remercie

  4. #4
    Membre expérimenté
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Avril 2003
    Messages
    1 303
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Service public

    Informations forums :
    Inscription : Avril 2003
    Messages : 1 303
    Points : 1 380
    Points
    1 380
    Par défaut
    Bonjour,

    je n'ai pas touché à Talend depuis 2015 (date de mon message). Je laisse donc quelqu'un d'autre répondre.
    Christophe

    Pensez à mettre quand c'est le cas.

  5. #5
    Futur Membre du Club
    Homme Profil pro
    Consultant informatique
    Inscrit en
    Décembre 2016
    Messages
    9
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Consultant informatique

    Informations forums :
    Inscription : Décembre 2016
    Messages : 9
    Points : 8
    Points
    8
    Par défaut
    bonjour, c'est pas grave juste que je suis nouveau sur talend et sur ce projet de transcodification, je vous remercie !!

  6. #6
    Membre habitué
    Homme Profil pro
    Développeur décisionnel
    Inscrit en
    Septembre 2013
    Messages
    30
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur décisionnel
    Secteur : Conseil

    Informations forums :
    Inscription : Septembre 2013
    Messages : 30
    Points : 178
    Points
    178
    Par défaut
    bonjour

    je crois avoir répondu a cette question dans une autre partie du forum.
    tentez de regardez le composant "treplace" dans Talend et de voir son fonctionnement.

    quand vous avez un composant sur lequel vosu vous posez des questions, sélectionnez le composants et cliquer sur "F1" pour avoir l'aide sur ce composant.
    Avec un double écran , vous mettez l'aide sr un écran et votre Job sur l'autre. Cela devrait vous aider.

    Bon courage
    Cordialement

  7. #7
    Futur Membre du Club
    Homme Profil pro
    Consultant informatique
    Inscrit en
    Décembre 2016
    Messages
    9
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Consultant informatique

    Informations forums :
    Inscription : Décembre 2016
    Messages : 9
    Points : 8
    Points
    8
    Par défaut
    Bonjour,
    je vous remercie de votre réponse rapide, au faite j'ai essayé d'utiliser "Treplace", avec ce composant on peut remplacer quelques champs, mais dans mes réglés de gestions du projet RGPD, ils me demandent de remplacer tous les valeurs des champs a anonymiser (13 tables) dans 4 bases de données différentes. voila mes relges de gestion :
    -Remplacer la chaine de caractères par 5 caractères générer aléatoirement suivi de la chaine de caractères suivante « historique»
    - Cas de code ISO : Remplacer la chaine de caractère par « FR »
    - Cas de l’email : Remplacer la chaine de caractères email par « archives@archives.com »
    - Cas code IBAN : remplace la chaine de caractère par : « BL679999999999999999999934 »
    a votre avis Treplace il fait le boulot ?
    je remercie encore une fois

Discussions similaires

  1. [Concept] Stabilité d'une base de donnée
    Par lassmust dans le forum Décisions SGBD
    Réponses: 3
    Dernier message: 03/07/2002, 16h16
  2. compression de données du point de vue algorithmique
    Par GoldenEye dans le forum Algorithmes et structures de données
    Réponses: 9
    Dernier message: 26/06/2002, 15h51
  3. [Comparatifs] Limites nombres tables et quantité de données
    Par benj63 dans le forum Décisions SGBD
    Réponses: 7
    Dernier message: 13/06/2002, 21h31
  4. [Kylix] Sauvegarde de donnée utilisateur....
    Par Eclypse dans le forum EDI
    Réponses: 1
    Dernier message: 11/05/2002, 17h21
  5. Comparer des fichiers de données : Quel Langage ?
    Par Anonymous dans le forum Langages de programmation
    Réponses: 6
    Dernier message: 24/04/2002, 22h37

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo