Talend: pb de syntaxe pour un tmap

[stefanem78]

Bonjour
Merci de prendre un peu de temps à mon pb.
J'ai un fichier pour lequel je veux faire un check de données
dans ce fichier je voudrais, pour un code identique en colonne 1, vérifier que le nom en colonne 2 est identique
par example
colonne 1 colonne 2
a a
b b
a c
la troisieme ligne est fausse car je n'ai pas la meme valeur en 'colonne 2' pour une valeur 'a' en 'colonne 1'

Merci de votre aide

[haskouse]

Salut,

Pour ce que tu cherches à faire il suffit de rajouter un filtre à la sortie de ton tMap avec le code suivant ( je suppose que tes colonnes sont de types String ) :

Code :

row1.colonneA.equals(row1.colonneB)

Pour rajouter un filtre à la sortie, dans le schéma de sortie de ton tMap tu cliques sur le flêche avec un "plus" en vert.

[stefanem78]

Salut Haskouse,
En fait j'ai oublié de précisé que ma colonne 1 etait du numeric, et la colonne 2 du text
a savoir que la colonne 1 est un code, et la colonne 2 est la desciption du code
Je veux vérifier que j'ai toujours 1 decription unique pour 1 code

[haskouse]

Essai d'être plus clair en donnant un exemple concret.

[stefanem78]

voici mon fichier en entrée
colonne 1 ~ colonne 2
12110 ~ BPDL Contact
12310 ~ BPDL Quartier

je dois toujours avoir pour le code 12110 le libellé BPDL Contact
et pour le code 12310 le libellé BPDL Quartier
Si dans le fichier le job vois autre chose pour le code 12110 il faut rejetter la ligne

[andre94200]

Bonjour,

je ne pense pas que fichier contienne que deux lignes et deux valeurs associées. Aussi est-il judicieux de créer une table de référence (code+"-"+libelle).
dans le fichier sur lequel le traitement est effectué faire la même chose .
mapper ensuite les deux tables.

cordialement

[stefanem78]

effectivement les fichiers ont plusieurs lignes, et le codes + descriptions ne sont jamais les mêmes en fonction des fichiers, cepourquoi je ne peux pas me servir d'une table de reference
sous sql ca aurait ete simple de géré ce cas, mais sous talend je suis un peu perdu

[jnbarthas]

pourquoi pas le faire en SQL dans Talend?
Vous pouvez contrôler les flux dans un tMap (pensez à l'option de rechargement du flux à chaque fois si pas 1 million de lignes).
une jointure inner join pour rejeter les erreur et ça devrait marcher.
C'est quoi votre critère de contrôle SQL?

[stefanem78]

sous sql j'aurais fais un
select distinct colonne 1, count(colonne 2)
from [matable]
group by colonne 1
having count (colonne 2) > 2

[jnbarthas]

j'ai du mal à suivre avec le départ
12110 ~ BPDL Contact
12310 ~ BPDL Quartier

Définissez un schéma à 2 entrées pour cette requête SQL.
Vous pouvez utiliser les variables locales du tMap pour récupérer les valeurs du result set et faire des contrôles supplémentaires si nécessaire (après jointure avec le flux principal...sur l’élément du select distinct) pour valider enfin OU NON (critère de filtre ou rejet de jointure) vers le flux de sortie...

Repartir d'un exemple complet d'un bout à l'autre du traitement est plus facile pour valider le principe. Vous pourrez alors peut être aussi voir l'idée (soulevée dans les autres posts) de générer un fichier (ou table) de référence à partir des informations initiales.

Bonne continuation