Discussion :

[remy77]

Bonjour,

Je souhaite supprimer les doublons sur les noms des clients dans une table d'une BDD MySQL et envoyer vers un fichier Excel la liste des clients dont le noms aurait été trouvé en doublons. Pour cela, j'utilise le composant "Dedoublonnage" sur le libelle client puis "filtrage" sur le compteur créé supérieur à 1 : j'obtiens en sortie du flux principal les lignes sans les doublons, et vers un fichier de Rejet Client le resultat du filtre.

Pour récupérer les lignes éliminées du flux, je fais une "Recherche dans BDD" à partir du fichier de Rejet précédent, or j'obtiens seulement 1 ligne sur les 2 doublons (le premier enregistrement trouvé apparemment correspondant à la clé de recherche). En testant en requête SQL, j'obtiens pourtant bien à chaque fois les 2 enregistrements de chaque ligne du fichier de Rejet.

VOIR FICHIER JOINT AVEC COPIE ECRAN DE LA TRANSFORMATION.

Avez-vous une autre solution ?
Merci de votre aide....

[samatar]

Bonjour,

l'étape "Recherche dans BDD" renverra une ligne (pour la clé de recherche spécifiée).
Dans votre cas, utilisez plutôt l'étape ''jointure lignes''

http://wiki.pentaho.com/display/COM/...tion+in+Kettle (Database Join)

Samatar

[remy77]

Au final, je suis obligée d'utiliser le composant "Comparaison triée de lignes" pour comparer mon flux (filtré sans les doublons) avec ma table du départ mais je trouve cela un peu fastidieux...

Autrement, à quoi sert d'utiliser le composant "Recherche dans BDD" : dans le cas où l'on ne souhaite récupérer qu'une seule valeur qlq soit la requête ?

Merci pour ton aide Samatar...toujours là pour rendre service on dirait !

[samatar]

Le composant ''recherche dans BdD" permet d'effectuer une recherche (retourner un enregistrement) suivant des clés de recherche

Ce n'est pas la seule étape de recherche de données.
Suivant les besoins, il y a d'autres étapes.

Sinon pour votre problème, je pense qu'on peut faire plus simple (voir fichier attaché).

Samatar

[remys]

Samatar,

Je viens seulement de voir ta réponse....en fait j'avais trouvé une solution à mon problème, et en comparaison avec ta solution, la mienne permet en plus d'identifier les lignes qui ont été éliminées du flux (fichier rejet client 2) alors que sinon avec un seul filtre comme dans ta solution on n'obtient seulement que les noms en doublons mais pas l'intégralité des enregistrements correspondant dans le flux de départ !

C'est un reproche que je pourrais faire à PDI : pour obtenir ce type de résultat on est obligé de faire beaucoup de manip alors que j'ai vu que dans d'autres logiciels (ex : ETL de SAS) il n'y avait qu'une option à choisir pour obtenir directement les lignes rejettés dans un fichier ( au lieu de faire 2 filtres successifs).

Ci-joint ma transformation en .XML.

NB : Matt Casters t'a cité hier (je n'ai pas bien compris pourquoi) dans une discussion à propos de la disparition du composant "Selection de valeurs" en 3.1 que j'ai finallement retrouvé cf http://forums.pentaho.org/showthread.php?t=70086

[samatar]

OK :-)
En fait Matt a répondu sur le forum car je m'occupe de la traduction (entre autre) de PDI en français (avec une autre personne).
On a changé la dénomination du composant.

En effectuant des traductions non littérale afin de coller le plus possible au sens (plus précisemment aux fonctions des étapes).

A ce propos s'il y a des points que tu souhaites soulever, no pb

Pour ce qui concerne notre point, effectivement il serait pertinent de faciliter la redirection des doublons. Il y a déjà un jira ouvert :

http://jira.pentaho.com/browse/PDI-2349

n'hésites pas à faire une piqure de rappel.

Plus généralement depuis la version 3.2, une étape ''Dédoublonnage de lignes (HashSet)'' est disponible dans la rubrique transformation.
Cette étape contrairement à l'étape ''Dédoublonnage de lignes'' ne nécéssite pas le tri préalable des données :-)




Merci

Samatar