Discussion :

[DevNico]

Bonjour,

Voici ma problématique : je reçois des enregistrements via un flux, et afin d'éviter de traiter des lignes inutilement, je souhaite ne garder que la dernière ligne reçue pour chaque clé de l'enregistrement.

Je me demandais quelle était la mise en oeuvre la plus efficace ?

Des idées ?

Merci,
Nicolas

[Benoit_Durand]

J'ai dû le faire pour certains job, j'ai traité ça dans le sql en entrée :
un row_number() dans mon tMSSQLInput.

Je suis également interessé par les autres solutions proposés...

[DevNico]

J'utilise des fichiers en source, donc pas de filtre possible en entrée.

Pour l'instant, je suis parti sur l'utilisation d'un tAggregateRow, en sortant les champs qui ne font pas partie de la clé avec la fonction 'dernier'.

Mais d'un point de vue perfs, j'ai peur que ça ne soit pas terrible...


Avec Datastage, il suffisait d'envoyer les données dans un hashfile. Au final on avait un fichier avec uniquement les dernières lignes pour chaque clé. Simple, rapide, efficace.
J'ai entendu parler des hashfils sous Talend, mais il parait que leur utilisation n'est pas recommandée...

Nicolas

[boubsy]

Simple,

tUniqRow qui conserve la dernière valeur.
Si tu as des volumes élevés, n'oublis dans l'onglet advance de sélectionner l'option store on disk.

Ca sera plus rapide qu'un bon vieux hashFile ;-)

boubsy

[CyberChouan]

L'équivalent du "HashFile" pour un job Talend pourrait être une HashMap (dans un tJavaFlex).

Le fonctionnement de la HashMap écrase les données doublon avec les dernières clés lues. Du point de vue des performances, c'est dans ce cas précis sans doute plus rapide qu'un tUniqRow.

Attention toutefois : cette solution suppose une volumétrie faible, la totalité du fichier étant stockée en mémoire lors de l'opération.

[DevNico]

Merci pour vos idées.

Je vais tester ces 2 mises en œuvre.

[DevNico]

Simple,

tUniqRow qui conserve la dernière valeur.

Alors à priori le tUniqRow ne convient pas : il a l'air de garder la première valeur, et non la dernière.

[Benoit_Durand]

L'équivalent du "HashFile" pour un job Talend pourrait être une HashMap (dans un tJavaFlex).

Le fonctionnement de la HashMap écrase les données doublon avec les dernières clés lues. Du point de vue des performances, c'est dans ce cas précis sans doute plus rapide qu'un tUniqRow.

Attention toutefois : cette solution suppose une volumétrie faible, la totalité du fichier étant stockée en mémoire lors de l'opération.

Il serait possible de voir un exemple basic de code avec un HashMap SVP ?
C'est ce qui est utilisé par Talend dans les tMap pour gérer les jointures ?

merci

[CyberChouan]

Pour le tMap, je n'ai aucune idée de son fonctionnement interne.

-----

Supposons que :
- le lien d'entrée soit nommé "row1"
- le champ dont on veut garder la dernière valeur uniquement soit "id"

Code du tJavaFlex (begin) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Map maMap = new LinkedHashMap();

Code du tJavaFlex (main) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

maMap.put(row1.id, row1);

Code du tJavaFlex (end) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

globalMap.put("maMap", maMap);

[DevNico]

Pour info, je suis resté sur l'utilisation du tAggregateRow.
Ça a l'air de marcher pas mal même du point de vue perfs. (Mais je reste sur de petites volumétries (quelques dizaines de milliers de lignes).

Nicolas