Lier une table standard avec une table de paramétrage (contenu variable)

**romain.alcaraz** · 24/01/2011, 14h27

Bonjour,

Je suis actuellement sur un projet de reprise d'historique pour une gestion d'archivage. le job sur lequel je dois travailler consiste à générer un fichier csv qui servira au paramétrage d'un logiciel (nouveau logiciel de gestion d'archive).

J'ai un gros problème dans mon job car je dois me baser sur un fichier de paramétrage à croiser avec mon fichier de reprise d'historique.

Je m'explique :
Voici mon fichier de paramétrage (REPRISE.JPG) et mon fichier de paramétrage (PARAM.JPG).

Ma question est simple (et je pense que vous avez compris ce que je veux faire) c'est de récupérer donc les champs correspondant au paramétrage dans la table de reprise (en fonction de ce qui correspond à tel ou tel code_archive).

Est ce possible avec Talend ?

Ne faites pas attention au nombre (c'est aléatoire) c'est juste pour montrer le principe : je dois récupérer du contenu de la même table mais en rapport avec le contenu du paramétrage (qui est en fait le nom des champs à récupérer).

C'est tordu mais bon.

**kisskool45** · 24/01/2011, 15h02

Yes we can !

Je le voie comme ca:

row1 : reprise
row2 : param

Un tMap dans lequel tu fais une jointure

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

row1.CODEARCH.equals(row1.CODEARCH)

et pour chaque champs tu met cet expression :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

row2.param01.equals("CHAMPS1")?row1.CHAMPS1:(row2.param01.equals("CHAMPS2")?row1.CHAMPS2:(row2.param01.equals("CHAMPS3")?row1.CHAMPS3:(etc....)))

Je sais l'instruction peut paraitre barbare mais c'est l'equivalent d'un case when en java.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

(Expr_bool)?Res_true:Res_false

**romain.alcaraz** · 24/01/2011, 15h05

Envoyé par kisskool45

Yes we can !

Je le voie comme ca:

row1 : reprise
row2 : param

Un tMap dans lequel tu fais une jointure

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

row1.CODEARCH.equals(row1.CODEARCH)

et pour chaque champs tu met cet expression :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

row2.param01.equals("CHAMPS1")?row1.CHAMPS1:(row2.param01.equals("CHAMPS2")?row1.CHAMPS2:(row2.param01.equals("CHAMPS3")?row1.CHAMPS3:(etc....)))

Je sais l'instruction peut paraitre barbare mais c'est l'equivalent d'un case when en java.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

(Expr_bool)?Res_true:Res_false

Ouais j'me suisi dis au début que j'allais de voir faire la totale "en dur" mais je pensais qu'il y avait une autre poissibilité.
Le problème c'est que mon fichier de paramétrage va surement changer alors je ne sais pas si cette solution sera la meilleure mais bon.

En partant du principe que mon fichier de reprise sera certainement figé je pourrais faire un truc comme ça...
Faut voir..

En tout cas merci je vais tenter ça. Ça n'empêche pas d'autres idées de la part de quelqu'un d'autre.

**kisskool45** · 24/01/2011, 15h28

Qu'est ce qui risque de changer exactement ?

**romain.alcaraz** · 24/01/2011, 15h31

Envoyé par kisskool45

Qu'est ce qui risque de changer exactement ?

Bah en fait non j'ai dit n'importe quoi à ce sujet là.
Effectivement si je vois ça au plus large c'est à dire une expression de ton style pour tous les champs possible dans mon fichier de reprise : ça marchera très bien.
Mais (car il y a toujours un "mais") j'ai 85 champs dans cette table. Donc la construction de cette expression et surtout la compilation et l'exécution vont être bien lourdes.

**romain.alcaraz** · 24/01/2011, 16h55

Est ce que c'est possible de créer une fonction qui aurait en entrée un chaine )ou autre je ne sais pas bien), qui ferait cette expression ?
en gros qui me rendrait le 'row2.<monchamps>' et qui prendrait en paramètre le nom du champs.
au moins j'économiserai de la saisie.

**kisskool45** · 24/01/2011, 17h30

Oui c possible mais ça te renverrai un String
Ça ne serais pas interprétable en Java.
On ne peut pas avoir de nom de variable variable en java.

Par contre si tu n'est pas allergique au Java j'ai une solution
Tu fais passer ton flow reprise par un tJavaFlex
Ou tu utilise un Object HashMap ou tu y met tous les éléments CHAMPS01,VALEUR
Ton schéma en sorti du TjavaFlex :
map Objet
code_ARCH String

ensuite dans ton tmap tu fera tjrs la jointure avec CODE_ARCH
et tu utilise cet expression :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

(String)((HashMap) map).get(row2.param01)

Tu comprend le principe ?

**romain.alcaraz** · 24/01/2011, 17h42

Envoyé par kisskool45

Oui c possible mais ça te renverrai un String
Ça ne serais pas interprétable en Java.
On ne peut pas avoir de nom de variable variable en java.

Par contre si tu n'est pas allergique au Java j'ai une solution
Tu fais passer ton flow reprise par un tJavaFlex
Ou tu utilise un Object HashMap ou tu y met tous les éléments CHAMPS01,VALEUR
Ton schéma en sorti du TjavaFlex :
map Objet
code_ARCH String

ensuite dans ton tmap tu fera tjrs la jointure avec CODE_ARCH
et tu utilise cet expression :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

(String)((HashMap) map).get(row2.param01)

Tu comprend le principe ?

Ca ne va pas fonctionner : je dois avoir une nouvelle instance de mon objet (de type hashmap) par ligne de mon fichier param.
Cet objet aura pour chaque colonne une association clé/valeur du genre : param1,champs7 ou param4,champs2 etc...

Et puis avec cette méthode je ne vais pas récupérer le contenu du champs de reprise ayant le nom : (String)((HashMap) map).get(row2.param01)
Je vais juste lui donner cette valeur

**kisskool45** · 24/01/2011, 18h01

oui tu aura un HashMap par ligne de reprise et alors ?
Ca va pas exploser ta JVM à moins que tu est des millions de ligne à traiter
Et dans la méthode que je te donne je te dis de faire passer ton ancien fichier dans la HashMap pas ton fichier param

Et puis avec cette méthode je ne vais pas récupérer le contenu du champs de reprise ayant le nom : (String)((HashMap) map).get(row2.param01)
Je vais juste lui donner cette valeur

....
méthode put pour donner la valeur
méthode get pour prendre la valeur
...
la clé est un String....
si la clé est "Champ1" valeur "VALEUR1", "Champ2" valeur "VALEUR2"

(String)((HashMap) map).get(row2.param01) retourne "VALEUR1" si row2.param01="Champ1"
retourne "VALEUR2" si row2.param01="Champ2" etc....

**romain.alcaraz** · 25/01/2011, 09h57

Envoyé par kisskool45

oui tu aura un HashMap par ligne de reprise et alors ?
Ca va pas exploser ta JVM à moins que tu est des millions de ligne à traiter
Et dans la méthode que je te donne je te dis de faire passer ton ancien fichier dans la HashMap pas ton fichier param

....
méthode put pour donner la valeur
méthode get pour prendre la valeur
...
la clé est un String....
si la clé est "Champ1" valeur "VALEUR1", "Champ2" valeur "VALEUR2"

(String)((HashMap) map).get(row2.param01) retourne "VALEUR1" si row2.param01="Champ1"
retourne "VALEUR2" si row2.param01="Champ2" etc....

D'accord j'ai bien saisi.
Par contre si tu pouvais me résumer ce que tu me proposes car j'ai du mal à comprendre le post où tu décris la méthode à utiliser.

En fait c'est surtout que je ne vois aps dans mon tmap comment je vais pouvoir lui faire comprendre de récupérer, non pas le contenu de la variable, mais le champs correspondant au contenu de cette variable (car c'est ça que je cherche).

Merci encore.

**romain.alcaraz** · 26/01/2011, 10h50

Je n'arrive pas à récupérer les valeurs de mon flux dans mon tjavaflex...

**romain.alcaraz** · 26/01/2011, 14h52

Bon j'ai réussi.

Merci pour ton aide c'est parfait. Je n'aurais pas penser faire cela.

**romain.alcaraz** · 27/01/2011, 10h17

Bon, en fait j'ai un autre soucis.

J'ai paramétré mon job pour qu'il puisse récupérer les noms des champs de manière dynamique pour que je n'ai pas à écrire pour chacun des champs :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

map.put("champ",row.champ);

de ce fait j'arrive à récupérer le nom du champs mais malheureusement pas la valeur, j'ai fait comme ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
for (java.lang.reflect.Field field : row1.getClass().getDeclaredFields())  
{      
    if (!field.getName().equalsIgnoreCase("commonByteArrayLock") && !field.getName().equalsIgnoreCase("commonByteArray")) 
    { 
       column = field.getName();
    } 
}

Et donc ma variable column contient bien le nom du champs mais je voudrais récupérer la valeur correspondante pour pouvoir faire un truc du genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

map.put(column,<qqch_recup_val_associe_a_column>);

Un idée ?

**kisskool45** · 27/01/2011, 11h36

alors j'ai reussi a retrouver la valeur depuis un fiels grace à cet source :
- http://download.oracle.com/javase/6/...a.lang.Object)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
FOR (java.lang.reflect.FIELD FIELD : row1.getClass().getDeclaredFields())  
{      
    IF (!FIELD.getName().equalsIgnoreCase("commonByteArrayLock") && !FIELD.getName().equalsIgnoreCase("commonByteArray")) 
    { 
       COLUMN = FIELD.getName();
       VALUE=(String) FIELD.get(row1);
       map.put(COLUMN,VALUE);
    } 
}

**romain.alcaraz** · 27/01/2011, 11h42

Envoyé par kisskool45

alors j'ai reussi a retrouver la valeur depuis un fiels grace à cet source :
- http://download.oracle.com/javase/6/...a.lang.Object)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
FOR (java.lang.reflect.FIELD FIELD : row1.getClass().getDeclaredFields())  
{      
    IF (!FIELD.getName().equalsIgnoreCase("commonByteArrayLock") && !FIELD.getName().equalsIgnoreCase("commonByteArray")) 
    { 
       COLUMN = FIELD.getName();
       VALUE=(String) FIELD.get(row1);
       map.put(COLUMN,VALUE);
    } 
}

Ah merci, tu es mon sauveur !

J'me suis permis de changer un truc : en fait j'en connais un peu en java...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
FOR (java.lang.reflect.FIELD FIELD : row1.getClass().getDeclaredFields())  
{      
    IF (!FIELD.getName().equalsIgnoreCase("commonByteArrayLock") && !FIELD.getName().equalsIgnoreCase("commonByteArray")) 
    { 
       COLUMN = FIELD.getName();
       VALUE=String.valueOf(FIELD.get(row1));
       map.put(COLUMN,VALUE);
    } 
}

**kisskool45** · 27/01/2011, 11h47

bah tu moment que tu est sur du type de ton objet
Le résultat est le même ^^
ça va je gère aussi un peu en java. même si avec talend on y touche beaucoup moins, mais cool de voir qq qui est pas effrayé par qq lignes de codes ^^

**romain.alcaraz** · 27/01/2011, 11h50

Envoyé par kisskool45

bah tu moment que tu est sur du type de ton objet
Le résultat est le même ^^
ça va je gère aussi un peu en java. même si avec talend on y touche beaucoup moins, mais cool de voir qq qui est pas effrayé par qq lignes de codes ^^

Ah bin carrément pas effrayé par java.
Avant j'étais dev java sur un progiciel (en J2EE) et j'aimais bien, là c'est du talend, BDD que je fais mais c'est bien ça me fait du bien de coder de temps en temps.

**kisskool45** · 27/01/2011, 16h02

Du coup je viens de penser à une solution....

mettre tout simplement l'expression :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
(String) row1.getClass().getDeclaredField(row2.param01).get(row1)

Dans le tMap.....

**romain.alcaraz** · 27/01/2011, 16h04

Envoyé par kisskool45

Du coup je viens de penser à une solution....

mettre tout simplement l'expression :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
(String) row1.getClass().getDeclaredField(row2.param01).get(row1)

Dans le tMap.....

je vais tenter ça et si ça marche c'est parfait !
getdeclaredfield peut prendre un argument alors ?

**kisskool45** · 27/01/2011, 16h09

Oui
cf :
http://download.oracle.com/javase/6/...a.lang.String)

Lier une table standard avec une table de paramétrage (contenu variable)

Développement de jobs

Discussions similaires

Partager

Partager