Discussion :

[Lindaz]

Bonjour,

J'ai une date en entrée (tposgresqlinput) qui est sous cette forme 201401 et je voudrai faire un filtre pour ne charger que les dates qui sont comprises entre 201401 et 201701 dans un tpostgresqloutput.

j'ai ceci tposgresqlinput=>tMap=>tpostgresqlOutput.

Pouvez-vous m'aider svp?

[MythOnirie]

Bonjour,

Quel est le format utilisé dans le traitement talend pour gérer cette date ?

Quel est le problème exactement ? Parce que faire un filtre en talend, ou effectuer un test en java sont des choses fondamentales qui ne sont généralement pas oublié dans la plupart des tutoriels...

[Lindaz]

Bonjour,

Merci pour votre aide. Désolée, je n'était pas bien portant la semaine dernière.

Au faite j'ai un problème de mémoire, du coup pour limiter les données à charger dans la BD je voulais faire un filtre. Le format de la date est de type string(yyyymm) mais, cette colonne n'est pas mappée à la table de sortie. La table source contient plus de 7 000 000 de lignes.

J'ai utilisé ce code table.ann between 201401 and 201701.

J'ai aussi essayé de parser mais ça marche non plus.

[Lindaz]

L'erreur concernant la mémoire:

[MythOnirie]

Pourquoi ne pas faire un filtre dans la requête SQL d'extraction afin de ne pas avoir toutes les données chargées en mémoire par Talend ?

Il existe aussi des solutions pour augmenter la taille de la mémoire vive alloué à Talend.

[Lindaz]

J'avais voulue faire un filtre dans la requête SQL d'extraction mais, je n'ai pas su comment le faire.

Encore merci!

[Burgundus]

Bonjour

Pour info tu peux faire :
"SELECT pseudo, message, date FROM minichat WHERE date >= '2010-04-02 00:00:00' AND date <= '2010-04-18 00:00:00'"

ou

SELECT pseudo, message, date FROM minichat WHERE date BETWEEN '2010-04-02 00:00:00' AND '2010-04-18 00:00:00'

Ou avec un "to_date" si tes données sont des string.

Cordialement

[Lindaz]

Bonjour Burgundus,

Ce que tu me propose c'est dans le tMap? Dans le tMap talend n'accepte pas le between. J'ai essayé Before et after, mais je n'ai pas le résultat souhaité. Est ce qu'il est possible de le faire au niveau de la table d'entrée?

Merci d'avance.

[Burgundus]

Bonjour

Le "between" est une méthode SQL donc pas a faire dans le TMap qui assure les méthodes Java ( et Talend bien sur)

Tu dois faire cela dans le composant "tposgresqlinput" dans ta requete.
exemple :
"
SELECT
customer_id,
payment_id,
amount,
payment_date
FROM
payment
WHERE
payment_date BETWEEN '2007-02-07'
AND '2007-02-15'
"

[Lindaz]

Bonjour,

OK merci. J'avais essayé ça hier, le seul souci est que dans un de mes job le nombre de lignes du composant de sortie est supérieur au nombre de lignes du composant d'entrée. ça ne me parait pas normal.

PS: Dans un autre job nombre de ligne en entrée et en sortie et sont identiques.

Merci d'avance!