Discussion :

[DevNico]

Bonjour,

J'ai aujourd'hui des traitements d'intégration qui traitent des fichiers pour intégrer ces données dans une base. Ces fichiers sont générés à partir d'un flux de données venant de l'appli source.
Le besoin change, et les utilisateurs me disent qu'il veulent maintenant du quasi temps réel sur l'intégration des données.

Je réfléchis donc à modifier ma stratégie de chargement, qui ne serait plus un déclenchement toutes les 10 secondes pour traiter les lignes arrivées dans ce laps de temps, mais intégrer les lignes au fur et à mesure qu'elles arrivent.

Est-ce qu'on a cette possibilité avec Talend ?
Idéalement, mon job tournerait 24h/24, et intégrerait les lignes au fur et à mesure qu'elles arrivent. (du coup je ne sais pas trop comment elles arrivent (Fichier ? Buffer ?))

Merci,
Nicolas

[CyberChouan]

Oui, c'est possible.

Je te conseille de regarder le composant tWaitForSqlData, qui me paraît parfaitement adapté à ton besoin.

Ton job n'est plus lancé toutes les N secondes, mais tourne en permanence, en "surveillant" les arrivées de données et en effectuant les traitements dès leur arrivée (la base est vérifiée jusqu'à chaque seconde).

[midodido123]

salut
je veux faire une intégration en temps réel en utilisant le composant tWaitForSqlData .
l'objectif est de remplir la 2eme table a chaque enregistrement dans la première table mais ça ne fonctionne pas
si qq'un peut me renseigner comment utiliser le composant tWaitForSqlData ça serait géniale.
j'ai fais le job suivant

merci

[boubsy]

Hello,

Si tu as TIS, utilise le composant CDC (Change Data Capture) dont c'est le rôle.

Sinon tu doit faire cela manuellement en mémorisant le nombre de ligne et en adaptant ta requete SQl en fonction avec une condition WHERE rownum > last extracted row. (c'est pas le plus rapide, mais ca marche pour capturer uniquement les insert)

Sinon il faut que tu développes une logique avec des triggers ou que tu te connecte aux logs de la base (log-miner) avec une solution comme Attunity (payant)

Comme d'hab il n'y a pas de solution gratuite pour détecter les changements de façon industrielle.

boubsy

[midodido123]

bonjour a tout le monde
merci boubsy pour la suggestion mais je ne possède pas le TIS et pour le développement des fonctionnalités qui détecte les insertions ça reste ma dernière option si je ne parviens pas a faire le job avec talend .

Mais d'après le Guide référentiel de Talend le composant "tWaitForSqlData"
a pour fonction :
"Le composant tWaitForSqlData effectue une boucle sur un connexion donnée à la recherche d’un ajout ou d’une suppression de lignes, puis déclenche un sous-Job lorsque la condition est rencontrée."
et pour objectif :
" Ce composant permet de déclencher un sous-Job en fonction de la
présence de données sql."
alors je veux savoir si j'ai bien compris le composant et si oui comment l'utiliser ?
merci

[DevNico]

Sinon tu doit faire cela manuellement en mémorisant le nombre de ligne et en adaptant ta requete SQl en fonction avec une condition WHERE rownum > last extracted row. (c'est pas le plus rapide, mais ca marche pour capturer uniquement les insert)

C'est un peu dangereux ça non ?
S'il y a une réorganisation de la table, ou une modification du plan d'accès de la requête, les lignes récupérées n'arriveront pas dans le même ordre.

Une solution simple est d'avoir un timestamp sur chaque ligne alimenté lors des mises à jour sur les données sources qui permet de détecter les lignes qui doivent être récupérées.

Nicolas

[midodido123]

salut Nicolas
mais c'est quoi un timestamp?
c'est un composant de talend O.S ?
moi j'utilise la version 3.1.3

[boubsy]

Good point :-)

Il faudrait effectivement un timestamp de type date_modified.
Qui serait mis à jour par trigger à l'insert/update
La contrainte, c'est qu'il faut modifier la structure de la source si cette colonne n'existe pas.

Boubsy

[midodido123]

désolé mais je suis perdu
c'est quoi un timestamp ? times temporaire)?

[CyberChouan]

c'est quoi un timestamp ? times temporaire)?

Non, un "timestamp", c'est la représentation d'une date, tout simplement.

En informatique, le timestamp le plus standard est le nombre de millisecondes écoulées à partir du "1er janvier 1970 à minuit GMT+0", stocké dans un champ de type "long" (entier sur 64 bit).

Un timestamp actuel est par exemple 1248252524304 (ce timestamp correspondant à la date d'aujourd'hui vers 10h50).

[midodido123]

Ah! ok
merci CyberChouan pour cette information
maintenant si tu peux m'expliquer le rôle de "tWaitForSqlData"
merci