Talend - Automatisation [Résolu]

[_skip]

Bonjour,

Je tiens à utiliser Talend pour populer quotidiennement un schéma en étoile de façon incrémentale.
J'aurai déjà quelques premières questions à ce sujet :

-Il serait possible de faire des requêtes sur la base de production en utilisant la date du jour, mais ça me semble pas prudent... Comment fait-on dans les règles de l'art? Est-il judicieux de stocker dans la base de données la date de sa dernière importation?

-Dans la pratique, est-ce que toutes les opérations d'INSERT dans la base de destination devraient se faire au sein d'une même transaction?

-Quel mécanisme est à souhaiter pour la mise en place d'une gestion des erreurs? Envoyer un mail automatiquement à un responsable? Logger des informations?

-Finalement, pour du windows, quelles versions de Cron suggérez-vous?

Je sais ça fait beaucoup de question... J'aimerai juste être sûr que si je fais quelque chose je le fais bien.

[Benoit_Durand]

Envoyé par _skip

Bonjour,

Je tiens à utiliser Talend pour populer quotidiennement un schéma en étoile de façon incrémentale.
J'aurai déjà quelques premières questions à ce sujet :

-Il serait possible de faire des requêtes sur la base de production en utilisant la date du jour, mais ça me semble pas prudent... Comment fait-on dans les règles de l'art? Est-il judicieux de stocker dans la base de données la date de sa dernière importation?

-Dans la pratique, est-ce que toutes les opérations d'INSERT dans la base de destination devraient se faire au sein d'une même transaction?

-Quel mécanisme est à souhaiter pour la mise en place d'une gestion des erreurs? Envoyer un mail automatiquement à un responsable? Logger des informations?

-Finalement, pour du windows, quelles versions de Cron suggérez-vous?

Je sais ça fait beaucoup de question... J'aimerai juste être sûr que si je fais quelque chose je le fais bien.

1- stocker la date du dernier chargement dans une table est une pratique courante.

2- il vaut mieux en effet faire tous les insert d'un job dans une seule transaction, comme ça lors d'une erreur il n'y a eu aucun commit.

3- Prévenir l'exploitation avec un mail et garder un log des événements est conseillé

4- pour du windows personnellement j'utilisais le plannificateur des tâches

cordialement,

[_skip]

Merci, ça m'aide bien