Discussion :

[ninsekh]

Bonjour Amis,



J’ai une colle en ce moment. J’ai du mal à trouver une politique de gestion de l’intégrité des données de mes tables de faits. En effet une question m’a été posée :
Que fais-tu lorsqu’un job chargeant à moitié une table de fait se plante ? Doit-on vider totalement la table de faits et la recharger totalement ou doit-on poursuivre le chargement au point il s’était arrêté ? Si l’on choisit la dernière option, il faudra mettre en place une politique de gestion de l’intégrité des données de la table de faits, de telle sorte que chaque enregistrement soit unique. C’est à ce niveau que j’ai quelques difficultés.


ETL: Datastage 7.0
SGBD: Oracle 10G
Reporting: Business Object XI
Système d'exploitation: Unix pour ETL et SGBD; Win Server 2003 pour BO XI

Merci d'avance.

[DevNico]

Bonjour,

De mon coté, je fais en sorte que tous mes traitements soient ré-entrants.
En cas de plantage, il suffit de relancer.

Cela simplifie énormément l'exploitation. Mais il est vrai que cela peut ajouter un peu de complexité aux traitements.
Et ce n'est pas toujours réalisable.

En ce qui concerne Datastage, je n'ai jamais mis en place de traitement avec reprise suite à un plantage. Il me semble qu'il existe une fonction pour gérer ça (mais je ne sais pas si elle est implémentée dans la 7.0).

Nicolas

[ninsekh]

STP DevNico peux-tu m'expliquer ce que tu entends par ré-entrant?

[eryk71]

Bonjour,

Lorsque je fais un developpement ETL, je fais un test pour voir si l'enregistrement que j'insère existe déjà. Si c'est le cas, soit il y a une mise à jour de l'existent soit je n'y touche pas. Les autres lignes sont insérées.
Donc s'il y a un plantage, je relance l'alimentation, celui-ci insérera seulement les nouvelles lignes, il n y aura pas de doublons.

Ensuite cela dépend de la politique d'alimentation.

[DevNico]

Par ré-entrant, j'entends que le traitement peut-être relancé sans opération manuelle préalable.

Par exemple, si le traitement plante au milieu, il suffit de corriger la cause du plantage, et de relancer le traitement (pas besoin de vidage de table, modification du lot de données en entrée, ...).

De même, si on se rend compte par exemple que le fichier traité n'était pas correct, il suffit de relancer le traitement sur un fichier corrigé.

Comme je le disais, cette mise en œuvre n'est pas toujours possible (pour des raisons de stratégie d'alim, ou de performances), mais c'est quand même un atout indéniable dans l'exploitation. (pas de manips manuelles qui sont sources de loupés, gain de temps dans les procédures de reprises de traitements, ...).

Nicolas