Discussion :

[ninsekh]

Bonjour Amis,



J’ai une colle en ce moment. J’ai du mal à trouver une politique de gestion de l’intégrité des données des tables de mon datawarehouse. En effet une question m’a été posée :



Que fais-tu lorsqu’un job chargeant à moitié une table de fait se plante ? Doit-on vider totalement la table de faits et la recharger totalement ou doit-on poursuivre le chargement au point il s’était arrêté ? Si l’on choisit la dernière option, il faudra mettre en place une politique de gestion de l’intégrité des données de la table de faits, de telle sorte que chaque enregistrement soit unique. C’est à ce niveau que j’ai quelques difficultés.

Merci d'avance pour vos conseils avisés.

[gregory.broissard]

Si les données font quelques Mo, il n'est pas forcément utile de prévoir une méthode de reprise du traitement. on vide la ou les tables et on recharge.

si les données à charger font plusieurs dizaines de Go, alors là il faut prévoir dans le traitement une procédure de reprise, en gérant sa derniere position commitée en base

[SQLpro]

Si votre SGBDR le permet, mettez en place des SAVE POINT dans la transaction. Ceci saucissonnera la tâche et vous n'aurez à reprendre qu'au denier lot non commité.
Fonctionnelle ment placez un indicateur dans une table d'admin pour indiquer si la base est consistante ou non.

A +