Discussion :

[fprovot]

Bonjour,

existe-t-il un moyen simple de suivre le nombre d'enregistrements insérés/mis à jour par table durant un ETL? Via les statistiques du repository local par exemple.

Je peux bien sûr faire un rapport qui affiche le nombre d'enregistrements insérés jour par jour par exemple, mais je souhaiterai le faire pour chaque table. Au niveau ETL donc.

(en réalité je le fais déjà mais par script PLSQL qui chaque jour stocke le nombre de ligne de chaque table, ce qui me permet d'afficher de beaux graphiques d'évolution. Mais je voudrais me passer de ce système et taper directement dans le repo Local par exemple)

Merci

[cedrickb]

La manière la plus simple c'est de mettre un script avant ton flux (WF/DF) qui initialise une variable de type $VAR_NB_LIG_CHARGEE, ensuite après le flux tu ajoutes un script dans lequel tu mets à jour cette variable et tu insère le tout dans une table de trace.

Sinon tu peux voir ces informations via le Monitor Log dans ton interface d'administration, mais ces données sont peu exploitables.

Je te conseille vivement la création d'une table de trace que tu maintiens toi même avec date_debut_traitement, date_fin_traitement, table_alimentée_temps_execution, nb_enregistrements_chargés par exemple.

[fprovot]

Merci. Je log effectivement les WF (début/fin) mais pas les quantité traitées. Comment retrouver le nombre? En ajoutant un query pour faire un count sur les enregistrements sélectionnés? Ca me semble trop fastidieux (globalement parlant).
En effet j'utilise le performance-monitor, d'où l'idée de retrouver des infos dans le repository. Par contre extraire le nombre de lignes insérées/modifiées de manière globale semble obscure (trouver les éléments TARGET, ou les MAP_Insertion....)

[cedrickb]

En ajoutant un query pour faire un count sur les enregistrements sélectionnés?

=> oui c'est bien ça.

Ca me semble trop fastidieux (globalement parlant).

=> c'est contraignant effectivement, mais pas si compliqué à mettre en place. Il faut bien penser le script pour qu'il soit réutilisable.

Exploiter les données issues du moniteur de performance est un peu complexe. Théoriquement on devrait pouvoir exploiter ces données mais comme tu le disais, savoir quel est le nombre d'enregistrement en insert/delete... peut etre relativement fastidieux.

Pour assurer un suivi qui réponde à tes besoins, je n'ai d'autre conseil que l'utilisation de propre scripts!