Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #1
    Membre du Club
    Inscrit en
    janvier 2009
    Messages
    60
    Détails du profil
    Informations forums :
    Inscription : janvier 2009
    Messages : 60
    Points : 54
    Points
    54

    Par défaut DS3.1 : suivi de la volumétrie

    Bonjour,

    existe-t-il un moyen simple de suivre le nombre d'enregistrements insérés/mis à jour par table durant un ETL? Via les statistiques du repository local par exemple.

    Je peux bien sûr faire un rapport qui affiche le nombre d'enregistrements insérés jour par jour par exemple, mais je souhaiterai le faire pour chaque table. Au niveau ETL donc.

    (en réalité je le fais déjà mais par script PLSQL qui chaque jour stocke le nombre de ligne de chaque table, ce qui me permet d'afficher de beaux graphiques d'évolution. Mais je voudrais me passer de ce système et taper directement dans le repo Local par exemple)

    Merci

  2. #2
    Membre habitué
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    février 2004
    Messages
    131
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant en Business Intelligence

    Informations forums :
    Inscription : février 2004
    Messages : 131
    Points : 187
    Points
    187

    Par défaut

    La manière la plus simple c'est de mettre un script avant ton flux (WF/DF) qui initialise une variable de type $VAR_NB_LIG_CHARGEE, ensuite après le flux tu ajoutes un script dans lequel tu mets à jour cette variable et tu insère le tout dans une table de trace.

    Sinon tu peux voir ces informations via le Monitor Log dans ton interface d'administration, mais ces données sont peu exploitables.

    Je te conseille vivement la création d'une table de trace que tu maintiens toi même avec date_debut_traitement, date_fin_traitement, table_alimentée_temps_execution, nb_enregistrements_chargés par exemple.

  3. #3
    Membre du Club
    Inscrit en
    janvier 2009
    Messages
    60
    Détails du profil
    Informations forums :
    Inscription : janvier 2009
    Messages : 60
    Points : 54
    Points
    54

    Par défaut

    Merci. Je log effectivement les WF (début/fin) mais pas les quantité traitées. Comment retrouver le nombre? En ajoutant un query pour faire un count sur les enregistrements sélectionnés? Ca me semble trop fastidieux (globalement parlant).
    En effet j'utilise le performance-monitor, d'où l'idée de retrouver des infos dans le repository. Par contre extraire le nombre de lignes insérées/modifiées de manière globale semble obscure (trouver les éléments TARGET, ou les MAP_Insertion....)

  4. #4
    Membre habitué
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    février 2004
    Messages
    131
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant en Business Intelligence

    Informations forums :
    Inscription : février 2004
    Messages : 131
    Points : 187
    Points
    187

    Par défaut

    En ajoutant un query pour faire un count sur les enregistrements sélectionnés?
    => oui c'est bien ça.
    Ca me semble trop fastidieux (globalement parlant).
    => c'est contraignant effectivement, mais pas si compliqué à mettre en place. Il faut bien penser le script pour qu'il soit réutilisable.

    Exploiter les données issues du moniteur de performance est un peu complexe. Théoriquement on devrait pouvoir exploiter ces données mais comme tu le disais, savoir quel est le nombre d'enregistrement en insert/delete... peut etre relativement fastidieux.

    Pour assurer un suivi qui réponde à tes besoins, je n'ai d'autre conseil que l'utilisation de propre scripts!

Discussions similaires

  1. Suivi de contours
    Par copper dans le forum Algorithmes et structures de données
    Réponses: 5
    Dernier message: 23/04/2004, 12h57

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo