Précédent   Forum des professionnels en informatique > Logiciels > Solutions d'entreprise > Business Intelligence > ETL > Kettle-Pentaho
Kettle-Pentaho Forum d'entraide Kettle et Pentaho (Kettle, Pentaho Data Integrator)
Partagez cette discussion sur d'autres réseaux sociaux : Viadeo Twitter Google Facebook Digg Delicious MySpace Yahoo
Réponse Proposer ce sujet en actualité
 
Outils de la discussion
Publicité
'
Vieux 10/06/2011, 18h04   #1
Invité de passage
 
Inscription : mars 2007
Messages : 32
Détails du profil
Informations forums :
Inscription : mars 2007
Messages : 32
Points : 3
Points : 3
Par défaut Traces d'une transformation en erreur.

Bonjour à tous,

J'utilise actuellement Spoon version 2.5.0 afin de migrer les données d'un schéma hébergé par une base de données "oracle 10g" vers une base de données hébergée par une instance "SQLServer 2K8R2".
Je dispose donc de 10 transformations afin de migrer l'intégralité des données d'environ 280 tables.

Mon problème est le suivant:

8 transformations aboutissent sans encombre (toutes les données sont bien migrées de la source vers la destination).
En ce qui concerne les deux autres, certaines étapes génèrent des rejets et je suis dans l'incapacité d'identifier leurs causes ... Je n'arrive en fait pas à tracer les problèmes ...
Dans les propriétés des 2 transformations incriminées, j'ai défini (sous l'onglet "Connexion trace PDI") une "connexion trace" et sa table associée (qui a bien été créée à l'endroit ciblé par la connexion y étant relative).

Malheureusement suite à l'exécution de ces deux transformations, trop peu d'informations sont renseignées dans la table de traces (j'obtiens bien, entre autres, le nombre d'erreurs qui surviennent mais pas leurs caractéristiques (en l'occurence, les données qui ne sont pas migrées et surtout, la raison ..).

Bref, je n'arrive pas à obtenir des journaux verbaux qui me permettraient d'adapter les données de départ afin que mes migrations soient complètes.

Merci d'avance à ceux qui voudront bien éclairer ma lanterne .

Frédéric
thatsallfunk est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 11/06/2011, 00h44   #2
Membre éprouvé
 
Inscription : juin 2005
Messages : 447
Détails du profil
Informations forums :
Inscription : juin 2005
Messages : 447
Points : 497
Points : 497
Bonjour,

la solution la plus simple est d'encapsuler les transformations dans une tâche et de définir un fichier trace sur cette tâche :-)

Vous devriez avoir dans les traces des lignes de d'erreur.

Si vous souhaitez savoir exactement les lignes rejetées, il faut désactiver le mode batch des étapes 'Alimentation table ' et activer la gestion d'erreur (on redirige les erreurs vers un fichier de sortie.
samatar est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 11/06/2011, 07h53   #3
Invité de passage
 
Inscription : mars 2007
Messages : 32
Détails du profil
Informations forums :
Inscription : mars 2007
Messages : 32
Points : 3
Points : 3
Bonjour,

Merci pour votre réponse.
Je débute avec cet outil et ne suis donc pas très à l'aise pour naviguer dans l'IHM.

Je ne souhaite pas encapsuler mes transformations dans une unique tâche bien que cela soit une très bonne idées.

Pourriez vous me donner la marche à suivre, dans l'outil, pour désactiver le mode batch des étapes "Alimentation Table" et pour activer la gestion des erreurs afin de les avoir dans un fichier plat et ce, de façon verbeuse?

D'avance merci.

Frédéric
thatsallfunk est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 12/06/2011, 00h08   #4
Membre éprouvé
 
Inscription : juin 2005
Messages : 447
Détails du profil
Informations forums :
Inscription : juin 2005
Messages : 447
Points : 497
Points : 497
http://www.ibridge.be/?p=32

ou

http://wiki.pentaho.com/display/EAI/...pErrorHandling

Samatar
Images attachées
Type de fichier : png TO.png (28,5 Ko, 10 affichages)
samatar est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 12/06/2011, 20h41   #5
Invité de passage
 
Inscription : mars 2007
Messages : 32
Détails du profil
Informations forums :
Inscription : mars 2007
Messages : 32
Points : 3
Points : 3
Merci pour les liens.

J'irai y jeter deux yeux demain après-midi afin de mettre en oeuvre la procédure y étant décrite ...
J'espère que le plus dur ne restera pas à faire une fois que j'aurai identifié les données sources qui posent des problèmes ...

Frédéric
thatsallfunk est déconnecté   Envoyer un message privé Réponse avec citation 00
Réponse Proposer ce sujet en actualité
Outils de la discussion



Fuseau horaire GMT +2. Il est actuellement 05h00.


 
 
 
 
Partenaires

Hébergement Web