Précédent   Forum des professionnels en informatique > Logiciels > Solutions d'entreprise > Business Intelligence > ETL > Kettle-Pentaho
Kettle-Pentaho Forum d'entraide Kettle et Pentaho (Kettle, Pentaho Data Integrator)
Partagez cette discussion sur d'autres réseaux sociaux : Viadeo Twitter Google Facebook Digg Delicious MySpace Yahoo
Réponse Proposer ce sujet en actualité
 
Outils de la discussion
Publicité
'
Vieux 22/05/2008, 10h59   #1
Candidat au titre de Membre du Club
 
Inscription : octobre 2007
Messages : 114
Détails du profil
Informations forums :
Inscription : octobre 2007
Messages : 114
Points : 11
Points : 11
Par défaut Scanner un repertoire dans PDI

Bonjour à tous,

Je voulais rebondir sur la discussion de said.bolba car ma question va un peu dans son sens. Est-ce que PDI (ou un composant ) peut scanner un repertoire à la recherche d'un fichier et si le fichier existe lance le traitement ?

Une question bête: C'est quoi la difference entre un job et une transformation. Ou plus simple c'est quoi un job ? c'est quoi une transformation. Dans PDI, est-ce qu'on peut lier ou coexister les 2 ?
pruderic est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 22/05/2008, 12h00   #2
Membre éprouvé
 
Inscription : juin 2005
Messages : 447
Détails du profil
Informations forums :
Inscription : juin 2005
Messages : 447
Points : 497
Points : 497
Salut,

PDI manipule 2 sorte de traitements :

- les flux (streams en anglais) qui correspondent par exemple aux enregistrements dans une base de données, liste de fichiers,...
Ces flux sont gérés dans une transformation.
Exemple d'une transformation classique:

Extraction depuis une BdD --> Filtrage --> Alimentation fichier Excel

Pour manipuler les flux, on utilise des étapes.
Chaque étape est dédié une fonction (extraction, alimentation, recherche,...).
Il y a les étapes qui produisent des flux (Extraction depuis BdD, fichier,...),
d'autres qui les manipulent (Ajout constante, agrégation, tri,...) , etc.

Toutes les étapes d'une transformation sont lancées en parallèle (multi thread).

- Les tâches elles permettent le séquencement des actions.
Exemple:
Je démarre --> je télécharge des fichiers via FTP -- Si OK --> je traite les fichiers -- Si NOK --> j'envoi un mail d'erreur.

Une tâche manipule des entrées tâches (équivalent des étapes dans les transformations), mais une entrée tâche a un résultat binaire.

Succès ou Echec.

A un instant , une seul entrée tâche est exécutée!! (ce qui diffère des transformation )


Voila j'espère que j'ai répondu à ta question.

Cela va nous amener directement à ta première question
Comme tu as besoin de déclencher une action si ton fichier existe, tu va utiliser une tâche ainsi :

START --> Vérification existence fichier -- SI OK (en vert) --> Lance traitement


Voila

Samatar
samatar est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 22/05/2008, 12h33   #3
Candidat au titre de Membre du Club
 
Inscription : octobre 2007
Messages : 114
Détails du profil
Informations forums :
Inscription : octobre 2007
Messages : 114
Points : 11
Points : 11
Super il y pas plus clair possible.
Thanks
pruderic est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 22/05/2008, 13h27   #4
Membre éprouvé
 
Inscription : juin 2005
Messages : 447
Détails du profil
Informations forums :
Inscription : juin 2005
Messages : 447
Points : 497
Points : 497
Ah, pour être plus complet,
une tâche peut evidemment lancer une ou plusieurs transformations (et pas l'inverse).

Tu paux également lancer une autre tâche depuis une tâche.

Samatar
samatar est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 22/05/2008, 14h45   #5
Candidat au titre de Membre du Club
 
Inscription : octobre 2007
Messages : 114
Détails du profil
Informations forums :
Inscription : octobre 2007
Messages : 114
Points : 11
Points : 11
C'est encore mieux samatar. Et je vois que j'ai du boulot. Merci encore une fois
pruderic est déconnecté   Envoyer un message privé Réponse avec citation 00
Réponse Proposer ce sujet en actualité Cette discussion est résolue.
Outils de la discussion



Fuseau horaire GMT +2. Il est actuellement 17h17.


 
 
 
 
Partenaires

Hébergement Web