Précédent   Forum des professionnels en informatique > Logiciels > Solutions d'entreprise > Business Intelligence > ETL > Kettle-Pentaho
Kettle-Pentaho Forum d'entraide Kettle et Pentaho (Kettle, Pentaho Data Integrator)
Partagez cette discussion sur d'autres réseaux sociaux : Viadeo Twitter Google Facebook Digg Delicious MySpace Yahoo
Réponse Proposer ce sujet en actualité
 
Outils de la discussion
Publicité
'
Vieux 13/03/2011, 23h15   #1
Invité de passage
 
Nina POPRAVKA
Inscription : février 2010
Messages : 7
Détails du profil
Informations personnelles :
Nom : Nina POPRAVKA

Informations forums :
Inscription : février 2010
Messages : 7
Points : 0
Points : 0
Par défaut Enregistrer des fichiers texte sur un serveur distant ?

Bonjour, à tous, j'utilisais un peu Kettle en amatrice, et il faut que je passe à la vitesse supérieure parce que j'ai pas mal de sources variées à faire dialoguer.
Je viens de faire un job pour exporter des utilisateurs d'une de mes bases postgres vers mon routeur d'emailing. J'interroge la base, je rajoute en fonction d'un critère un champ qui contient le nom du fichier à générer, je le concatène avec un chemin d'accès local sur ma machine, et au bout du compte ça génère une quarantaine de fichiers texte (genre /home/nina/routeur/segmentA, /home/nina/routeur/segmentB) en utilisant "accept filename from field" dans le Text file output, et ensuite le job expédie ces fichiers par ftp chez le routeur.

Ca fonctionne parfaitement, tout est bouclé en moins de 5 secondes... Kettle c'est vraiment bien :-)

En revanche, dans ce cas comme dans presque tous ceux qui vont venir, je transfère des données hors du LAN vers une machine hors du LAN elle aussi, donc j'ai pas de raison d'encombrer ma BP avec ces data, et de plus on risque d'être plusieurs à Spooner, j'ai donc créé un repository sur un serveur dédié externe avec un Postgres dessus.
J'essaie d'adapter ma transformation pour que les 40 fichiers texte aillent directement s'écrire sur ce serveur au lieu de mon poste, et là je patauge... Ma première idée serait d'utiliser scp, mais je vois pas comment faire...
Bref oskour.

Merci :-)

--
Nina
npopravka est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 14/03/2011, 13h19   #2
Membre éprouvé
 
Consultant en Business Intelligence
Inscription : mai 2008
Messages : 191
Détails du profil
Informations personnelles :
Localisation : France

Informations professionnelles :
Activité : Consultant en Business Intelligence

Informations forums :
Inscription : mai 2008
Messages : 191
Points : 479
Points : 479
Bonjour Nina

En fait le plus simple serait de passer par le programme en ligne de commande "Kitchen" pour lancer tes jobs via un simple script sur ton serveur distant (tu n'auras plus besoin des les lancer avec Spoon)
Il suffit pour cela que tu aies accès à ton référentiel pour que ça fonctionne.

Tu peux aussi exporter tes jobs au format kjb et même les mettre dans un zip comme c'est décrit sur le Groupe Google "Pentaho User Group France" par ici :
https://groups.google.com/d/topic/pe...qG8/discussion

Une automatisation d'exécution des jobs est bien sûr possible en plaçant les scripts dans la crontab

Plus d'infos sur kitchen (et pan) ici :
http://wiki.pentaho.com/display/EAI/...+Documentation

Sylvain - http://www.osbi.fr
sdecloix est déconnecté   Envoyer un message privé Réponse avec citation 00
Réponse Proposer ce sujet en actualité
Outils de la discussion



Fuseau horaire GMT +2. Il est actuellement 19h54.


 
 
 
 
Partenaires

Hébergement Web