Discussion :

[Bugatti]

Bonjours,
je travaille sur un micro-projet décisionnel, et je suis débutant en matière donc je voudrais poser une question:
Quelle la méthodologie à suivre sur kettle pour nettoyer un fichier log ?

[samatar]

Bonjour,

PDI permet de lire des fichiers et d'écrire vers des fichiers :-)
Si vous souhaitez modifier des fichiers, il faudra probablement les lire, effectuer vos manipulations (suppression des lignes inutiles, ...) et créer de nouveaux fichiers. Ensuite il faut remplacer l'ancien par le nouveau.

Cldt

samatar

[Bugatti]

bonjours
je le sais , le travail demander et d'extraire à partir d'un fichier log (sous-format excel) et à partir de chaque ligne les champs qui sont precis par l'encraderant à savoir (IP, le Navigateur utilisé...) puis alimenter une base de données access.

j'ai choisi une nouvelle transformation, dans laquelle j'ai dessiné un schéma ( Extraction depuis un fichier excel puis un lien vers une base de données excel) le problème est que je ne sais pas manipuler Kettle j'aurais besoin d'aide SVP
parce que le travail est à rendre le mardi prochain

[samatar]

Ah ok

J'ai attaché un exemple.


Pour démarrer avec PDI :

http://wiki.pentaho.com/display/EAI/Getting+Started


Samatar

[Bugatti]

Merci bcp pr l'aide, je le fais .
une autre question comment spécifier les champs à extraire , sachant que les champs sont des mots dans la ligne , le fichier n'est pas organisé

[samatar]

des mots..ah
Tout dépend de la structure.
Si vous vous y connaissez en expression régulière, vous avez à votre disposition une étape ''évaluation pas expreg".
Cette étape vous permettre d'extraire les champs suivant une expression régulière (pratique pour extraire depuis des fichiers Log tomcat par exemple ).

Dans le répertoire samples/transformations, vous trouverez un exemple.

Samatar

[Bugatti]

merci mon ami je vais suivre vos conseil jusqu'au bout, je suis censé alimenter une base de données Acess est ce que je dois créer une connexion?
admettons que j'utiliserai Oracle comment remplir les champs de la connexion les paramètres nécessaires ?

[samatar]

De rien.

Pour access, pas besoin, il existe une étape (alimentation base access).
Vous pouvez toutefois écrire vers une base Access en ODBC :-)

Pour créer une connexion :

http://www.kettle.be/swf/Create%20a%...connection.htm

Samatar

[asma3232]

salut Samatar,

en effet je me demande si PDI offre la possibilité de créer un champs qui sera identique pour toutes les entrées de la table,
la valeur, on aimerait qu'il contienderat la plus grande valeur d'un autre champs

[sandra83]

Bonjour,

PDI permet de lire des fichiers et d'écrire vers des fichiers :-)
Si vous souhaitez modifier des fichiers, il faudra probablement les lire, effectuer vos manipulations (suppression des lignes inutiles, ...) et créer de nouveaux fichiers. Ensuite il faut remplacer l'ancien par le nouveau.

Cldt

samatar

bonsoir,
j'ai presque le meme probleme, je doi faire un nettoyage a un fichier log, mais j'ai pas compri ce que c'est un PDI

[sandra83]

De rien.

Pour access, pas besoin, il existe une étape (alimentation base access).
Vous pouvez toutefois écrire vers une base Access en ODBC :-)

Pour créer une connexion :

http://www.kettle.be/swf/Create%20a%...connection.htm

Samatar

bonsoir samatar,
j'ais le meme travail que toi, je doi faire un nettoyage pour mon fichier log pour faire ensuite une classification a l'aide des fourmis artificielles, mais le probleme c'est que je suis bloquer je ne sai pas comment faire, est ce que tu peur m'aider