Besoin de pistes avant de débuter un projet

Bonjour !

J'aurai besoin de quelques pistes pour éviter de me casser les dents avant de commencer mon projet. Je vous explique mon truc :

Le logiciel syslog KIWI me remplit un fichier texte en permanence contenant des logs.

Je veux : une fois par heure (ou peut-être en temps réel), récupérer les nouvelles données, les analyser, puis les injecter dans une base de données.

Je vais recevoir selon mes estimations, 1000 à 5000 enregistrements à l'heure.

Celà parait plutôt clair, mon idée est d'avoir un thread qui tourne tout le temps et qui parcours ce fichier... Mais ce n'est peut être pas le mieux, j'ai entendu parler de l'API log4j par exemple, est ce que celà peut m'aider ?

Merci pour vos conseils,

A +

Tu es obligé de passer par un fichier ? Pas moyen de passer par socket par exemple ? Ou sortie standard ?
(je ne connais pas syslog Kiwi)

Un ETL me paraît tout indiqué.

Je te conseille de regarder du côté de Talend Open Studio (qui en plus à le bon goût de pouvoir générer le job correspondant en langage java).