Discussion :

[irukatan]

Je dispose d'un algorithme qui determine la nature d'une chaine de charactere en testant une liste d'expressions regulieres specifiees par l'utilisateur.
Pour faire simple, il s'agit de determiner la nature d'une ligne de log.
L'utilisateur peut donc configurer plusieurs expressions regulieres pour matcher plusieurs types de log (apache, etc.).

Il se trouve helas que c'est une goulot d'etranglement de l'algorithme, car si l'utilisateur specifie un tres grand nombre d'expressions regulieres dans son fichier de configuration, chaque expression est testee sur la chaine de characteres a juger, jusqu'a ce qu'il y ait un matching.

Je souhaite donc faire un algorithme different, qui compilerait toutes les expressions regulieres dans un seul automate deterministe, et testerait la chaine sur cet automate pour faire le matching, ce qui au final serait tres rapide meme avec un grand nombre d'expressions specifiees dans la configuration.

Existe t il deja des scripts, libraries ou autre bout de code qui se rapproche de ce que je cherche a effectuer ?
Est-ce que coder "de 0" un tel algorithme parrait viable en java ? (en sachant qu'il faut au final que cela soit plus rapide que le fait de tester a la suite plusieurs expressions regulieres sur la chaine a analyser)

[tchize_]

tu peux toujours tenter cette expression régulière là

(expression1)|(expression2)|(expression3)

mais je suis pas sur que ce soit plus rapide. Par contre, un point important, ce qui prend du temps avec les regexp, c'est pas leur exécution, mais leur compilation. Tu fait biens tout tes compile une fois pour toutes? Ou tu fait naivement à chaque fois "if (maStringDeLog.match(expression)) ?

[irukatan]

Heu, je n'ai pas le code en face de moi en fait (je ne suis pas encore au boulot), mais je pense qu'elle sont compilees comme il faut une seule fois... j'espere.

Mais ce que je voulais dire, c'est que je cherche a effectuer une action particuliere (et donc differente) selon l'expression qui match ma chaine de caracteres.
Ainsi, je ne cherche pas a effectuer une seule action, dans le cas ou ma chaine de caracteres est matchee par au moins une des expressions.

J'imaginais donc creer une fonction qui compile toutes mes expressions regulieres passes par un tableau, et qui creerait un automate. Lorsque je passerais une chaine de charactere a cet automate, il me rendrait un indice numerique, qui serait celui de l'expression reguliere dans le tableau passe a la construction, qui a matche la chaine de charactere (et par exemple -1 ou autre chose lorsqu'on arrive pas dans un etat final : aucun matching).

[bredelet]

Ce que tu decris ressemble a un analyseur lexical (lexical parser), voir du cote de JavaCC, Antlr ou peut-etre Tom si tu trouves une solution...

[tchize_]

accessoirement, les expressions régulières, autant que je sache, sont déjà des automates. Si elle prenent vraiment trop de temps c'est que tu les a faites trop complexes. tu peux peut etre accélerer en faisant 2 expressions régulières, une qui fait un "survol" de la chaine et qui permet d'éliminer rapidement 90% des cas, puis tu fait l'expression en elle meme sur les chaines qui matchent.

Pour ce qui est du goulot d'étranglement, si je puis me permettre, un utilisateur qui tente de faire matcher 200 expressions régulière en temps réel du des fichiers de logs ou y 3 lignes pas secondes qui arrive .... n'est pas très malin!

Et meme comme çà, je vois pas pourquoi çà ne suivrais pas au niveau de java.