Discussion :

[speedster]

Bonjour,

J'ai développé un système de logs centralisés pour une application. Ces logs utilisent un JDBCAppender (que j'ai légèrement modifié) de l'API log4j afin de les insérer dans une base de données.

L'insertion étant assez couteuse, j'ai redéfini la méthode execute() du JDBCAppender afin qu'elle lance un thread et puis appelle la vraie méthode execute().

En fait, je souhaite que mon traitement principal se fasse le plus rapidement possible quitte à repousser l'insertion des logs vers la fin du traitement principal. Seulement ne connaissant pas à l'avance la durée de mon traitement principal, je ne suis pas assuré que l'insertion aura lieu à la fin.

Pire, il se peut que le thread principal et le thread d'insertion des logs alternent et de ce fait ralentissent le déroulement de la tâche.

Avez-vous des suggestions à me proposer afin de m'assurer (ou presque) que le traitement des logs ait lieu à la fin de ma tâche principale ?

[in]

je ne suis pas sûr que ma réponse soit la meilleure mais bon je propose toujours histoire de lancer le sujet ...

en utilisant un ThreadPoolExecutor, tu pourrais placer des threads d'écriture du log en file d'attente et les exécuter dans l'ordre en fin de traitement.

Par contre au final je ne pense pas que ce soit mieux que de stocker dans une structure en mémoire le contenu de ton log et de l'écrire à la fin (enfin en terme de perf)

[afrikha]

Bonjour,

Pourquoi ne pas lancer le nouveau thread ( celui chargé du log ) à la fin du thread qui fait les calculs ?

@+

[Dirty Henry]

A mon avis la meilleure solution est de faire quelque chose d'intermédiaire.

Il faudrait définir un nombre maximum de logs à garder en mémoire, et dès que ce nombre est atteint, une thread de priorité basse se lance pour les insérer en base.

En effet, attendre la fin de l'exécution pour insérer les logs est dangeureux car ça peut être gourmand en mémoire mais tout dépend de la volumétrie des logs de ton application.

[wtfu]

hello,

est-ce que tu as pensé à utiliser hibernate pour tes logs ? Ce n'est certainement pas la solution la plus light, mais niveau perf c'est quand même pas mal. Tu pourrais ainsi créér tes logs et les commiter avec une bonne précision.

Ce n'est qu'une suggestion...

[speedster]

Merci pour vos suggestions.

J'ai finalement décidé d'utiliser une file d'attente et d'y insérer mes requêtes d'insertion de logs. Un thread qui se réveille toutes les 10s s'occupe de vider la file d'attente. J'ai volontairement borné la taille de la file d'attente pour éviter d'utiliser trop de mémoire. Quand la file est remplie, j'envoie un signal d'interruption au thread pour le forcer à se réveiller et faire son traitement habituel.