Un fichier de log par thread avec Log4j et log4j.properties

Version imprimable

Bonjour,

J'ai une application qui est multithread(8 ethreads). Au début je loggais tous les résultats des 8 threads dans un seul fichier. Mais l'ordre des informations présentes dans le fichier de *.log ne me convient pas. Chaque thread écrit quand bon lui semble et les infos des diverses threads sont un peu partout dans le fichier *.log. Pas forcément les unes à la suite des autres (A cause de la préemption je pense). Alors, j'ai voulu que chaque thread crée son propre fichier de log et y stocke ses informations. Pour cela j'ai configuré le fichier log4j.properties comme ceci:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 log4j.rootLogger=INFO,stdout,fout log4j.logger1=,stdout,fout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout log4j.appender.stdout.layout.ConversionPattern= %d{ABSOLUTE} [%-5p] %m%n log4j.appender.fout=org.apache.log4j.FileAppender log4j.appender.fout.Append=false log4j.appender.fout.File=${monFichier} log4j.appender.fout.layout=org.apache.log4j.PatternLayout log4j.appender.fout.layout.ConversionPattern=%d{ABSOLUTE} [%-8t] [%-5p] %m%n
Et dans chaque Thread, je modifie la propriété ${monFichier} comme ceci:
Code:

1 2 3 System.setProperty("monFichier",this.getClass().getName() + ".log"); PropertyConfigurator.configure("resources/log4j.properties");
Je n'obtiens pas le résultat souhaité. Tous les fichiers de log de chaque Thread sont bien créés. Mais il n'y a qu'un seul fichier qui correspond au dernier thread lancé qui est rempli. A croire que les loggers de chaque thread s'appuient systématiquement sur l'état courant du fichier "log4j.properties". Et comme sa propriété ${monFichier} est modifiée par la dernière thread, son état courant indique donc que le fichier de sortie est celui de la dernière thread.

Merci pour votre aide

13/10/2015, 19h42
joel.drigo

Salut,

Pourquoi ne pas simplement créér un logger par thread, dirigé vers un appender dédié (dans la config, log4j.logger.<nom du logger>=<LEVEL>, <nom de l'appender> et pour demander le logger dans code logFactory.getInstance(<nom du logger>);.
13/10/2015, 19h55
hsmr

Merci pour l'intérêt.
J'y ai pensé. Mais mon appli va évoluer vers une création du nombre de thread de façon aléatoire. Tantôt 8, voir plus, voir moins. Le nombre de thread deviendra dynamique.
Et avec cette idée, si j'ai bien compris le nombre appender est déjà figé.
13/10/2015, 20h03
joel.drigo

Dans ce cas, créer programmatiquement l'appender pour chaque loger, éventuellement par copie d'un appender type paramétré dans le properties (donc juste à changer dynamiquement le nom du fichier).

Maintenant, personnellement, j'ai plus de 60 threads dans mon application et je logue tout dans le même fichier, avec le nom du thread dans le pattern, et je filtre ensuite sur le fichier journal. Il y a des outils tout faits qui font ça en plus.
13/10/2015, 20h26
tchize_

ou créer un appender custom qui fait le travail, ce n'est pas bien sorcier. Il suffit d'étendre AppenderSkeleton

Citation:

Envoyé par joel.drigo

Dans ce cas, créer programmatiquement l'appender pour chaque loger, éventuellement par copie d'un appender type paramétré dans le properties (donc juste à changer dynamiquement le nom du fichier).

Maintenant, personnellement, j'ai plus de 60 threads dans mon application et je logue tout dans le même fichier, avec le nom du thread dans le pattern, et je filtre ensuite sur le fichier journal. Il y a des outils tout faits qui font ça en plus.

Je vais partir sur ta proposition. Je l'ai essayé aujourd'hui. Mais visiblement il y'a un truk qui m'échappe.
Voici mon fichier de log4j.properties
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 # initialize root logger with level ERROR for stdout and fout log4j.rootLogger=INFO,stdout # add a ConsoleAppender to the logger stdout to write to the console log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout # use a simple message format log4j.appender.stdout.layout.ConversionPattern= %d{ABSOLUTE} [%-5p] %m%n log4j.logger.dev=INFO,fout # add a FileAppender to the logger fout log4j.appender.fout=org.apache.log4j.FileAppender # create a log file #log4j.appender.fout.Append=false log4j.appender.fout.File=devsrv.log #log4j.appender.fout.File=${monFichier} log4j.appender.fout.layout=org.apache.log4j.PatternLayout # use a more detailed message pattern log4j.appender.fout.layout.ConversionPattern=%d{ABSOLUTE} [%-8t] [%-5p] %m%n
où je définis le logger père com.dev.
Voici le premier code JAVA où j'essaie de modifier l'APPENDER directement dans le code.
Code:

1 2 3 4 5 logger = Logger.getLogger(com.dev.thread1); PropertyConfigurator.configure("resources/log4j.properties"); FileAppender myFApp = (FileAppender) logger.getAppender(InfoBoxSrv.FILE_APPENDER); myFApp.setFile(this.getClass().getName() + ".log");
Ca ne marche. Après investigation, je me suis rendu compte que le logger fils com.dev.thread1 (héritier du logger père com.dev) n'a pas d'appender propre à lui (null).
Du coup j'ai modifié mon code comme ceci.
Code:

1 2 3 4 5 6 7 8 9 logger = Logger.getLogger(com.dev.thread1); PropertyConfigurator.configure("resources/log4j.properties"); FileAppender myFApp = (FileAppender)logger.getParent().getAppender(InfoBoxSrv.FILE_APPENDER); FileAppender file = new FileAppender(); file.setFile(this.getClass().getName() + ".log"); file.setLayout(myFApp.getLayout()); file.setName(myFApp.getName()); logger.addAppender(file);
Toujours rien de concluant. Le fichier de sorti est bien créé mais il est vide. Une erreur dans mon code ?

15/10/2015, 09h40
joel.drigo

Citation:

Envoyé par hsmr

Toujours rien de concluant. Le fichier de sorti est bien créé mais il est vide. Une erreur dans mon code ?

Dans ton thread tu logues bien sur ce logger (que tu décris dans ton code, qui devrait être logger = Logger.getLogger(une chaîne unique par thread (et pas la classe));.
La solution proposée par @Tchize_ a l'avantage de ne pas avoir à intervenir sur la façon de sélectionner le logger dans le code du thread (tous les threads loguent dans le même logger, mais c'est l'appender custom qui redirige vers un fichier différents selon le thread émetteur).

Citation:

Envoyé par joel.drigo

Dans ton thread tu logues bien sur ce logger (que tu décris dans ton code, qui devrait être logger = Logger.getLogger(une chaîne unique par thread (et pas la classe));.
La solution proposée par @Tchize_ a l'avantage de ne pas avoir à intervenir sur la façon de sélectionner le logger dans le code du thread (tous les threads loguent dans le même logger, mais c'est l'appender custom qui redirige vers un fichier différents selon le thread émetteur).

D'accord. Je vais finalement partir sur la solution d'un custumAppender en étendant la classe AppenderSkeleton. Après un peu de lecture, je bloque au niveau de la logique à implémenter dans la fonction append. Je pense créer ma HashMap<String,Appender> stockant un Appender approprié à un thread. Ce que je ne comprends pas trop, c'est comment notifier à mon FileAppender d'écrire l'event dans le fichier.
Voici mon code actuel.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 @Override protected void append(LoggingEvent event){ FileAppender appender = null; String contains = null; String msg = null; String threadName = null; String[] tab = null; threadName = event.getLoggerName(); tab = threadName.split("\\."); threadName = tab[tab.length-1]; msg = (String)event.getMessage(); if(this.h_fileString.containsKey(threadName)){ appender = this.h_fileAppenders.get(threadName); //Comment je notifie à mon Appender créé de flush le msg dans le fichier } else{ try{ appender = new FileAppender(layout, threadName + ".log", false); this.h_fileAppenders.put(threadName, appender); //Comment je notifie à mon Appender créé de flush le msg dans le fichier } catch(Exception e){//catch(IOException e){ LogLog.error("", e); } } }
Dans ma réflexion, je me suis dit, où il faut que j'écrive moi même la logique d'écriture du message délivrer par l'event dans un fichier via les classes BufferWriter. Cela est-il déjà géré automatiquement par des routines de FileAppender? Désolé mais là je découvre totalement le log4j.

16/10/2015, 16h09
joel.drigo

Si tu implémentes ton propre appender, il n'y a pas besoin de différents loggers ou appender : tu ajoutes simplement à ta configuration initiale un logger spécifique pour tes threads qui est dirigé vers ton appender.

Ensuite, déjà, pour avoir le thread, c'est loggingEvent.getThreadName(), pas [c]getLoggerName()[/c}. Ensuite, oui, tu peux faire une map clef=nom de thread, valeur=FileAppender, avec une fonction qui créé un FileAppender en lui affectant un nom de fichier qui dépend du nom du thread (au plus simple, un préfix + le nom du thread +.log par exemple (ou avec un MessageFormat par exemple). Chaque fois qu'un nom de thread n'est pas trouvé dans la map, créer un nouveau FileAppender correspondant, et le mapper. Utiliser le FileAppender mappé pour simplement rediriger append(LoggingEvent).
19/10/2015, 11h26
hsmr

Citation:

Envoyé par joel.drigo

Si tu implémentes ton propre appender, il n'y a pas besoin de différents loggers ou appender : tu ajoutes simplement à ta configuration initiale un logger spécifique pour tes threads qui est dirigé vers ton appender.

Ensuite, déjà, pour avoir le thread, c'est loggingEvent.getThreadName(), pas [c]getLoggerName()[/c}. Ensuite, oui, tu peux faire une map clef=nom de thread, valeur=FileAppender, avec une fonction qui créé un FileAppender en lui affectant un nom de fichier qui dépend du nom du thread (au plus simple, un préfix + le nom du thread +.log par exemple (ou avec un MessageFormat par exemple). Chaque fois qu'un nom de thread n'est pas trouvé dans la map, créer un nouveau FileAppender correspondant, et le mapper. Utiliser le FileAppender mappé pour simplement rediriger append(LoggingEvent).

Tout marche comme voulu.
Merci pour votre aide.