Discussion :

[pcouas]

Bonjour

Ma configuration logstash pour Kibaana ne semble lire qu"un seul fichier de logs et ne les concatene les differents fichiers par date.
Kibana 5.6.8 ne voit pas l'ensemble des logs mais un seul uniquement
ma conf logstash sous /home/elastichsearch/confLogs

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
input { 
	file {
        type => "static"
        path => "/home/elasticsearch/static_logs/**/*Web.log*" exclude => "*.zip"
		start_position => beginning
		sincedb_path => "/dev/null"		
    }
}

filter {
	if [type] == "static" {
        	if [message] !~ /(.+)/  {
            	drop { }
        	}
        	grok{
	         patterns_dir => "./patterns"
		     overwrite => [ "message" ]
			# 2017-08-07 11:47:35,466 INFO  [http-bio-10.60.2.19-10267-exec-60] jsch.DeployManagerFileUSImpl (DeployManagerFileUSImpl.java:155) - Deconnexion de l'hote qvizzza3
			# 2017-08-07 11:47:51,775 ERROR [http-bio-10.60.2.19-10267-exec-54] service.BindingsRSImpl (BindingsRSImpl.java:143) - Can't find bindings file deployed on server
			# 2017-08-03 16:01:11,352 WARN  [Thread-552] pcf2.AbstractObjetMQDAO (AbstractObjetMQDAO.java:137) - Descripteur de
			match => [ "message", "%{TIMESTAMP_ISO8601:logdate},%{INT} %{LOGLEVEL:logLevel}  \[(?<threadname>[^\]]+)\] %{JAVACLASS:package} \(%{JAVAFILE:className}:%{INT:line}\) - %{GREEDYDATA:message}" ]
        	}
		# 2017-08-03 16:01:11,352
        	date{
           	 match => [ "logdate", "YYYY-MM-dd hh:mm:ss" ]
			 target => "logdate"
   	 	    }
   	 	}
	}

output {
	elasticsearch { hosts => ["192.168.99.100:9200"]}

}

mon arboresence de fichiers logs
Le tomcat qui produit ses logs est "loadbalancé" sur 2 serveurs prd1 et prd2, et les logs sont logrotaté

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
static_logs
--prd1
----mlog Web.log
----mlog Web.log.1
----mlog Web.log.2
--prd2
----mlog Web.log
----mlog Web.log.2

Ou est mon erreur pour que kibana ne voit pas correctement tout mes fichiers ?
Le pattern /home/elasticsearch/confLogs/patterns/grok-patterns qui contient la definition de la TIMESTAMP_ISO8601 est t'il lu ?

Merci

[pcouas]

lorsque j'utilise ce fichier le champ "logstash" est vue comme une String dans KIBANA
Mais lorsque je met un seul fichier log avec le meme pattern mais sous path => "/home/elasticsearch/static_logs/*Web.log" exclude => "*.zip"
le champ "logstash" est vu de type date sous KIBANA !!

le soucis est donc dans la defintion de
path => "/home/elasticsearch/static_logs/**/*Web.log*" exclude => "*.zip"
puisque la concatenation dans
path => "/home/elasticsearch/static_logs/*Web.log" exclude => "*.zip" fonctionne !!

[pcouas]

Bonjour

Si la somme des fichiers statique en input fait plus de 140M de fichiers statique,le champ filter logdate de ma configuration n'est plus vu comme un champ date, mais comme un champ String !!
J'utilise logstash et kibana 5.6.8
Chacun de mes fichiers fait 20Mo
augmenter le parametre --pipeline.workers 2 ne sert pas

[pcouas]

path => "/home/elasticsearch/static_logs/**/*Web.log*" exclude => "*.zip"

HH dans le format de l'heure