Bonjour
je débute avec ELK,
je souhaite envoyer les logs vers une base elasticsearch et je suis confronté à un problème de format de donnée et que je ne px pas exploiter via Kibana
en effet, depuis mon application java j'envoie le log sous format Sting
au niveau d'elasticsearch je me retrouve avec des données non exploitables, toute ma ligne est encapsulée dans "message",
Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4 LOGGER.info("TEST", "ID={}; PROCESS={}; SERVICE={}", new String[] {"150", "MOD", "calcul"}); LOGGER.info("TEST", "ID={}; PROCESS={}; SERVICE={}", new String[] {"150", "MOD", "calcul"}); LOGGER.info("TEST", "ID={}; PROCESS={}; SERVICE={}", new String[] {"154", "COMPTA", "genTruc"});
j aurais souhaité avoir un truc ce genre
Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34 { "_index": "logstash-2017.11.23", "_type": "doc", "_id": "Ax-g6V8BfAMnkgUlziAH", "_version": 1, "_score": null, "_source": { "@timestamp": "2017-11-23T16:05:50.715Z", "HOSTNAME": "FR0X15245L", "level": "INFO", "port": 55079, "thread_name": "main", "level_value": 20000, "@version": 1, "host": "127.0.0.1", "logger_name": "com.log.LogMain", "@metdata": { "ip_address": "127.0.0.1" }, "message": "ID=150; PROCESS=MOD; SERVICE=calcul", "tags": [ "TEST" ] }, "fields": { "@timestamp": [ "2017-11-23T16:05:50.715Z" ] }, "sort": [ 1511453150715 ] }
quelqu'un, svp, aurait un idée comment formatter les données dans elasticsearch ou avant ?
Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6 { ID:"150" , PROCESS"MOD", SERVICE="calcul" }
voici ma conf logstash
si vous avez un tuto bien fait, je suis preneur
Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15 input { tcp { port => 5050 codec => "json" mode => "server" } } output { elasticsearch { hosts => [ "127.0.0.1:9200" ] index => "logstash-%{+YYYY.MM.dd}" } stdout { } }
merci d'avance
Partager