Indexation dans Elasticsearch

**infiniste** · 24/06/2015, 13h09

Bonjour,

Je souhaite indexer mes données dans Elasticsearch via un job Talend en utilisant le composant "tElasticsearchIndex" comme l'indique la figuresuivante:

-------------------------------------------------------------------------------------
Nom : 409517Capture.png
Affichages : 1090
Taille : 23,0 Ko

Nom : 409517Capture.png
Affichages : 1090
Taille : 23,0 Ko

-------------------------------------------------------------------------------------

J'ai Elasticsearch installé et configuré sur ma machine.
Le problème c'est que j'ai une erreur lors de l'execution du job..
[INFO ]: org.elasticsearch.client.transport - [James Proudstar] failed to get node info for [#transport#-1][Hamza-PC][inet[localhost/127.0.0.1:9200]], disconnecting...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
Starting job format_date at 13:06 24/06/2015.
 
[statistics] connecting to socket on port 3599
[statistics] connected
[INFO ]: org.elasticsearch.plugins - [James Proudstar] loaded [], sites []
[INFO ]: org.elasticsearch.client.transport - [James Proudstar] failed to get node info for [#transport#-1][Hamza-PC][inet[localhost/127.0.0.1:9200]], disconnecting...
org.elasticsearch.transport.ReceiveTimeoutTransportException: [][inet[localhost/127.0.0.1:9200]][cluster:monitor/nodes/info] request_id [0] timed out after [5001ms]
	at org.elasticsearch.transport.TransportService$TimeoutHandler.run(TransportService.java:366)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
	at java.lang.Thread.run(Unknown Source)
Exception in component tElasticsearchIndex_1
org.elasticsearch.client.transport.NoNodeAvailableException: None of the configured nodes are available: []
	at org.elasticsearch.client.transport.TransportClientNodesService.ensureNodesAreAvailable(TransportClientNodesService.java:278)
	at org.elasticsearch.client.transport.TransportClientNodesService.execute(TransportClientNodesService.java:197)
	at org.elasticsearch.client.transport.support.InternalTransportClient.execute(InternalTransportClient.java:106)
	at org.elasticsearch.client.support.AbstractClient.bulk(AbstractClient.java:163)
	at org.elasticsearch.client.transport.TransportClient.bulk(TransportClient.java:364)
	at org.elasticsearch.action.bulk.BulkRequestBuilder.doExecute(BulkRequestBuilder.java:164)
	at org.elasticsearch.action.ActionRequestBuilder.execute(ActionRequestBuilder.java:91)
	at org.elasticsearch.action.ActionRequestBuilder.execute(ActionRequestBuilder.java:65)
	at simulate.format_date_0_1.format_date.tFileInputDelimited_1Process(format_date.java:631)
[statistics] disconnected
	at simulate.format_date_0_1.format_date.runJobInTOS(format_date.java:940)
	at simulate.format_date_0_1.format_date.main(format_date.java:797)
Job format_date ended at 13:06 24/06/2015. [exit code=1]

**Moctezuma** · 24/06/2015, 14h07

Salut,

Questions (possiblement bêtes) en vrac :

ElasticSearch est-il bien démarré?
Ton index est créer sur ElasticSearch?
Le nom de l'index est-il correct entre ton composant et le cluster ElasticSearch?

La comme ça c'est un peu vague.
Pourrais-tu fournir des captures d'écran de la configuration du composant ElasticSearch ainsi que la configuration de l'index ElasticSearch?

**supergeoffrey** · 24/06/2015, 14h16

Est-tu sûr du port qu'utilise Elasticsearch? Beaucoup de personnes ont cette erreur car le port par défaut est 9300.
Ton serveur est-il bien démarré?

http://stackoverflow.com/questions/1...using-java-api

**infiniste** · 24/06/2015, 14h25

1. ElasticSearch est-il bien démarré?
OUI

2. Ton index est créer sur ElasticSearch?
NON c'est pas créé..

3. Le nom de l'index est-il correct entre ton composant et le cluster ElasticSearch?
le nom du cluster et l'index doivent etres identique?? Je ne savais pas ça..

**infiniste** · 24/06/2015, 14h28

Envoyé par supergeoffrey

Est-tu sûr du port qu'utilise Elasticsearch? Beaucoup de personnes ont cette erreur car le port par défaut est 9300.
Ton serveur est-il bien démarré?

http://stackoverflow.com/questions/1...using-java-api

J'ai changé le port du composant ES et du composant ES.. Mais c'est tjrs la meme erreur..

**supergeoffrey** · 24/06/2015, 14h29

Envoyé par infiniste

3. Le nom de l'index est-il correct entre ton composant et le cluster ElasticSearch?
le nom du cluster et l'index doivent etres identique?? Je ne savais pas ça..

Tu as mal compris la question de Moctezuma.
Il voulais dire as-tu bien renseigné le nom de l'index dans ton composant? Et se nomme-t-il bien comme dans ElasticSearch.

**Moctezuma** · 24/06/2015, 14h34

Envoyé par infiniste

1. ElasticSearch est-il bien démarré?
OUI

2. Ton index est créer sur ElasticSearch?
NON c'est pas créé..

3. Le nom de l'index est-il correct entre ton composant et le cluster ElasticSearch?
le nom du cluster et l'index doivent etres identique?? Je ne savais pas ça..

1- Ca vaut le coup de demander

2- Et as-tu essayer en créant l'index dans ElasticSearch?

3- Voir réponse de supergeoffrey

Pourrais-tu nous fournir une capture d'écran de la config du composant ElasticSearch stp?
Parce que j'ai l'impression que Talend n'arrive pas à trouver le noeud ElasticSearch en fait.

PS : Normalement, le port par défaut est bien le 9200, donc pas de soucis de ce côté là.
Re-PS : Pour ma part, j'ai déjà réussi à envoyer des documents via le composant tSystem (je n'ai pas utiliser le composant ElasticSearch)

**infiniste** · 24/06/2015, 14h43

Ah oué

oui c'est je viens de créer l'index "logstash-talend-index" dans elasticsearch et voici une capture de la config du composant telasticsearch:

Nom : 647992Capture.png
Affichages : 1081
Taille : 13,4 Ko

Nom : 647992Capture.png
Affichages : 1081
Taille : 13,4 Ko

**Moctezuma** · 24/06/2015, 14h47

Merci!

Et pourrais-tu nous donner une capture d'écran de la configuration d'Elasticsearch stp?
(via le plugin head tu as toutes les informations sur le premier onglet Overview de mémoire)

**infiniste** · 24/06/2015, 14h51

le fichier de config de Elasticsearch 1.5.2 est entièrement commenté.. j'ai gardé la config par défaut...

**Moctezuma** · 24/06/2015, 14h57

Ok donc si il est entièrement commenté, cela veut dire qu'à chaque démarrage, ElasticSearch va donner un nom aléatoire au cluster (nom de personnage de Comics en réalité).
Donc je mettrai un petit billet que l'erreur que tu rencontres viens de là...

Stoppe ElasticSearch.
Dans le fichier de config ElasticSearch, décommentes la ligne (je ne sais plus laquelle, mais celle relative au nom du cluster) et donne lui un nom fixe.
Ensuite, relance ElactisSearch.
Enfin, vérifie dans Talend que le nom indiqué correspond bien au nom de ton cluster.

**Moctezuma** · 24/06/2015, 14h59

Et n'hésites pas à installer le plugin Head sur ElasticSearch (pratique pour l'administration) :

http://mobz.github.io/elasticsearch-head/

**infiniste** · 24/06/2015, 15h22

j'ai toujours le problème "failed to get node info for..."

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
Starting job format_date at 15:18 24/06/2015.
 
[statistics] connecting to socket on port 3767
[statistics] connected
[INFO ]: org.elasticsearch.plugins - [Atalon] loaded [], sites []
[WARN ]: org.elasticsearch.transport.netty - [Atalon] Message not fully read (response) for [0] handler future(org.elasticsearch.client.transport.TransportClientNodesService$SimpleNodeSampler$1@17b18d5e), error [false], resetting
[INFO ]: org.elasticsearch.client.transport - [Atalon] failed to get node info for [#transport#-1][Hamza-PC][inet[localhost/127.0.0.1:9300]], disconnecting...
org.elasticsearch.transport.RemoteTransportException: Failed to deserialize response of type [org.elasticsearch.action.admin.cluster.node.info.NodesInfoResponse]
Caused by: org.elasticsearch.transport.TransportSerializationException: Failed to deserialize response of type [org.elasticsearch.action.admin.cluster.node.info.NodesInfoResponse]
	at org.elasticsearch.transport.netty.MessageChannelHandler.handleResponse(MessageChannelHandler.java:152)
	at org.elasticsearch.transport.netty.MessageChannelHandler.messageReceived(MessageChannelHandler.java:127)
	at org.elasticsearch.common.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70)
	at org.elasticsearch.common.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564)
	at org.elasticsearch.common.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendUpstream(DefaultChannelPipeline.java:791)
	at org.elasticsearch.common.netty.channel.Channels.fireMessageReceived(Channels.java:296)
	at org.elasticsearch.common.netty.handler.codec.frame.FrameDecoder.unfoldAndFireMessageReceived(FrameDecoder.java:462)
	at org.elasticsearch.common.netty.handler.codec.frame.FrameDecoder.callDecode(FrameDecoder.java:443)
	at org.elasticsearch.common.netty.handler.codec.frame.FrameDecoder.messageReceived(FrameDecoder.java:303)
	at org.elasticsearch.common.netty.channel.SimpleChannelUpstreamHandler.handleUpstream(SimpleChannelUpstreamHandler.java:70)
	at org.elasticsearch.common.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:564)
	at org.elasticsearch.common.netty.channel.DefaultChannelPipeline.sendUpstream(DefaultChannelPipeline.java:559)
	at org.elasticsearch.common.netty.channel.Channels.fireMessageReceived(Channels.java:268)
	at org.elasticsearch.common.netty.channel.Channels.fireMessageReceived(Channels.java:255)
	at org.elasticsearch.common.netty.channel.socket.nio.NioWorker.read(NioWorker.java:88)
	at org.elasticsearch.common.netty.channel.socket.nio.AbstractNioWorker.process(AbstractNioWorker.java:108)
	at org.elasticsearch.common.netty.channel.socket.nio.AbstractNioSelector.run(AbstractNioSelector.java:318)
	at org.elasticsearch.common.netty.channel.socket.nio.AbstractNioWorker.run(AbstractNioWorker.java:89)
	at org.elasticsearch.common.netty.channel.socket.nio.NioWorker.run(NioWorker.java:178)
	at org.elasticsearch.common.netty.util.ThreadRenamingRunnable.run(ThreadRenamingRunnable.java:108)
	at org.elasticsearch.common.netty.util.internal.DeadLockProofWorker$1.run(DeadLockProofWorker.java:42)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
	at java.lang.Thread.run(Unknown Source)
Caused by: java.lang.VerifyError: class org.apache.lucene.analysis.standard.StandardAnalyzer overrides final method tokenStream.(Ljava/lang/String;Ljava/io/Reader;)Lorg/apache/lucene/analysis/TokenStream;
	at java.lang.ClassLoader.defineClass1(Native Method)
	at java.lang.ClassLoader.defineClass(Unknown Source)
	at java.security.SecureClassLoader.defineClass(Unknown Source)
	at java.net.URLClassLoader.defineClass(Unknown Source)
	at java.net.URLClassLoader.access$100(Unknown Source)
	at java.net.URLClassLoader$1.run(Unknown Source)
	at java.net.URLClassLoader$1.run(Unknown Source)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(Unknown Source)
	at java.lang.ClassLoader.loadClass(Unknown Source)
	at sun.misc.Launcher$AppClassLoader.loadClass(Unknown Source)
	at java.lang.ClassLoader.loadClass(Unknown Source)
	at org.elasticsearch.Version.fromId(Version.java:424)
	at org.elasticsearch.Version.readVersion(Version.java:236)
	at org.elasticsearch.cluster.node.DiscoveryNode.readFrom(DiscoveryNode.java:323)
	at org.elasticsearch.cluster.node.DiscoveryNode.readNode(DiscoveryNode.java:306)
	at org.elasticsearch.action.support.nodes.NodeOperationResponse.readFrom(NodeOperationResponse.java:54)
	at org.elasticsearch.action.admin.cluster.node.info.NodeInfo.readFrom(NodeInfo.java:200)
	at org.elasticsearch.action.admin.cluster.node.info.NodeInfo.readNodeInfo(NodeInfo.java:194)
	at org.elasticsearch.action.admin.cluster.node.info.NodesInfoResponse.readFrom(NodesInfoResponse.java:54)
	at org.elasticsearch.transport.netty.MessageChannelHandler.handleResponse(MessageChannelHandler.java:150)
	... 23 more
Exception in component tElasticsearchIndex_1
org.elasticsearch.client.transport.NoNodeAvailableException: None of the configured nodes are available: []
	at org.elasticsearch.client.transport.TransportClientNodesService.ensureNodesAreAvailable(TransportClientNodesService.java:278)
	at org.elasticsearch.client.transport.TransportClientNodesService.execute(TransportClientNodesService.java:197)
	at org.elasticsearch.client.transport.support.InternalTransportClient.execute(InternalTransportClient.java:106)
	at org.elasticsearch.client.support.AbstractClient.bulk(AbstractClient.java:163)
	at org.elasticsearch.client.transport.TransportClient.bulk(TransportClient.java:364)
	at org.elasticsearch.action.bulk.BulkRequestBuilder.doExecute(BulkRequestBuilder.java:164)
	at org.elasticsearch.action.ActionRequestBuilder.execute(ActionRequestBuilder.java:91)
	at org.elasticsearch.action.ActionRequestBuilder.execute(ActionRequestBuilder.java:65)
	at simulate.format_date_0_1.format_date.tFileInputDelimited_1Process(format_date.java:629)
[statistics] disconnected
	at simulate.format_date_0_1.format_date.runJobInTOS(format_date.java:938)
	at simulate.format_date_0_1.format_date.main(format_date.java:795)
Job format_date ended at 15:18 24/06/2015. [exit code=1]

**Moctezuma** · 24/06/2015, 15h27

Ok.

As-tu bien configuré le composant ElasticSearch?
Par défault, ElasticSearch écoute sur le port 9200, or je vois que dans le message d'erreur, il est mentionné 9300...

**infiniste** · 24/06/2015, 15h31

Envoyé par Moctezuma

Ok.

As-tu bien configuré le composant ElasticSearch?
Par défault, ElasticSearch écoute sur le port 9200, or je vois que dans le message d'erreur, il est mentionné 9300...

9200 c'est le port d'écoute de Elasticsearch, 9300 c'est le port de transport via l'API Java par défaut..

**Moctezuma** · 24/06/2015, 15h44

Trouvé sur un forum (http://elasticsearch-users.115913.n3...td3920119.html)

We had the same problem.
reason: The application server uses a older version of log4j than ES needed.

**Moctezuma** · 24/06/2015, 15h47

https://groups.google.com/forum/#!to...ch/bglWlNjyruQ

Soit un problème de configuration ou un problème de version...

**infiniste** · 24/06/2015, 15h52

Envoyé par Moctezuma

https://groups.google.com/forum/#!to...ch/bglWlNjyruQ

Soit un problème de configuration ou un problème de version...

OK, mais je n'arrive pas à trouver ni la cause ni la solution

.........

**Moctezuma** · 24/06/2015, 15h59

Je sais bien mais si tu ne nous fournis pas la configuration d'ElasticSearch (comme demandé auparavant), il va être difficile de t'aider d'avantage...

**Moctezuma** · 24/06/2015, 16h02

Le composant tElasticSearchIndex je ne le connais pas, mais il existe un "workaround" via le composant tSystem.

Cela consiste à balancer la commande ElasticSearch XPOST (pour poster des documents) directement dans le composant tSystem et ça marche bien (pour l'avoir testé et éprouvé).
Il faut juste coonvertir ton input en JSON.

Indexation dans Elasticsearch

Développement de jobs

Discussions similaires

Partager

Partager