Discussion :

[lecompte81]

Bonjour,

Je suis nouveau dans ce domaine et je comprends pas encore beaucoup de choses. j'aimerais m'initier à Talend BigData en utilisant hadoop hortonworks mais je suis confronté à beaucoup de soucis pour mettre en place la plateforme.
j'ai téléchargé la sandbox hortonworks et talend BD, j'ai réalisé un job avec un thdfsconnect pour me connecter à hadoop mais j'ai jamais réussi à me connecter.
j'ai des message d'erreur genre impossible de se connecter.
quelqu'un peut-il m'aider et me donner des tuyaux pour mettre en place cette plateforme.

merci par avance

[progscoubi]

salut,

arrive tu a pinger ta vm.
souvent le problème des VM c'est qu'elles n'ont pas d'ip propre et donc si tu met 127.0.0.1 et que Talend est installé sur ton poste physique il trouve rien.

mais de mémoire Talend doit etre présent dans la SANDBOX il me semble qu'ils ont un accord et que Talend est fourni avec Hortonworks donc il doit être présent dans la VM.

perso j'ai utilisé CLOUDERA mais apès j'ai déjà réussi a faire 2 -3 ptits trucs avec HW

bon courage.. perso la découverte des BD demande plus de recherche par soit meme car on est pas beaucoup à s'y interesser pour le moment.

si je peux t'aider n'hesite pas

[lecompte81]

Bonjour,
J'ai réussi à mettre en place une plateforme avec la VM hortonworks et talend installé sur un post local. Pour que la connexion puisse être établie il faudrait utiliser la dernière version de TOS BD la 5.4 qui résout beaucoup de bug. il faudrait entre autre choisir la version Hadoop V2 BigWheel.
Je voudrais maintenant utiliser TOS sur une autre VM, c-a-d essayer de communiqier entre la VM de TOS et la VM Hortonworks, mais j'ai l'erreur suivante:

xception in component tHDFSPut_1
java.io.IOException: Failed on local exception: java.io.EOFException; Host Details : local host is: "10.8.0.41"; destination host is: "10.8.0.57":8020;
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:764)
at org.apache.hadoop.ipc.Client.call(Client.java:1351)
at org.apache.hadoop.ipc.Client.call(Client.java:1300)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
at $Proxy9.mkdirs(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:186)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
at $Proxy9.mkdirs(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.mkdirs(ClientNamenodeProtocolTranslatorPB.java:467)
at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:2394)
at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:2365)
at org.apache.hadoop.hdfs.DistributedFileSystem$16.doCall(DistributedFileSystem.java:817)
at org.apache.hadoop.hdfs.DistributedFileSystem$16.doCall(DistributedFileSystem.java:813)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirsInternal(DistributedFileSystem.java:813)
at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs(DistributedFileSystem.java:806)
at org.apache.hadoop.fs.FileSystem.mkdirs(FileSystem.java:1933)
at bd_project.hdfs_put_0_1.hdfs_put.tHDFSPut_1Process(hdfs_put.java:417)
at bd_project.hdfs_put_0_1.hdfs_put.tHDFSConnection_1Process(hdfs_put.java:348)
at bd_project.hdfs_put_0_1.hdfs_put.runJobInTOS(hdfs_put.java:754)
at bd_project.hdfs_put_0_1.hdfs_put.main(hdfs_put.java:619)
Caused by: java.io.EOFException
at java.io.DataInputStream.readInt(Unknown Source)
at org.apache.hadoop.ipc.Client$Connection.receiveRpcResponse(Client.java:995)
at org.apache.hadoop.ipc.Client$Connection.run(Client.java:891)