IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Autres outils Discussion :

talend Big Data avec hortonworks


Sujet :

Autres outils

  1. #1
    Membre à l'essai
    Profil pro
    Inscrit en
    septembre 2011
    Messages
    12
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : septembre 2011
    Messages : 12
    Points : 12
    Points
    12
    Par défaut talend Big Data avec hortonworks
    Bonjour,

    Je suis nouveau dans ce domaine et je comprends pas encore beaucoup de choses. j'aimerais m'initier à Talend BigData en utilisant hadoop hortonworks mais je suis confronté à beaucoup de soucis pour mettre en place la plateforme.
    j'ai téléchargé la sandbox hortonworks et talend BD, j'ai réalisé un job avec un thdfsconnect pour me connecter à hadoop mais j'ai jamais réussi à me connecter.
    j'ai des message d'erreur genre impossible de se connecter.
    quelqu'un peut-il m'aider et me donner des tuyaux pour mettre en place cette plateforme.

    merci par avance

  2. #2
    Membre habitué
    Homme Profil pro
    Consultant ERP
    Inscrit en
    juillet 2011
    Messages
    199
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant ERP

    Informations forums :
    Inscription : juillet 2011
    Messages : 199
    Points : 129
    Points
    129
    Par défaut
    salut,

    arrive tu a pinger ta vm.
    souvent le problème des VM c'est qu'elles n'ont pas d'ip propre et donc si tu met 127.0.0.1 et que Talend est installé sur ton poste physique il trouve rien.

    mais de mémoire Talend doit etre présent dans la SANDBOX il me semble qu'ils ont un accord et que Talend est fourni avec Hortonworks donc il doit être présent dans la VM.

    perso j'ai utilisé CLOUDERA mais apès j'ai déjà réussi a faire 2 -3 ptits trucs avec HW

    bon courage.. perso la découverte des BD demande plus de recherche par soit meme car on est pas beaucoup à s'y interesser pour le moment.

    si je peux t'aider n'hesite pas

  3. #3
    Membre à l'essai
    Profil pro
    Inscrit en
    septembre 2011
    Messages
    12
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : septembre 2011
    Messages : 12
    Points : 12
    Points
    12
    Par défaut
    Bonjour,
    J'ai réussi à mettre en place une plateforme avec la VM hortonworks et talend installé sur un post local. Pour que la connexion puisse être établie il faudrait utiliser la dernière version de TOS BD la 5.4 qui résout beaucoup de bug. il faudrait entre autre choisir la version Hadoop V2 BigWheel.
    Je voudrais maintenant utiliser TOS sur une autre VM, c-a-d essayer de communiqier entre la VM de TOS et la VM Hortonworks, mais j'ai l'erreur suivante:

    xception in component tHDFSPut_1
    java.io.IOException: Failed on local exception: java.io.EOFException; Host Details : local host is: "10.8.0.41"; destination host is: "10.8.0.57":8020;
    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:764)
    at org.apache.hadoop.ipc.Client.call(Client.java:1351)
    at org.apache.hadoop.ipc.Client.call(Client.java:1300)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
    at $Proxy9.mkdirs(Unknown Source)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
    at java.lang.reflect.Method.invoke(Unknown Source)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:186)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
    at $Proxy9.mkdirs(Unknown Source)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.mkdirs(ClientNamenodeProtocolTranslatorPB.java:467)
    at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:2394)
    at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:2365)
    at org.apache.hadoop.hdfs.DistributedFileSystem$16.doCall(DistributedFileSystem.java:817)
    at org.apache.hadoop.hdfs.DistributedFileSystem$16.doCall(DistributedFileSystem.java:813)
    at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
    at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirsInternal(DistributedFileSystem.java:813)
    at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs(DistributedFileSystem.java:806)
    at org.apache.hadoop.fs.FileSystem.mkdirs(FileSystem.java:1933)
    at bd_project.hdfs_put_0_1.hdfs_put.tHDFSPut_1Process(hdfs_put.java:417)
    at bd_project.hdfs_put_0_1.hdfs_put.tHDFSConnection_1Process(hdfs_put.java:348)
    at bd_project.hdfs_put_0_1.hdfs_put.runJobInTOS(hdfs_put.java:754)
    at bd_project.hdfs_put_0_1.hdfs_put.main(hdfs_put.java:619)
    Caused by: java.io.EOFException
    at java.io.DataInputStream.readInt(Unknown Source)
    at org.apache.hadoop.ipc.Client$Connection.receiveRpcResponse(Client.java:995)
    at org.apache.hadoop.ipc.Client$Connection.run(Client.java:891)

Discussions similaires

  1. Talend Open Studio for Big Data va passer sous licence Apache
    Par Gordon Fowler dans le forum Talend
    Réponses: 6
    Dernier message: 25/11/2013, 21h33
  2. Réponses: 2
    Dernier message: 13/05/2013, 09h33
  3. Réponses: 0
    Dernier message: 31/01/2013, 01h53
  4. Réponses: 2
    Dernier message: 20/12/2012, 23h44
  5. Réponses: 1
    Dernier message: 28/10/2011, 15h38

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo