Discussion :

[WipEout37]

Bonjour,

J'essaie de faire tourner Apache Hadoop sur Ubuntu (pas en virtuel) avec un seul nœud. Lorsque je clique sur browse et upload file, il me sort une erreur lié au webhfs ou un truc du genre (désolé je n'ai pas l'erreur sous la main car je suis retourné sur Windows). J'ajoute que j'ai installé Hadoop apache plusieurs fois avec des tutos différents sans résultat (toujours la même erreur…).

Est-ce normal ? ou qu'ai-je mal fait ?
Merci d'avance.

[rouardg]

Bonjour,

Pour tenter de vous aider, je pense qu'il nous faudrait un peu plus de détails.

Ok, vous n'avez qu'un seul noeud. Par contre, comment avez-vous installé Apache Hadoop ? En téléchargeant la version depuis le site Apache Hadoop ?
Ou bien utilisez vous une distribution comme Cloudera ou Hortonworks ou MapR ?

Sur quelle version d'Hadoop travaillez-vous ?

Et pour finir, puisque vous n'avez qu'un noeud, avez-vous installé Hadoop en mode standalone ou en mode pseudo-distribué ?
Je rappelle que les 2 s'installent sur un seul noeud, et que la différence se situe en terme de nombre de JVM.

En mode standalone, tout Hadoop tourne dans une seule et unique JVM.

En mode pseudo-distribué, on a plusieurs JVM.

Pour finir, si vous avez suivi un tuto pour installer Hadoop, merci de nous communiquer si possible le lien.

[WipEout37]

Bonjour,

Premièrement merci beaucoup pour votre réponse.
Je repasserai ce soir pour vous indiquer exactement l’erreur que j’ai et comment j’ai procédé.

Je peux déjà répondre à quelques questions.

J’ai téléchargé une version hadoop sur le site apache. J’ai suivi le Tuto associé. J’ai essayé des versions plus ou moins récentes d’hadoop. Je crois que je suis en pseudo distribué mais pas certain. Je dois réinstaller Linux et retester.


Le Tuto est celui-ci. Il y en a d’autres mais essayons déjà avec celui la ..

http://hadoop.apache.org/docs/stable...leCluster.html

J’ai réussi à le faire fonctionner avec java 11 sans soucis, à part le message d’erreur que j’ai évoqué dans mon précédent post.


En vous remerciant.

[rouardg]

Ok, essayez de nous donner le maximum d'information, notamment l'erreur que vous avez au niveau WebHDFS.

En regardant le tuto, je vois qu'après l'installation d'Hadoop, ils vous font formater l'HDFS : bin/hdfs namenode -format
Puis ils vous font démarrer le Namenode et le Datanode : sbin/start-dfs.sh

Le Namnode dispose implicitement d'un UI (User Interface) qui est un serveur Web et qui est accessible par le port 50070 par défaut :

Browse the web interface for the NameNode; by default it is available at:

NameNode - http://localhost:50070/

J'ai l'impression que vous accédez bien à cette URL. Dans l'onglet "Utilities", il y a bien un Browser de répertoire. Moi cela me donne cette erreur depuis mon PC :



Dans mon cas c'est normal car le cluster Hadoop que j'utilise est Kerbérisé.

Parlons-nous bien de la même chose, le Namenode UI sur le port 50070 ? Si oui, il me faudrait le message d'erreur SVP, voir une copie d'écran si possible.

Merci

[WipEout37]

Re bonjour,

Je vous remercie pour votre aide.
Nous parlons bien de la même interface (j’y accède via le port 9870, le numéro de port ayant changé). L’erreur que vous avez est ressemblante sans être tout à fait la même.

Je vous posterai la copie d’ecran ce soir.

Encore merci pour votre aide précieuse.

[rouardg]

Au fait, très important : si vous voulez utiliser l'API REST WebHDFS pour pouvoir lire et écrire des données dans l'HDFS, il faut l'activer !

Aussi votre fichier de configuration hdfs-site.xml doit contenir :

<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

Et pour info complémentaire, si un jour vous activez la haute-disponibilité au niveau de l'HDFS, faites attention car le protocole WebHDFS ne supporte pas la HA (High Availability).

A ce moment-là, il faut utiliser l'HttpFS. Encore une couche logicielle supplémentaire à configurer !