Tutoriel sur l'installation, la supervision et la performance d'un cluster multi-nœud avec Cloudera CDH 5

Bonjour,

Je vous propose un troisième article sur Hadoop qui s'intéresse cette fois-ci à l'installation, la supervision et la performance d'un cluster multi-nœud avec Cloudera CDH 5.

L'adresse du tutoriel est ici : http://mbaron.developpez.com/tutorie...cloudera-cdh5/

Profitez de cette discussion pour laisser vos commentaires.

Pour rappel les précédents tutoriels sur Hadoop sont également disponibles :

• http://mbaron.developpez.com/tutorie...fs-map-reduce/
• http://mbaron.developpez.com/tutorie...cloudera-cdh5/

Merci d'avance et bonne lecture.

Mickael

Hello,

Une coquille s'est glissée dans le code:

Code:

---

1 2	if (args.length == 3) { new WordCounterMultiThread(args[0], args[1], args[2], Integer.parseInt(args[3]));

---

C'est étonnant, car soit vous n'avez pas mis exactement le code que vous avez utilisé, soit vous n'avez pas testé le code de votre tuto (qui avait l'air intéressant pourtant).
Dans les 2 cas çela le rend inutilisable.

Salut,

Merci de m'avoir remonté le problème. Le vrai code est disponible sur mon github. Il y a eu beaucoup de changements et je me rends que je n'avais pas totalement corrigé l'article.

C'est fait.

Mickael

Super, merci!

Très bon article. Le travail est précis et très didactique :D

Salut et Merci pour le super article !!

Voila j'ai suivie les étapes décrites dans le tuto, a l'étape IV-B , quatre :
- mon NameNode installation ok.
- Mes datanodes on tous le pb quand cloudera manager essaye de faire : Attente du signal de présence du nouvel agent installé.


En rouge , voici le message que je reçois :
Echec de l'installation. Echec de la réception du signal de présence de l'agent.
Assurez-vous que le nom d'hôte de l'hôte est correctement configuré.
Assurez-vous que le port 7182 est accessible sur Cloudera Manager Server (vérifiez les règles du pare-feu).
Assurez-vous que les ports 9000 et 9001 sont disponibles sur l'hôte ajouté.
Examinez les journaux de l'agent dans /var/log/cloudera-scm-agent/ sur l'hôte ajouté (certains journaux figurent dans les détails de l'installation).


Pièce jointe 203180



Es que vous avez une idée ?

Merci !

Bonjour,
D'abord , merci pour l’intérêt que vous allez accordé à ma question.
Je suis entrain de travailler avec Talend open studio for big data 6.3.0 avec la distribution Cloudera CDH5.8.0 d'hadoop.
Je suis entrain de suivre un tutoriel , et je suis arrivé au chargement des données dans HDFS mais je n'ai pas trouvé les 2 champs Local directory et HDFS directory pour les remplir comme mentionné dans la figure 1, ce que j'ai c'est la fenêtre de la figure 2.
Je pense que celui là depend de la version de cloudera que j'utilise la 5.8.0 contrairement à celle utilisé dans le tuto 5.5.
Alors je tiens par ce présent message à demander comment je peux charger mes donner pour exécuter mon premier job.
Pièce jointe 229060
MErci beaucoup

bonsoir à tous,
merci pour le tuto, il est très intéressant. je suis une débutante en Big Data, j'ai implémenté un programme mapReduce que je souhaite tester avec cloudera (cluster multi noeuds). Ma question est la suivante: étant donné que j'utilise VMware pour la virtualisation et j'ai 4 machines virtuelles ubuntu, pour pouvoir suivre ce tuto, est ce que je dois installer cloudera cdh5 tout d'abord ou bien je peux directement installer cloudera manager sur la machine master et suivre le reste des étapes. Merci bien