Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #1
    Responsable Java

    Tutoriel sur l'installation, la supervision et la performance d'un cluster multi-nœud avec Cloudera CDH 5
    Bonjour,

    Je vous propose un troisième article sur Hadoop qui s'intéresse cette fois-ci à l'installation, la supervision et la performance d'un cluster multi-nœud avec Cloudera CDH 5.

    L'adresse du tutoriel est ici : http://mbaron.developpez.com/tutorie...cloudera-cdh5/

    Profitez de cette discussion pour laisser vos commentaires.

    Pour rappel les précédents tutoriels sur Hadoop sont également disponibles :


    Merci d'avance et bonne lecture.

    Mickael
    Responsable Java de Developpez.com (Twitter et Facebook)
    Besoin d"un article/tutoriel/cours sur Java, consulter la page cours
    N'hésitez pas à consulter la FAQ Java et à poser vos questions sur les forums d'entraide Java
    --------
    Ingénieur de Recherche en informatique au LIAS / ISAE-ENSMA
    Page de Developpez.com : mbaron.developpez.com
    Twitter : www.twitter.com/mickaelbaron
    Blog : mickael-baron.fr
    LinkedIn : www.linkedin.com/in/mickaelbaron
    DBLP : dblp.uni-trier.de/pers/hd/b/Baron:Micka=euml=l

  2. #2
    Membre du Club
    Petite coquille
    Hello,

    Une coquille s'est glissée dans le code:
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    if (args.length == 3) {
                new WordCounterMultiThread(args[0], args[1], args[2], Integer.parseInt(args[3]));
    C'est étonnant, car soit vous n'avez pas mis exactement le code que vous avez utilisé, soit vous n'avez pas testé le code de votre tuto (qui avait l'air intéressant pourtant).
    Dans les 2 cas çela le rend inutilisable.

  3. #3
    Responsable Java

    Salut,

    Merci de m'avoir remonté le problème. Le vrai code est disponible sur mon github. Il y a eu beaucoup de changements et je me rends que je n'avais pas totalement corrigé l'article.

    C'est fait.

    Mickael
    Responsable Java de Developpez.com (Twitter et Facebook)
    Besoin d"un article/tutoriel/cours sur Java, consulter la page cours
    N'hésitez pas à consulter la FAQ Java et à poser vos questions sur les forums d'entraide Java
    --------
    Ingénieur de Recherche en informatique au LIAS / ISAE-ENSMA
    Page de Developpez.com : mbaron.developpez.com
    Twitter : www.twitter.com/mickaelbaron
    Blog : mickael-baron.fr
    LinkedIn : www.linkedin.com/in/mickaelbaron
    DBLP : dblp.uni-trier.de/pers/hd/b/Baron:Micka=euml=l

  4. #4
    Membre du Club
    Super, merci!

  5. #5
    Membre actif
    Très bon article. Le travail est précis et très didactique

  6. #6
    Membre à l'essai
    Problème d'installation
    Salut et Merci pour le super article !!

    Voila j'ai suivie les étapes décrites dans le tuto, a l'étape IV-B , quatre :
    - mon NameNode installation ok.
    - Mes datanodes on tous le pb quand cloudera manager essaye de faire : Attente du signal de présence du nouvel agent installé.


    En rouge , voici le message que je reçois :
    Echec de l'installation. Echec de la réception du signal de présence de l'agent.
    Assurez-vous que le nom d'hôte de l'hôte est correctement configuré.
    Assurez-vous que le port 7182 est accessible sur Cloudera Manager Server (vérifiez les règles du pare-feu).
    Assurez-vous que les ports 9000 et 9001 sont disponibles sur l'hôte ajouté.
    Examinez les journaux de l'agent dans /var/log/cloudera-scm-agent/ sur l'hôte ajouté (certains journaux figurent dans les détails de l'installation).







    Es que vous avez une idée ?

    Merci !

  7. #7
    Membre du Club
    Ou trouver les 2 champs Local directory and the HDFS directory dans talend 6.3.0 pour les remplir
    Bonjour,
    D'abord , merci pour l’intérêt que vous allez accordé à ma question.
    Je suis entrain de travailler avec Talend open studio for big data 6.3.0 avec la distribution Cloudera CDH5.8.0 d'hadoop.
    Je suis entrain de suivre un tutoriel , et je suis arrivé au chargement des données dans HDFS mais je n'ai pas trouvé les 2 champs Local directory et HDFS directory pour les remplir comme mentionné dans la figure 1, ce que j'ai c'est la fenêtre de la figure 2.
    Je pense que celui là depend de la version de cloudera que j'utilise la 5.8.0 contrairement à celle utilisé dans le tuto 5.5.
    Alors je tiens par ce présent message à demander comment je peux charger mes donner pour exécuter mon premier job.

    MErci beaucoup

  8. #8
    Nouveau Candidat au Club
    cloudera
    bonsoir à tous,
    merci pour le tuto, il est très intéressant. je suis une débutante en Big Data, j'ai implémenté un programme mapReduce que je souhaite tester avec cloudera (cluster multi noeuds). Ma question est la suivante: étant donné que j'utilise VMware pour la virtualisation et j'ai 4 machines virtuelles ubuntu, pour pouvoir suivre ce tuto, est ce que je dois installer cloudera cdh5 tout d'abord ou bien je peux directement installer cloudera manager sur la machine master et suivre le reste des étapes. Merci bien

###raw>template_hook.ano_emploi###