+ Répondre à la discussion Actualité déjà publiée
Page 1 sur 2 12 DernièreDernière
  1. #1
    Responsable Java

    Avatar de Mickael Baron
    Homme Profil pro
    Ingénieur de Recherche en Informatique
    Inscrit en
    juillet 2005
    Messages
    11 935
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Vienne (Poitou Charente)

    Informations professionnelles :
    Activité : Ingénieur de Recherche en Informatique
    Secteur : Service public

    Informations forums :
    Inscription : juillet 2005
    Messages : 11 935
    Points : 58 095
    Points
    58 095

    Par défaut Tutoriel sur l'installation et configuration d'un cluster simple noeud avec Cloudera CDH 5

    Bonjour,

    Je vous propose un deuxième article sur Hadoop qui s'intéresse l'installation et à la configuration d'un cluster simple noeud avec Cloudera CDH 5.

    L'adresse du tutoriel est ici : http://mbaron.developpez.com/tutorie...cloudera-cdh5/

    Profitez de cette discussion pour laisser vos commentaires.

    Merci d'avance et bonne lecture.

    Mickael
    Responsable Java de Developpez.com (Twitter et Facebook)
    Besoin d"un article/tutoriel/cours sur Java, consulter la page cours
    N'hésitez pas à consulter la FAQ Java et à poser vos questions sur les forums d'entraide Java
    --------
    Ingénieur de Recherche en informatique au LIAS / ISAE-ENSMA
    Page de cours : mbaron.developpez.com
    Blog : keulkeul.blogspot.com
    LinkedIn : https://www.linkedin.com/in/mickaelbaron
    Twitter : www.twitter.com/mickaelbaron

  2. #2
    Membre éclairé
    Avatar de yimson
    Homme Profil pro
    Consultant Big Data
    Inscrit en
    janvier 2009
    Messages
    218
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Hauts de Seine (Île de France)

    Informations professionnelles :
    Activité : Consultant Big Data
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : janvier 2009
    Messages : 218
    Points : 737
    Points
    737

    Par défaut

    Merci Mickaël, j'attendais l'article avec impatience !!!!

  3. #3
    Membre à l'essai
    Homme Profil pro
    Étudiant
    Inscrit en
    février 2013
    Messages
    13
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : février 2013
    Messages : 13
    Points : 20
    Points
    20

    Par défaut

    j'ai essayé d'appliquer la deuxième partie "Installation et configuration d'un cluster simple nœud avec Cloudera CDH 5", tout marche bien jusqu'au l'installation du paquet lié à la gestion des métadonnées ( hadoop-hdfs-namenode), quand j'essaye d'installer ce dernier, le terminal m'affiche l'erreur lié à "unmet dependencies", ça fait 3 jours que je cherche sur le net pour regler ce problème mais rien de nouveau, SVP veuillez me donner un coup de main.
    Merci

  4. #4
    Responsable Java

    Avatar de Mickael Baron
    Homme Profil pro
    Ingénieur de Recherche en Informatique
    Inscrit en
    juillet 2005
    Messages
    11 935
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Vienne (Poitou Charente)

    Informations professionnelles :
    Activité : Ingénieur de Recherche en Informatique
    Secteur : Service public

    Informations forums :
    Inscription : juillet 2005
    Messages : 11 935
    Points : 58 095
    Points
    58 095

    Par défaut

    Salut,

    Cette erreur ne me dit rien, désolé. Le mieux serait de poster un message sur le forum de Cloudera.

    Mickael
    Responsable Java de Developpez.com (Twitter et Facebook)
    Besoin d"un article/tutoriel/cours sur Java, consulter la page cours
    N'hésitez pas à consulter la FAQ Java et à poser vos questions sur les forums d'entraide Java
    --------
    Ingénieur de Recherche en informatique au LIAS / ISAE-ENSMA
    Page de cours : mbaron.developpez.com
    Blog : keulkeul.blogspot.com
    LinkedIn : https://www.linkedin.com/in/mickaelbaron
    Twitter : www.twitter.com/mickaelbaron

  5. #5
    Membre à l'essai
    Homme Profil pro
    Étudiant
    Inscrit en
    février 2013
    Messages
    13
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : février 2013
    Messages : 13
    Points : 20
    Points
    20

    Par défaut

    Ok Merci

  6. #6
    Responsable Java

    Avatar de Mickael Baron
    Homme Profil pro
    Ingénieur de Recherche en Informatique
    Inscrit en
    juillet 2005
    Messages
    11 935
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Vienne (Poitou Charente)

    Informations professionnelles :
    Activité : Ingénieur de Recherche en Informatique
    Secteur : Service public

    Informations forums :
    Inscription : juillet 2005
    Messages : 11 935
    Points : 58 095
    Points
    58 095

    Par défaut

    Sinon, tu peux essayer via Cloudera Manager qui automatise toute l'installation.

    Mickael
    Responsable Java de Developpez.com (Twitter et Facebook)
    Besoin d"un article/tutoriel/cours sur Java, consulter la page cours
    N'hésitez pas à consulter la FAQ Java et à poser vos questions sur les forums d'entraide Java
    --------
    Ingénieur de Recherche en informatique au LIAS / ISAE-ENSMA
    Page de cours : mbaron.developpez.com
    Blog : keulkeul.blogspot.com
    LinkedIn : https://www.linkedin.com/in/mickaelbaron
    Twitter : www.twitter.com/mickaelbaron

  7. #7
    Membre à l'essai
    Homme Profil pro
    Étudiant
    Inscrit en
    février 2013
    Messages
    13
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : février 2013
    Messages : 13
    Points : 20
    Points
    20

    Par défaut

    J'ai trouvé une solution Merci

  8. #8
    Responsable Java

    Avatar de Mickael Baron
    Homme Profil pro
    Ingénieur de Recherche en Informatique
    Inscrit en
    juillet 2005
    Messages
    11 935
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Vienne (Poitou Charente)

    Informations professionnelles :
    Activité : Ingénieur de Recherche en Informatique
    Secteur : Service public

    Informations forums :
    Inscription : juillet 2005
    Messages : 11 935
    Points : 58 095
    Points
    58 095

    Par défaut

    ça serait cool que tu nous expliques comment tu as fait afin d'en faire profiter tout le monde.

    Merci

    Mickael
    Responsable Java de Developpez.com (Twitter et Facebook)
    Besoin d"un article/tutoriel/cours sur Java, consulter la page cours
    N'hésitez pas à consulter la FAQ Java et à poser vos questions sur les forums d'entraide Java
    --------
    Ingénieur de Recherche en informatique au LIAS / ISAE-ENSMA
    Page de cours : mbaron.developpez.com
    Blog : keulkeul.blogspot.com
    LinkedIn : https://www.linkedin.com/in/mickaelbaron
    Twitter : www.twitter.com/mickaelbaron

  9. #9
    Membre à l'essai
    Homme Profil pro
    Étudiant
    Inscrit en
    février 2013
    Messages
    13
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : février 2013
    Messages : 13
    Points : 20
    Points
    20

    Par défaut

    Salut Mr Mickael Baron,

    Vous vous avez installé les éléments de Hadoop un par un ( pour bien éclairer les choses ) ,pour moi , j'ai téléchargé le dossier de Hadoop tout entier, et j'ai procédé la même configuration.

  10. #10
    Responsable Java

    Avatar de Mickael Baron
    Homme Profil pro
    Ingénieur de Recherche en Informatique
    Inscrit en
    juillet 2005
    Messages
    11 935
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Vienne (Poitou Charente)

    Informations professionnelles :
    Activité : Ingénieur de Recherche en Informatique
    Secteur : Service public

    Informations forums :
    Inscription : juillet 2005
    Messages : 11 935
    Points : 58 095
    Points
    58 095

    Par défaut

    pour moi , j'ai téléchargé le dossier de Hadoop tout entier, et j'ai procédé la même configuration
    Es-tu parti sur la distribution Cloudera ou celle d'Apache ?

    Mickael
    Responsable Java de Developpez.com (Twitter et Facebook)
    Besoin d"un article/tutoriel/cours sur Java, consulter la page cours
    N'hésitez pas à consulter la FAQ Java et à poser vos questions sur les forums d'entraide Java
    --------
    Ingénieur de Recherche en informatique au LIAS / ISAE-ENSMA
    Page de cours : mbaron.developpez.com
    Blog : keulkeul.blogspot.com
    LinkedIn : https://www.linkedin.com/in/mickaelbaron
    Twitter : www.twitter.com/mickaelbaron

  11. #11
    Membre à l'essai
    Homme Profil pro
    Étudiant
    Inscrit en
    février 2013
    Messages
    13
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : février 2013
    Messages : 13
    Points : 20
    Points
    20

    Par défaut

    Celle d'Apache,
    pour le téléchargement, j'ai exactement exécuté la commande suivante :
    sudo wget mirrors.koehn.com/apache/hadoop/common/hadoop-2.4.0/hadoop-2.4.0.tar.gz

  12. #12
    Responsable Java

    Avatar de Mickael Baron
    Homme Profil pro
    Ingénieur de Recherche en Informatique
    Inscrit en
    juillet 2005
    Messages
    11 935
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Vienne (Poitou Charente)

    Informations professionnelles :
    Activité : Ingénieur de Recherche en Informatique
    Secteur : Service public

    Informations forums :
    Inscription : juillet 2005
    Messages : 11 935
    Points : 58 095
    Points
    58 095

    Par défaut

    Au tout début, j'étais parti sur la distribution d'Apache. Malheureusement, pour des configurations plus poussées (Fuse par exemple ou Hue) ça devenait difficile de mettre en place. J'ai donc choisi une distribution car c'est bien beau la bidouille, il faut arriver à produire à un moment.

    Sinon dans mon tutoriel il y a une explication pour la distribution Hadoop (http://mbaron.developpez.com/tutorie...a-cdh5/#LVII-C)

    Mickael
    Responsable Java de Developpez.com (Twitter et Facebook)
    Besoin d"un article/tutoriel/cours sur Java, consulter la page cours
    N'hésitez pas à consulter la FAQ Java et à poser vos questions sur les forums d'entraide Java
    --------
    Ingénieur de Recherche en informatique au LIAS / ISAE-ENSMA
    Page de cours : mbaron.developpez.com
    Blog : keulkeul.blogspot.com
    LinkedIn : https://www.linkedin.com/in/mickaelbaron
    Twitter : www.twitter.com/mickaelbaron

  13. #13
    Membre à l'essai
    Homme Profil pro
    Étudiant
    Inscrit en
    février 2013
    Messages
    13
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Maroc

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : février 2013
    Messages : 13
    Points : 20
    Points
    20

    Par défaut

    Oui vous avez raison, vue que le big data est une technologie encore jeune, ses outils sont dificile à mettre en place, pour moi j'arrive pas à installer Hue et je sais pas vraiment pourquoi ?! la commande sudo apt-get install Hue affcihe : Enable to locate package Hue. j'ai essayé d'autre methodes mais les erreurs sont toujours là. vraiment c'est compliqué!

  14. #14
    Nouveau Candidat au Club
    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    septembre 2014
    Messages
    1
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : septembre 2014
    Messages : 1
    Points : 1
    Points
    1

    Par défaut PC pour instaler CLOUDERA

    Citation Envoyé par Mickael Baron Voir le message
    Bonjour,

    Je vous propose un deuxième article sur Hadoop qui s'intéresse l'installation et à la configuration d'un cluster simple noeud avec Cloudera CDH 5.

    L'adresse du tutoriel est ici : http://mbaron.developpez.com/tutorie...cloudera-cdh5/

    Profitez de cette discussion pour laisser vos commentaires.

    Merci d'avance et bonne lecture.

    Mickael
    Bonjour,
    Je voudrais installer cloudera sur mon pc qui a 4 G0 de RAM ce qui n'est pas suffisant. J'envisage donc d'acheter un nouveau PC. Qu'est ce que vous me conseillez ? ( RAM, processeur, etc. )
    Merci pour vote aide.
    AHMED;

  15. #15
    Candidat au Club
    Homme Profil pro
    Inscrit en
    mars 2012
    Messages
    3
    Détails du profil
    Informations personnelles :
    Sexe : Homme

    Informations forums :
    Inscription : mars 2012
    Messages : 3
    Points : 3
    Points
    3

    Par défaut Problème de lancement du service resourcemanager

    Salut Mickael et merci pour ce tutoriel assez détaillé pour un débutant.

    J'ai suivi l’installation de la première partie en ce qui concerne cloudera, et tout allait bien jusqu'au démarrage des différents services liés. En fait j'ai 3 services sur 4 qui se lancent. correctement : Le namenode, le datanode, le nodemanager.

    Par contre, le resourcemanager n'y arrive pas, et cela fait plusieurs jours que je suis la dessus. Je ne sais pas si tu as déjà croisé ce genre de problèmes pour m'aider. ça m'arrangerait beaucoup.

    D'après ce que j'ai pu comprendre des logs, hadoop cherche les configs dans /etc/hadoop/conf.empty/*.xml alors que les miens se trouvent dans /etc/hadoop/conf/*.xml


    Voici une partie du log

    2015-06-21 19:49:28,744 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: registered UNIX signal handlers for [TERM, HUP, INT]
    2015-06-21 19:49:29,030 INFO org.apache.hadoop.conf.Configuration: found resource core-site.xml at file:/etc/hadoop/conf.empty/core-site.xml
    2015-06-21 19:49:29,184 INFO org.apache.hadoop.security.Groups: clearing userToGroupsMap cache
    2015-06-21 19:49:29,341 INFO org.apache.hadoop.conf.Configuration: found resource yarn-site.xml at file:/etc/hadoop/conf.empty/yarn-site.xml
    2015-06-21 19:49:30,119 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.resourcemanager.RMFatalEventType for class org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$RMFatalEventDispatcher
    2015-06-21 19:49:30,188 INFO org.apache.hadoop.yarn.server.resourcemanager.security.NMTokenSecretManagerInRM: NMTokenKeyRollingInterval: 86400000ms and NMTokenKeyActivationDelay: 900000ms
    2015-06-21 19:49:30,195 INFO org.apache.hadoop.yarn.server.resourcemanager.security.RMContainerTokenSecretManager: ContainerTokenKeyRollingInterval: 86400000ms and ContainerTokenKeyActivationDelay: 900000ms
    2015-06-21 19:49:30,205 INFO org.apache.hadoop.yarn.server.resourcemanager.security.AMRMTokenSecretManager: AMRMTokenKeyRollingInterval: 86400000ms and AMRMTokenKeyActivationDelay: 900000 ms
    2015-06-21 19:49:30,254 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.resourcemanager.recovery.RMStateStoreEventType for class org.apache.hadoop.yarn.server.resourcemanager.recovery.RMStateStore$ForwardingEventHandler
    2015-06-21 19:49:30,262 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.resourcemanager.NodesListManagerEventType for class org.apache.hadoop.yarn.server.resourcemanager.NodesListManager
    2015-06-21 19:49:30,262 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Using Scheduler: org.apache.hadoop.yarn.s



    Merci d'avance.

    NB : J'espère que c'est le bon topic.

  16. #16
    Responsable Java

    Avatar de Mickael Baron
    Homme Profil pro
    Ingénieur de Recherche en Informatique
    Inscrit en
    juillet 2005
    Messages
    11 935
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Vienne (Poitou Charente)

    Informations professionnelles :
    Activité : Ingénieur de Recherche en Informatique
    Secteur : Service public

    Informations forums :
    Inscription : juillet 2005
    Messages : 11 935
    Points : 58 095
    Points
    58 095

    Par défaut

    Salut,

    Quand j'ai rencontré des soucis c'était souvent car mon cluster était trop petit. J'ai constaté des comportements très étrange quand j'avais configuré pour un seul noeud.

    De ton côté quel est la topologie de ton cluster ?

    Mickael
    Responsable Java de Developpez.com (Twitter et Facebook)
    Besoin d"un article/tutoriel/cours sur Java, consulter la page cours
    N'hésitez pas à consulter la FAQ Java et à poser vos questions sur les forums d'entraide Java
    --------
    Ingénieur de Recherche en informatique au LIAS / ISAE-ENSMA
    Page de cours : mbaron.developpez.com
    Blog : keulkeul.blogspot.com
    LinkedIn : https://www.linkedin.com/in/mickaelbaron
    Twitter : www.twitter.com/mickaelbaron

  17. #17
    Candidat au Club
    Homme Profil pro
    Inscrit en
    mars 2012
    Messages
    3
    Détails du profil
    Informations personnelles :
    Sexe : Homme

    Informations forums :
    Inscription : mars 2012
    Messages : 3
    Points : 3
    Points
    3

    Par défaut

    Citation Envoyé par Mickael Baron Voir le message
    Salut,

    Quand j'ai rencontré des soucis c'était souvent car mon cluster était trop petit. J'ai constaté des comportements très étrange quand j'avais configuré pour un seul noeud.

    De ton côté quel est la topologie de ton cluster ?

    Mickael

    Pour moi c'est aussi un seul noeud. Je n'utilise que mon ordi seulement pour l'instant. Je suis entrain de suivre le tutoriel pas à pas.
    Les comportements étranges que tu avais, c'etait dans le même type d'erreur?
    Et si je veux configurer pour plus d'un noeud dans le cluster, tu as un lien que tu pourrais me recommander?

    Merci

  18. #18
    Candidat au Club
    Homme Profil pro
    Inscrit en
    mars 2012
    Messages
    3
    Détails du profil
    Informations personnelles :
    Sexe : Homme

    Informations forums :
    Inscription : mars 2012
    Messages : 3
    Points : 3
    Points
    3

    Par défaut

    Citation Envoyé par bobisolo Voir le message
    Pour moi c'est aussi un seul noeud. Je n'utilise que mon ordi seulement pour l'instant. Je suis entrain de suivre le tutoriel pas à pas.
    Les comportements étranges que tu avais, c'etait dans le même type d'erreur?
    Et si je veux configurer pour plus d'un noeud dans le cluster, tu as un lien que tu pourrais me recommander?

    Merci
    Desolé, j'avais pas vu la troisième partie de ce cours. Je vais réessayer cela pour voir.
    J'espère avoir plus de chance cette fois.

    Encore merci

  19. #19
    Responsable Java

    Avatar de Mickael Baron
    Homme Profil pro
    Ingénieur de Recherche en Informatique
    Inscrit en
    juillet 2005
    Messages
    11 935
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Vienne (Poitou Charente)

    Informations professionnelles :
    Activité : Ingénieur de Recherche en Informatique
    Secteur : Service public

    Informations forums :
    Inscription : juillet 2005
    Messages : 11 935
    Points : 58 095
    Points
    58 095

    Par défaut

    Salut,

    L'installation avec un seul noeud n'est pas très recommandé et n'a pas trop de sens. J'avais aussi des soucis pour lancer mon job MR.

    Bon courage car ce n'est pas une technologie facile à prendre à main

    Mickael
    Responsable Java de Developpez.com (Twitter et Facebook)
    Besoin d"un article/tutoriel/cours sur Java, consulter la page cours
    N'hésitez pas à consulter la FAQ Java et à poser vos questions sur les forums d'entraide Java
    --------
    Ingénieur de Recherche en informatique au LIAS / ISAE-ENSMA
    Page de cours : mbaron.developpez.com
    Blog : keulkeul.blogspot.com
    LinkedIn : https://www.linkedin.com/in/mickaelbaron
    Twitter : www.twitter.com/mickaelbaron

  20. #20
    Candidat au Club
    Femme Profil pro
    Étudiant
    Inscrit en
    novembre 2015
    Messages
    3
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Étudiant
    Secteur : Enseignement

    Informations forums :
    Inscription : novembre 2015
    Messages : 3
    Points : 3
    Points
    3

    Par défaut Hadoop sur windows

    Odemwilu

    Merci pour ce lien. Comment faire alors pour installer hadoop ssur windows?

Discussions similaires

  1. Réponses: 6
    Dernier message: 17/12/2016, 13h41
  2. Réponses: 4
    Dernier message: 03/12/2014, 15h35
  3. Réponses: 0
    Dernier message: 18/12/2013, 18h43

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo