Tutoriel sur l'installation et configuration d'un cluster simple noeud avec Cloudera CDH 5
Bonjour,
Je vous propose un deuxième article sur Hadoop qui s'intéresse l'installation et à la configuration d'un cluster simple noeud avec Cloudera CDH 5.
L'adresse du tutoriel est ici : http://mbaron.developpez.com/tutorie...cloudera-cdh5/
Profitez de cette discussion pour laisser vos commentaires.
Merci d'avance et bonne lecture.
Mickael
PC pour instaler CLOUDERA
Citation:
Envoyé par
Mickael Baron
Bonjour,
Je vous propose un deuxième article sur Hadoop qui s'intéresse l'installation et à la configuration d'un cluster simple noeud avec Cloudera CDH 5.
L'adresse du tutoriel est ici : http://mbaron.developpez.com/tutorie...cloudera-cdh5/
Profitez de cette discussion pour laisser vos commentaires.
Merci d'avance et bonne lecture.
Mickael
Bonjour,
Je voudrais installer cloudera sur mon pc qui a 4 G0 de RAM ce qui n'est pas suffisant. J'envisage donc d'acheter un nouveau PC. Qu'est ce que vous me conseillez ? ( RAM, processeur, etc. )
Merci pour vote aide.
AHMED;
Problème de lancement du service resourcemanager
Salut Mickael et merci pour ce tutoriel assez détaillé pour un débutant.
J'ai suivi l’installation de la première partie en ce qui concerne cloudera, et tout allait bien jusqu'au démarrage des différents services liés. En fait j'ai 3 services sur 4 qui se lancent. correctement : Le namenode, le datanode, le nodemanager.
Par contre, le resourcemanager n'y arrive pas, et cela fait plusieurs jours que je suis la dessus. Je ne sais pas si tu as déjà croisé ce genre de problèmes pour m'aider. ça m'arrangerait beaucoup. :)
D'après ce que j'ai pu comprendre des logs, hadoop cherche les configs dans /etc/hadoop/conf.empty/*.xml alors que les miens se trouvent dans /etc/hadoop/conf/*.xml
Voici une partie du log
2015-06-21 19:49:28,744 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: registered UNIX signal handlers for [TERM, HUP, INT]
2015-06-21 19:49:29,030 INFO org.apache.hadoop.conf.Configuration: found resource core-site.xml at file:/etc/hadoop/conf.empty/core-site.xml
2015-06-21 19:49:29,184 INFO org.apache.hadoop.security.Groups: clearing userToGroupsMap cache
2015-06-21 19:49:29,341 INFO org.apache.hadoop.conf.Configuration: found resource yarn-site.xml at file:/etc/hadoop/conf.empty/yarn-site.xml
2015-06-21 19:49:30,119 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.resourcemanager.RMFatalEventType for class org.apache.hadoop.yarn.server.resourcemanager.ResourceManager$RMFatalEventDispatcher
2015-06-21 19:49:30,188 INFO org.apache.hadoop.yarn.server.resourcemanager.security.NMTokenSecretManagerInRM: NMTokenKeyRollingInterval: 86400000ms and NMTokenKeyActivationDelay: 900000ms
2015-06-21 19:49:30,195 INFO org.apache.hadoop.yarn.server.resourcemanager.security.RMContainerTokenSecretManager: ContainerTokenKeyRollingInterval: 86400000ms and ContainerTokenKeyActivationDelay: 900000ms
2015-06-21 19:49:30,205 INFO org.apache.hadoop.yarn.server.resourcemanager.security.AMRMTokenSecretManager: AMRMTokenKeyRollingInterval: 86400000ms and AMRMTokenKeyActivationDelay: 900000 ms
2015-06-21 19:49:30,254 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.resourcemanager.recovery.RMStateStoreEventType for class org.apache.hadoop.yarn.server.resourcemanager.recovery.RMStateStore$ForwardingEventHandler
2015-06-21 19:49:30,262 INFO org.apache.hadoop.yarn.event.AsyncDispatcher: Registering class org.apache.hadoop.yarn.server.resourcemanager.NodesListManagerEventType for class org.apache.hadoop.yarn.server.resourcemanager.NodesListManager
2015-06-21 19:49:30,262 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Using Scheduler: org.apache.hadoop.yarn.s
Merci d'avance.
NB : J'espère que c'est le bon topic.