Discussion :

[Flibidi]

Salut à tous!

Je tente de lancer un job MapReduce et à chaque fois, j'obtiens l'erreur suivante (via le RessourceManager):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Not able to initialize app-log directories in any of the configured local directories

Voici à toutes fins utiles mon yarn-site.xml:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
<configuration>
 
<!-- Site specific YARN configuration properties -->
 
<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
    <value>2200</value>
      <description>Amount of physical memory, in MB, that can be allocated for containers.</description>
      </property>
 
<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>500</value>
    </property>
 
<property>
  <name>yarn.scheduler.maximum-allocation-mb</name>
      <value>2000</value>
          </property>
 
<property>
  <name>yarn.scheduler.minimum-allocation-vcores</name>
        <value>1</value>
                  </property>
 
<property>
  <name>yarn.scheduler.maximum-allocation-vcores</name>
          <value>2</value>
                            </property>
 
<property>
        <name>yarn.nodemanager.disk-health-checker.enable</name>
                <value>false</value>
                </property>
 
<property>
      <name>yarn.log-aggregation-enable</name>
            <value>true</value>
              </property>
<property>
 <name>yarn.nodemanager.local-dirs</name>
 <value>/tmp/yarn_logs</value>
 </property>
 
<property>
 <name>app-log directories</name>
  <value>/tmp/yarn_logs</value>
   </property>
 
</configuration>

(J'ai désactivé le healthy check pour voir clairement les erreurs)

Voici ce que j'ai déjà essayé en cherchant pdt un bon moment:

Supprimer le contenu du usercache des local.dirs de yarn
Redémarrer tous les services hadoop
Mettre un chmod 777 sur les local.dirs et les dirs de logs pour être sur que ça venait pas de là
J'ai aussi checké : mes services hadoop sont tous up. Je sais plus trop quoi faire. Qqn a une idée?

Merci d'avance et bonne journée à tous!

[Jidefix]

Hello,
est-ce que tu es en mode standalone ou sur un vrai cluster? dans le cas numéro 2, est-ce que tu es sur d'avoir reporté tes modifs sur TOUS les NodeManagers (noeud du cluster yarn) ?

JD

[Flibidi]

Solution trouvée :

• Supprimer tous les logs de hadoop dans $HADOOP_HOME/logs
• Reformater le namenode
• Redémarrer les daemons hadoop

J'ai eu qlq soucis pour paramétrer les mémoires (scheduler, nodemanager, mapreduce). Je recommande cet article :

https://fr.hortonworks.com/blog/apac...-applications/

Merci de la réponse