IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Hadoop & co Discussion :

Yarn error : Not able to initialize app-log directories in any of the configured local directories


Sujet :

Hadoop & co

  1. #1
    Candidat au Club
    Homme Profil pro
    Développeur informatique
    Inscrit en
    juillet 2017
    Messages
    3
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Isère (Rhône Alpes)

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : juillet 2017
    Messages : 3
    Points : 4
    Points
    4
    Par défaut Yarn error : Not able to initialize app-log directories in any of the configured local directories
    Salut à tous!

    Je tente de lancer un job MapReduce et à chaque fois, j'obtiens l'erreur suivante (via le RessourceManager):

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    Not able to initialize app-log directories in any of the configured local directories
    Voici à toutes fins utiles mon yarn-site.xml:

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    <configuration>
     
    <!-- Site specific YARN configuration properties -->
     
    <property>
      <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2200</value>
          <description>Amount of physical memory, in MB, that can be allocated for containers.</description>
          </property>
     
    <property>
      <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>500</value>
        </property>
     
    <property>
      <name>yarn.scheduler.maximum-allocation-mb</name>
          <value>2000</value>
              </property>
     
    <property>
      <name>yarn.scheduler.minimum-allocation-vcores</name>
            <value>1</value>
                      </property>
     
    <property>
      <name>yarn.scheduler.maximum-allocation-vcores</name>
              <value>2</value>
                                </property>
     
    <property>
            <name>yarn.nodemanager.disk-health-checker.enable</name>
                    <value>false</value>
                    </property>
     
    <property>
          <name>yarn.log-aggregation-enable</name>
                <value>true</value>
                  </property>
    <property>
     <name>yarn.nodemanager.local-dirs</name>
     <value>/tmp/yarn_logs</value>
     </property>
     
    <property>
     <name>app-log directories</name>
      <value>/tmp/yarn_logs</value>
       </property>
     
    </configuration>
    (J'ai désactivé le healthy check pour voir clairement les erreurs)

    Voici ce que j'ai déjà essayé en cherchant pdt un bon moment:

    Supprimer le contenu du usercache des local.dirs de yarn
    Redémarrer tous les services hadoop
    Mettre un chmod 777 sur les local.dirs et les dirs de logs pour être sur que ça venait pas de là
    J'ai aussi checké : mes services hadoop sont tous up. Je sais plus trop quoi faire. Qqn a une idée?

    Merci d'avance et bonne journée à tous!

  2. #2
    Membre éprouvé Avatar de Jidefix
    Profil pro
    Inscrit en
    septembre 2006
    Messages
    742
    Détails du profil
    Informations personnelles :
    Âge : 37
    Localisation : France, Seine Maritime (Haute Normandie)

    Informations forums :
    Inscription : septembre 2006
    Messages : 742
    Points : 1 144
    Points
    1 144
    Par défaut
    Hello,
    est-ce que tu es en mode standalone ou sur un vrai cluster? dans le cas numéro 2, est-ce que tu es sur d'avoir reporté tes modifs sur TOUS les NodeManagers (noeud du cluster yarn) ?

    JD
    Veuillez agréer nos sentiments les plus distingués. Soyez assurés de notre entière collaboration, bien à vous pour toujours et à jamais dans l'unique but de servir l'espérance de votre satisfaction, dis bonjour à ton père et à ta mère, bonne pétanque, mets ton écharpe fais froid dehors.

  3. #3
    Candidat au Club
    Homme Profil pro
    Développeur informatique
    Inscrit en
    juillet 2017
    Messages
    3
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Isère (Rhône Alpes)

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : juillet 2017
    Messages : 3
    Points : 4
    Points
    4
    Par défaut Solution
    Solution trouvée :

    • Supprimer tous les logs de hadoop dans $HADOOP_HOME/logs
    • Reformater le namenode
    • Redémarrer les daemons hadoop


    J'ai eu qlq soucis pour paramétrer les mémoires (scheduler, nodemanager, mapreduce). Je recommande cet article :

    https://fr.hortonworks.com/blog/apac...-applications/

    Merci de la réponse

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Réponses: 3
    Dernier message: 17/03/2009, 10h19
  2. erreur:The local variable may not have been initialized
    Par wiss20000 dans le forum Langage
    Réponses: 7
    Dernier message: 22/03/2007, 15h18
  3. [win98]format error (not supported on drive C)
    Par Fabouney dans le forum Windows 2000/Me/98/95
    Réponses: 3
    Dernier message: 03/01/2007, 14h32
  4. Réponses: 3
    Dernier message: 04/11/2005, 14h20
  5. XML Parsing Error: not well-formed
    Par localhost dans le forum Valider
    Réponses: 5
    Dernier message: 16/06/2005, 14h20

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo