Discussion :

[dclink]

Hello tout le monde.

J'ai just fait un petit projet Hadoop MR qui se lance bien de bout en bout dans NetBeans, apr contre quand je lance le job en question via hadoop jar ... j'obtiens un NullPointerException sur un objet que j'instantie dans la class Main (j'ai verifie il n'est pas null a ce moment la...) mais utilise dans une autre (dans le Mapper). Est ce que le script shell Hadoop rajoute des options de securite ou alors cela vient d'une toute autre chose ??

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
INFO mapred.JobClient: Task Id : attempt_201401141114_0001_m_000000_1, Status : FAILED
java.lang.NullPointerException
        at dclink.hadoop.main.Main.getDC(Main.java:156)
        at dclink.hadoop.mapper.DCMapper.map(DCMapper.java:75)
        at dclink.hadoop.mapper.DCMappermap(DCMapper.java:32)
        at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:50)
        at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:430)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:366)
        at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:416)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)
        at org.apache.hadoop.mapred.Child.main(Child.java:249)

[Oussapik]

Bonjour,

Ta méthode main est celle qui configure le Driver. Quand tu joues ton programme en mode local, le Driver s'exécute dans la même JVM que celle qui exécute le Mapper.

Quand tu passe sur ton cluster (en utilisant la commande hadoop jar ...), le code du Mapper et celui du Driver s'exécutent dans deux JVM différentes. Donc, ton objet instancié dans le Driver n'est pas visible du Mapper.

Les solutions pour remédier à ce problème :
- Instancier ton objet dans la méthode de setup du Mapper
- Fournir ton objet via la configuration du job
A noter que la seconde solution n'est viable que pour un objet de type très simple (String, int, etc.).