Hadoop tutoriel wordcount erreur "Exception in thread "main" java.io.IOException: Job failed!"

Bonjour,
j'essaie de faire fonctionner l'exemple wordcount du tutoriel d'hadoop :
http://hadoop.apache.org/docs/r0.20....WordCount+v1.0

J'ai installé la version 1.0.4 d'hadoop sous ubuntu 12.04
Je ne suis pas un spécialiste de java,
j'ai créé le fichier wordcount.jar à partir du code donné, et j'obtiens le message d'erreur suivant après avoir lancé la commande :

Code:

sudo hadoop jar /wordcount_classes/wordcount.jar org.myorg.WordCount /input /output

Citation:

13/01/15 15:42:10 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/01/15 15:42:10 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
13/01/15 15:42:10 WARN snappy.LoadSnappy: Snappy native library not loaded
13/01/15 15:42:10 INFO mapred.FileInputFormat: Total input paths to process : 7
13/01/15 15:42:10 INFO mapred.JobClient: Running job: job_local_0001
13/01/15 15:42:10 INFO util.ProcessTree: setsid exited with exit code 0
13/01/15 15:42:10 INFO mapred.Task: Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@548bb8b2
13/01/15 15:42:10 INFO mapred.MapTask: numReduceTasks: 1
13/01/15 15:42:10 INFO mapred.MapTask: io.sort.mb = 100
13/01/15 15:42:10 WARN mapred.LocalJobRunner: job_local_0001
java.lang.OutOfMemoryError: Java heap space
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:949)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:428)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:212)
13/01/15 15:42:11 INFO mapred.JobClient: map 0% reduce 0%
13/01/15 15:42:11 INFO mapred.JobClient: Job complete: job_local_0001
13/01/15 15:42:11 INFO mapred.JobClient: Counters: 0
13/01/15 15:42:11 INFO mapred.JobClient: Job Failed: NA
Exception in thread "main" java.io.IOException: Job failed!
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1265)
at org.myorg.WordCount.main(WordCount.java:55)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)

Quelqu’un aurait-il une idée de l'origine de l'erreur ?
Merci d'avance

Citation:

Envoyé par infstat

Bonjour,
j'essaie de faire fonctionner l'exemple wordcount du tutoriel d'hadoop :
...
Quelqu’un aurait-il une idée de l'origine de l'erreur ?

Juste avec cette log, difficile de dire. Tu as fait une install locale? Pour être dans une situation plus réaliste, tu as intérêt à faire une install pseudo distribuée.

Ton erreur c'est ça: java.lang.OutOfMemoryError: Java heap space
Donc ta JVM a dépassé sa mémoire max autorisée (problème java).

Cela peut-être du à ton job en lui-même ou un problème extérieur. Une façon de tester consiste à augmenter la mémoire pour voir.

Selon ton type d'install, ce n'est pas au même endroit.
En local, peut-être que tu peux directement modifier la variable d'env HADOOP_HEAPSIZE , sinon si le job est dans une jvm séparée, cela se passe dans:
conf/mapred-site.xml mapred.map.child.java.opts -Xmx2048M

Bonjour JulienM876 et merci pour ta réponse.
J'ai fait une install locale, j'essaie de la faire fonctionner avant de passer en pseudo distribué.
J'ai augmenté la taille de la mémoire :
export HADOOP_HEAPSIZE=2000

J'obtiens le même message d'erreur