Discussion :

[infstat]

Bonjour,
j'essaie de faire fonctionner l'exemple wordcount du tutoriel d'hadoop :
http://hadoop.apache.org/docs/r0.20....WordCount+v1.0

J'ai installé la version 1.0.4 d'hadoop sous ubuntu 12.04
Je ne suis pas un spécialiste de java,
j'ai créé le fichier wordcount.jar à partir du code donné, et j'obtiens le message d'erreur suivant après avoir lancé la commande :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sudo hadoop jar /wordcount_classes/wordcount.jar org.myorg.WordCount /input /output

13/01/15 15:42:10 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/01/15 15:42:10 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
13/01/15 15:42:10 WARN snappy.LoadSnappy: Snappy native library not loaded
13/01/15 15:42:10 INFO mapred.FileInputFormat: Total input paths to process : 7
13/01/15 15:42:10 INFO mapred.JobClient: Running job: job_local_0001
13/01/15 15:42:10 INFO util.ProcessTree: setsid exited with exit code 0
13/01/15 15:42:10 INFO mapred.Task: Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@548bb8b2
13/01/15 15:42:10 INFO mapred.MapTask: numReduceTasks: 1
13/01/15 15:42:10 INFO mapred.MapTask: io.sort.mb = 100
13/01/15 15:42:10 WARN mapred.LocalJobRunner: job_local_0001
java.lang.OutOfMemoryError: Java heap space
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:949)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:428)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)
at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:212)
13/01/15 15:42:11 INFO mapred.JobClient: map 0% reduce 0%
13/01/15 15:42:11 INFO mapred.JobClient: Job complete: job_local_0001
13/01/15 15:42:11 INFO mapred.JobClient: Counters: 0
13/01/15 15:42:11 INFO mapred.JobClient: Job Failed: NA
Exception in thread "main" java.io.IOException: Job failed!
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1265)
at org.myorg.WordCount.main(WordCount.java:55)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)

Quelqu’un aurait-il une idée de l'origine de l'erreur ?
Merci d'avance

[JulienM876]

Bonjour,
j'essaie de faire fonctionner l'exemple wordcount du tutoriel d'hadoop :
...
Quelqu’un aurait-il une idée de l'origine de l'erreur ?

Juste avec cette log, difficile de dire. Tu as fait une install locale? Pour être dans une situation plus réaliste, tu as intérêt à faire une install pseudo distribuée.

Ton erreur c'est ça: java.lang.OutOfMemoryError: Java heap space
Donc ta JVM a dépassé sa mémoire max autorisée (problème java).

Cela peut-être du à ton job en lui-même ou un problème extérieur. Une façon de tester consiste à augmenter la mémoire pour voir.

Selon ton type d'install, ce n'est pas au même endroit.
En local, peut-être que tu peux directement modifier la variable d'env HADOOP_HEAPSIZE , sinon si le job est dans une jvm séparée, cela se passe dans:
conf/mapred-site.xml mapred.map.child.java.opts -Xmx2048M

[infstat]

Bonjour JulienM876 et merci pour ta réponse.
J'ai fait une install locale, j'essaie de la faire fonctionner avant de passer en pseudo distribué.
J'ai augmenté la taille de la mémoire :
export HADOOP_HEAPSIZE=2000

J'obtiens le même message d'erreur