Bonjouur tout le monde,
j'ai un projet JAVA exécuté dans un cluster EMR de AWS, l’exécution est déclenché par une interface utilisateur en PHP, quand on a peu d'actions désenchantes (3 actions) chaque action s’exécute avec un Step EMR, dès qu'on a plus d'actions (plus de 3 en général) on se trouve face à une suspension de l’exécution avec un message d'erreur dans STDERR "no space left on device".
voilà l'erreur complète :
ma question est la suivante quelle est la source de l'erreur exactement et quelle est la solution pour remédier à ce problème.
Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27 16/01/22 11:28:25 ERROR SparkContext: Error initializing SparkContext. java.io.IOException: No space left on device at java.io.FileOutputStream.writeBytes(Native Method) at java.io.FileOutputStream.write(FileOutputStream.java:326) at java.util.zip.DeflaterOutputStream.deflate(DeflaterOutputStream.java:253) at java.util.zip.ZipOutputStream.closeEntry(ZipOutputStream.java:255) at java.util.zip.ZipOutputStream.finish(ZipOutputStream.java:360) at java.util.zip.DeflaterOutputStream.close(DeflaterOutputStream.java:238) at java.util.zip.ZipOutputStream.close(ZipOutputStream.java:377) at org.apache.spark.deploy.yarn.Client.createConfArchive(Client.scala:486) at org.apache.spark.deploy.yarn.Client.prepareLocalResources(Client.scala:422) at org.apache.spark.deploy.yarn.Client.createContainerLaunchContext(Client.scala:634) at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:123) at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56) at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:144) at org.apache.spark.SparkContext.<init>(SparkContext.scala:523) at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:61) at com.expenli.harti.Main.main(Main.java:106) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:497) at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:674) at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180) at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205) at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120) at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Merci
Partager