Bonjouur tout le monde,

j'ai un projet JAVA exécuté dans un cluster EMR de AWS, l’exécution est déclenché par une interface utilisateur en PHP, quand on a peu d'actions désenchantes (3 actions) chaque action s’exécute avec un Step EMR, dès qu'on a plus d'actions (plus de 3 en général) on se trouve face à une suspension de l’exécution avec un message d'erreur dans STDERR "no space left on device".

voilà l'erreur complète :
Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
16/01/22 11:28:25 ERROR SparkContext: Error initializing SparkContext.
java.io.IOException: No space left on device
	at java.io.FileOutputStream.writeBytes(Native Method)
	at java.io.FileOutputStream.write(FileOutputStream.java:326)
	at java.util.zip.DeflaterOutputStream.deflate(DeflaterOutputStream.java:253)
	at java.util.zip.ZipOutputStream.closeEntry(ZipOutputStream.java:255)
	at java.util.zip.ZipOutputStream.finish(ZipOutputStream.java:360)
	at java.util.zip.DeflaterOutputStream.close(DeflaterOutputStream.java:238)
	at java.util.zip.ZipOutputStream.close(ZipOutputStream.java:377)
	at org.apache.spark.deploy.yarn.Client.createConfArchive(Client.scala:486)
	at org.apache.spark.deploy.yarn.Client.prepareLocalResources(Client.scala:422)
	at org.apache.spark.deploy.yarn.Client.createContainerLaunchContext(Client.scala:634)
	at org.apache.spark.deploy.yarn.Client.submitApplication(Client.scala:123)
	at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:56)
	at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:144)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:523)
	at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:61)
	at com.expenli.harti.Main.main(Main.java:106)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:497)
	at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:674)
	at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180)
	at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)
	at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120)
	at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
ma question est la suivante quelle est la source de l'erreur exactement et quelle est la solution pour remédier à ce problème.

Merci