filtrage collaboratif sous java en utilisant MLlib de spark

Version imprimable

salut les développeurs,
Je tente de développer un système de recommendation. Pour cela, je veux commencer par l'implémentation du collaborative filltring sous java en utilisant la bobliothèque MLLib de Spark. Je suis sous netbeans 8.0.2 java 8 , spark 2.3.0 et maven 2.5.3 . J'essaye d'executer ce programme mais j'ai cette exception
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at org.apache.spark.SparkConf.loadFromSystemProperties(SparkConf.scala:73) at org.apache.spark.SparkConf.<init>(SparkConf.scala:68) at org.apache.spark.SparkConf.<init>(SparkConf.scala:55) at recommendation.JavaRecommendationExample.main(JavaRecommendationExample.java:21) Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream at java.net.URLClassLoader$1.run(URLClassLoader.java:372) at java.net.URLClassLoader$1.run(URLClassLoader.java:361) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(URLClassLoader.java:360) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ... 4 more Java Result: 1
les variables d'environnement sont bien définies ainsi que le path !!! quelqu'un aurait une idée sur ce problème

01/08/2018, 00h45
Runhide

Tu as une ClassNotFoundException, cela veut dire que la où il s'apprête à trouver une classe ou une méthode, elle n'y est pas.

Est ce que tu utilises maven ? Parfois il arrive qu'il prenne en compte une ancienne version de la dépendance, modifie ton pom pour bien renseigné la bonne version de ton archive jar (spark).

Au besoin, vérifie aussi avec ton ide, la présence de la dite classe et de la méthode incriminé dans ton jar.

C'est souvent un problème de versioning dans la dépendance ou dans ton classpath.

j'étais un peu a coté de la plaque, je créais des projet Java au lieu que des projets maven. mtn sous maven j'ai réglé le pom.xml en rajoutant toutes les dépendances et j'ai ce problème la:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
 
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
18/08/01 20:54:57 INFO SparkContext: Running Spark version 2.3.0
18/08/01 20:55:05 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
18/08/01 20:55:07 ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A master URL must be set in your configuration
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:367)
	at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58)
	at JavaRecommendationExample.main(JavaRecommendationExample.java:26)
18/08/01 20:55:08 ERROR Utils: Uncaught exception in thread main
java.lang.NullPointerException
	at org.apache.spark.SparkContext.org$apache$spark$SparkContext$$postApplicationEnd(SparkContext.scala:2382)
	at org.apache.spark.SparkContext$$anonfun$stop$1.apply$mcV$sp(SparkContext.scala:1897)
	at org.apache.spark.util.Utils$.tryLogNonFatalError(Utils.scala:1357)
	at org.apache.spark.SparkContext.stop(SparkContext.scala:1896)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:578)
	at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58)
	at JavaRecommendationExample.main(JavaRecommendationExample.java:26)
18/08/01 20:55:08 INFO SparkContext: Successfully stopped SparkContext
Exception in thread "main" org.apache.spark.SparkException: A master URL must be set in your configuration
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:367)
	at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58)
	at JavaRecommendationExample.main(JavaRecommendationExample.java:26)
------------------------------------------------------------------------
BUILD FAILURE
------------------------------------------------------------------------
Total time: 27.683 s
Finished at: 2018-08-01T20:55:08+01:00
------------------------------------------------------------------------
Failed to execute goal org.codehaus.mojo:exec-maven-plugin:1.2.1:exec (default-cli) on project mavenproject1: Command execution failed.: Process exited with an error: 1 (Exit value: 1) -> [Help 1]
 
To see the full stack trace of the errors, re-run Maven with the -e switch.
Re-run Maven using the -X switch to enable full debug logging.
 
For more information about the errors and possible solutions, please read the following articles:
[Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
'cmd' n'est pas reconnu en tant que commande interne
ou externe, un programme ex‚cutable ou un fichier de commandes.

je n'arrive pas à m'en sortir la!!

01/08/2018, 22h20
Runhide

J'ai lu en diagonale le guide sur le site de ton api:

Due to licensing issues with runtime proprietary binaries, we do not include netlib-java’s native proxies by default. To configure netlib-java / Breeze to use system optimised binaries, include com.github.fommil.netlib:all:1.1.2 (or build Spark with -Pnetlib-lgpl) as a dependency of your project and read the netlib-java documentation for your platform’s additional installation instructions.

Cherche de ce côté là
01/08/2018, 23h11
selmagsi

j'ai ajouté la dépendence , mais sans succés

toujours la meme exception