Discussion :

[selmagsi]

salut les développeur,
je tente d'apprendre à écrire des programme Spark en scala, comme j'ai la version 2.9.2 de scala installé , je requière spark 0.6.3 , je l'ai sur mon ordi , j'ai ajouté la variable d'environnement et le path, je tente d'ouvrir spark-shell.cmd pour commencer mes toute première ligne (je ne suis qu'une débutante) mais le shell est éphémère , je ne comprend pas pour quoi il s'ouvre et se ferme en un clin d'oeil, que faire.
ps: je suis souw windows
meric pour vos idées

[dev_ggy]

Bonjour,

Sans plus d'information c'est compliqué de t'aider.

Il existe des outils clef en main pour installer Spark et Scala comme Docker ou Anaconda.

Bien cordialement,

[selmagsi]

je suis la pour répondre à n'import quelle question a propos des détails!!
je suis vraiment débutante et je suis ce tuto mais rien ne va!!!!
plz un coup de pousse

[rouardg]

Bonsoir,

Difficile de vous aider car on ne sait pas comment a été installé Spark sur votre PC sous Windows.

Pour vous aider, je dirai que l'installation de Spark sous Windows se fait en 3 étapes, et il faudrait valider chacune de ces étapes.

Voici comment j'ai installé Spark sur mon PC sous Windows 10.

1) Il faut installer un JDK :

- téléchargez depuis le site Oracle le JDK 8 Update 172 en 64 bits et installez le

- créez la variable d'environnement JAVA_HOME=C:\Program Files\Java\jdk1.8.0_172

- rajoutez %JAVA_HOME%\bin dans votre Path

- testez avec java -version (cf image 1)



2) Il faut installer le logiciel Winutils. Pour cela :

- créez par exemple un répertoire C:\winutils\bin

- téléchargez winutils.exe depuis Github. Dans sa dernière version pour la version 3 d'Hadoop, vous le trouverez sous
https://github.com/steveloughran/win...doop-3.0.0/bin

- une fois téléchargé, winutils.exe doit être copié dans C:\winutils\bin

- créez une variable d'environnement HADOOP_HOME=C:\winutils



3) Il faut installer Spark depuis le site https://spark.apache.org/downloads.html

- prenez par exemple la dernière version 2.3.0 en prebuilt et downloadez ainsi le fichier spark-2.3.0-bin-hadoop2.7.tgz (cf image 2)

- dézippez ce fichier sous C: par exemple

- créez une variable d'environnement SPARK_HOME=C:\spark-2.3.0-bin-hadoop2.7

- ajoutez %SPARK_HOME%\bin dans votre Path


Voilà, l'installation est finie. Il ne reste plus qu'à tester en lançant la commande spark-shell (cf image 3) et je vous ai souligné en rouge les 4 informations importantes :

- la version de Spark est bien la 2.3.0

- cette version de Spark embarque avec elle Scala, ici en version 2.11.8

- on retrouve notre version de Java 8 Update 172 : Java 1.8.0_172

- on a l'indication Spark context Web UI available at http://PC:4040

En fait il s'agit d'une interface Web lancée par le Spark Shell et qui est disponible sous http://localhost:4040 (cf image 4)

[selmagsi]

j'ai suivi pas a pas vos instruction , avec les versions et tout, le spark shell s'ouvre d'une facon ephémère et

http://PC:4040

et

http://localhost:4040

sont inaccessibles :'(

[selmagsi]

http://localhost:4040/jobs/ est accessible

et avec spark-shell2 ca marche, quoi que il affiche tout au début unable to load native hadoop library to your platform , j'essaye de régler ca et on va voir, merci bcp, des que je le régle je poste la solution pour ceux qui tombent dans le meme problème et je passe en résolu!!!

[rouardg]

Votre Spark Shell s'ouvre d'une façon éphémère ?

Comment l'ouvrez-vous ?
J'ai l'impression que vous allez dans votre exploreur Windows et que vous double-cliquez sur un fichier. C'est cela ?

Si oui, procédez plutôt en 2 temps :
- ouvrez une invite de commandes (en exécutant cmd.exe)
- puis exécuter spark-shell.cmd

Est-ce que cela fonctionne, ou avez-vous des erreurs ?

2 remarques :

1) le message "Unable to load native-hadoop library for your platform..." est normal. Spark est normalement fait pour être lancé sur un vrai cluster Hadoop. Et comme nous n'avons pas de cluster sous la main, nous le lançons sur notre poste, avec Winutils.exe qui est un utilitaire sous Windows pour simuler le minimum d'un environnement Hadoop

2) l'URL http://PC:4040 que j'ai donné en exemple est celle que m'a renvoyé Spark Shell. PC est tout simplement le nom de mon poste.
Il faut en fait utiliser l'URL donnée par Spark Shell et qui est adaptée à votre poste.

A noter que si vous lancez plusieurs Spark Shell en parallèle, le n° de port va s'incrémenter. Le 1er Shell est sur le 4040, le 2ième sur 4041, le troisième sur 4042, etc, etc car chaque Shell a son propre interface Web, avec un n° de port dédié.

[selmagsi]

oh merci pour ces remarques tres constructives.
je lance spark-shell à l'aide de l'invite de commande aucune erreur ne s'affiche y a juste le spark shell qui s'ouvre d'une façon tres ephèmre!! que faire!!!

[selmagsi]

c'est bon miraculeusement le spark-shell s'ouvre j'ai insisté et ca a marché, merci bcp