J'ai un petit soucis actuellement, je tente d'accéder à mes tables Hive depuis spark. Le problème est que ça fonctionne en console pyspark, mais avec spark-submit non...
Voici le morceau de code:
Voici le resultat en console:
Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6
7
8 from pyspark.sql import SparkSession, HiveContext spark = SparkSession \ .builder \ .appName("Python Spark SQL Hive integration example") \ .enableHiveSupport() \ .getOrCreate() spark.sql("SHOW TABLES").show()
Voici le résultat avec spark-submit:
Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6 +--------+-------------+-----------+ |database| tableName|isTemporary| +--------+-------------+-----------+ | default| table1| false| | default| table2| false| +--------+-------------+-----------+
J'ai essayé d'ajouter le dossier de conf de spark au CLASSPATH, de mettre hive-site.xml en argument de spark-submit, et j'ai essayé avec Hivecontext and scala : idem.
Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4 +--------+-------------+-----------+ |database| tableName|isTemporary| +--------+-------------+-----------+ +--------+-------------+-----------+
Partager