Acces tables Hive depuis Spark
J'ai un petit soucis actuellement, je tente d'accéder à mes tables Hive depuis spark. Le problème est que ça fonctionne en console pyspark, mais avec spark-submit non...
Voici le morceau de code:
Code:
1 2 3 4 5 6 7 8
| from pyspark.sql import SparkSession, HiveContext
spark = SparkSession \
.builder \
.appName("Python Spark SQL Hive integration example") \
.enableHiveSupport() \
.getOrCreate()
spark.sql("SHOW TABLES").show() |
Voici le resultat en console:
Code:
1 2 3 4 5 6
| +--------+-------------+-----------+
|database| tableName|isTemporary|
+--------+-------------+-----------+
| default| table1| false|
| default| table2| false|
+--------+-------------+-----------+ |
Voici le résultat avec spark-submit:
Code:
1 2 3 4
| +--------+-------------+-----------+
|database| tableName|isTemporary|
+--------+-------------+-----------+
+--------+-------------+-----------+ |
J'ai essayé d'ajouter le dossier de conf de spark au CLASSPATH, de mettre hive-site.xml en argument de spark-submit, et j'ai essayé avec Hivecontext and scala : idem.