1. #1
    Candidat au Club
    Homme Profil pro
    Développeur informatique
    Inscrit en
    juillet 2017
    Messages
    3
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Isère (Rhône Alpes)

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : juillet 2017
    Messages : 3
    Points : 4
    Points
    4

    Par défaut Acces tables Hive depuis Spark

    J'ai un petit soucis actuellement, je tente d'accéder à mes tables Hive depuis spark. Le problème est que ça fonctionne en console pyspark, mais avec spark-submit non...
    Voici le morceau de code:

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    from pyspark.sql import SparkSession, HiveContext
    spark = SparkSession \
        .builder \
        .appName("Python Spark SQL Hive integration example") \
        .enableHiveSupport() \
        .getOrCreate()
    
    spark.sql("SHOW TABLES").show()
    Voici le resultat en console:

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    +--------+-------------+-----------+
    |database|    tableName|isTemporary|
    +--------+-------------+-----------+
    | default|       table1|      false|
    | default|       table2|      false|
    +--------+-------------+-----------+
    Voici le résultat avec spark-submit:

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    +--------+-------------+-----------+
    |database|    tableName|isTemporary|
    +--------+-------------+-----------+
    +--------+-------------+-----------+
    J'ai essayé d'ajouter le dossier de conf de spark au CLASSPATH, de mettre hive-site.xml en argument de spark-submit, et j'ai essayé avec Hivecontext and scala : idem.

  2. #2
    Expert Oracle confirmé

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    mars 2003
    Messages
    361
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Essonne (Île de France)

    Informations professionnelles :
    Activité : Administrateur de base de données
    Secteur : Conseil

    Informations forums :
    Inscription : mars 2003
    Messages : 361
    Points : 731
    Points
    731

    Par défaut

    Bonjour,

    de mettre hive-site.xml en argument de spark-submit
    Je ne suis pas expert Spark, j'ai juste fait un MOOC il y a plus d'un an de cela traitant entre autre de Spark, et je vais peut-être dire une bêtise, mais pour moi il faut copier le fichier de configuration de Hive sous Spark.

    Par exemple, sur une VM Cloudera qui me servait à faire des tests, j'avais fait un :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    sudo cp /etc/hive/conf.dist/hive-site.xml /usr/lib/spark/conf/
    En espérant que cela puisse vous aider.

Discussions similaires

  1. accès tables sql server depuis oracle par dblink
    Par totof31 dans le forum Administration
    Réponses: 1
    Dernier message: 09/05/2007, 09h59
  2. acces base postgres depuis eclipse
    Par mealtone dans le forum PostgreSQL
    Réponses: 4
    Dernier message: 03/06/2005, 11h16
  3. Accès serveur WEB depuis l'internet
    Par Ultra-FX dans le forum Réseau
    Réponses: 2
    Dernier message: 26/05/2005, 18h00
  4. [MySql/PHPMyAdmin]nouvel utilisateur et acces table
    Par Bug's Bunny dans le forum Débuter
    Réponses: 6
    Dernier message: 28/07/2004, 15h03
  5. [Sybase] Accès Table sur serveur distant
    Par MashiMaro dans le forum Sybase
    Réponses: 5
    Dernier message: 11/02/2004, 15h09

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo