IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Big Data Discussion :

Acces tables Hive depuis Spark


Sujet :

Big Data

  1. #1
    Candidat au Club
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Juillet 2017
    Messages
    3
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Isère (Rhône Alpes)

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Juillet 2017
    Messages : 3
    Points : 4
    Points
    4
    Par défaut Acces tables Hive depuis Spark
    J'ai un petit soucis actuellement, je tente d'accéder à mes tables Hive depuis spark. Le problème est que ça fonctionne en console pyspark, mais avec spark-submit non...
    Voici le morceau de code:

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    from pyspark.sql import SparkSession, HiveContext
    spark = SparkSession \
        .builder \
        .appName("Python Spark SQL Hive integration example") \
        .enableHiveSupport() \
        .getOrCreate()
    
    spark.sql("SHOW TABLES").show()
    Voici le resultat en console:

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    +--------+-------------+-----------+
    |database|    tableName|isTemporary|
    +--------+-------------+-----------+
    | default|       table1|      false|
    | default|       table2|      false|
    +--------+-------------+-----------+
    Voici le résultat avec spark-submit:

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    +--------+-------------+-----------+
    |database|    tableName|isTemporary|
    +--------+-------------+-----------+
    +--------+-------------+-----------+
    J'ai essayé d'ajouter le dossier de conf de spark au CLASSPATH, de mettre hive-site.xml en argument de spark-submit, et j'ai essayé avec Hivecontext and scala : idem.

  2. #2
    Expert Oracle confirmé

    Homme Profil pro
    Consultant Big Data
    Inscrit en
    Mars 2003
    Messages
    448
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Essonne (Île de France)

    Informations professionnelles :
    Activité : Consultant Big Data
    Secteur : Conseil

    Informations forums :
    Inscription : Mars 2003
    Messages : 448
    Points : 926
    Points
    926
    Par défaut
    Bonjour,

    de mettre hive-site.xml en argument de spark-submit
    Je ne suis pas expert Spark, j'ai juste fait un MOOC il y a plus d'un an de cela traitant entre autre de Spark, et je vais peut-être dire une bêtise, mais pour moi il faut copier le fichier de configuration de Hive sous Spark.

    Par exemple, sur une VM Cloudera qui me servait à faire des tests, j'avais fait un :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    sudo cp /etc/hive/conf.dist/hive-site.xml /usr/lib/spark/conf/
    En espérant que cela puisse vous aider.

Discussions similaires

  1. accès tables sql server depuis oracle par dblink
    Par totof31 dans le forum Administration
    Réponses: 1
    Dernier message: 09/05/2007, 09h59
  2. acces base postgres depuis eclipse
    Par mealtone dans le forum PostgreSQL
    Réponses: 4
    Dernier message: 03/06/2005, 11h16
  3. Accès serveur WEB depuis l'internet
    Par Ultra-FX dans le forum Réseau
    Réponses: 2
    Dernier message: 26/05/2005, 18h00
  4. [MySql/PHPMyAdmin]nouvel utilisateur et acces table
    Par Bug's Bunny dans le forum Débuter
    Réponses: 6
    Dernier message: 28/07/2004, 15h03
  5. [Sybase] Accès Table sur serveur distant
    Par MashiMaro dans le forum Sybase
    Réponses: 5
    Dernier message: 11/02/2004, 15h09

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo