1. #1
    Membre du Club
    Homme Profil pro
    Étudiant
    Inscrit en
    mars 2014
    Messages
    55
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 30
    Localisation : France, Ille et Vilaine (Bretagne)

    Informations professionnelles :
    Activité : Étudiant
    Secteur : Finance

    Informations forums :
    Inscription : mars 2014
    Messages : 55
    Points : 56
    Points
    56

    Par défaut Spark - Context SQL - Qu'est-ce que c'est ?

    Bonjour,

    J'étudie le Spark SQL en ce moment et j'ai mal à comprendre au début pourquoi on crée un SQL Context ?
    C'est comme si on importait une librairie pour importer des fonctions propres aux fonctions SQL ?

    Dans le cas d'une explication, n'hésitez pas à faire simple avec des exemples simples (comme si j'étais un enfant de 10 ans ), je me suis lancé dans Spark et je ne maitrise pas encore toutes les notions.


    Merci d'avance, ça va bien me dépanner pour comprendre la suite qui est très intuitive.

    Ineedi2

  2. #2
    Membre habitué
    Homme Profil pro
    Inscrit en
    octobre 2007
    Messages
    173
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : octobre 2007
    Messages : 173
    Points : 175
    Points
    175

    Par défaut

    c'est du spark 1, en spark 2 c'est un peu différent, ils ont simplifiés, mais il est toujours disponible, certainement pour garder la compatibilité avec le spark 1

    pour faire de simple

    SQL Context creer et initialise un espace de travail pour le programme pour utiliser les fonction read ou select sql sans interaction avec les autres utilisateurs qui ont leur propre sql context pour leur besoins.

    cet espace de travail sert à conserver les données et instances courantes du programme liées aux actions exécutées au sein de celui ci

    Chaque sqlContext reçoit son bac a sable pour pouvoir jouer


    exemple, charger un fichier via l'execution la methode read et retourner un datframe des données charger
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    val df = sqlContext.read.format("json").load("examples/src/main/resources/people.json")
    
    select + sauvegarde dans le format parquet 
    
    
    
    df.select("name", "age").write.format("parquet").save("namesAndAges.parquet")
    
    executer une fonction select sur après charger le fichier 
    val df = sqlContext.sql("SELECT * FROM parquet.`examples/src/main/resources/users.parquet`")
    utilisation d'une base myql externe dans un script

    sqlContext est normalement disponible dans spark shell
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
     val dataframe_mysql = sqlContext.read.format("jdbc").option("url", "jdbc:mysql://localhost/sparksql").option("driver", "com.mysql.jdbc.Driver").option("dbtable", "baby_names").option("user", "root").option("password", "root").load()
     
    dataframe_mysql.show
    
    creation d'une table temporarire
     dataframe_mysql.registerTempTable("names")
    
    dataframe_mysql.sqlContext.sql("select * from names").collect.foreach(println)
    
    $SPARK_HOME/bin/spark–shell  –jars /home/example/jars/mysql-connector-java-5.1.26.jar
    d'autres exemples

    https://www.programcreek.com/scala/o...sql.SQLContext

    C'est pas forcément intuitif, c'est beaucoup de travail, d'echecs, puis avec l'expérience vient la connaissance et la maîtrise si on a suffisamment de ténacité

Discussions similaires

  1. images + table SQL : Est-ce que c'est possible ?
    Par SteFX dans le forum PHP & MySQL
    Réponses: 1
    Dernier message: 24/03/2011, 15h18
  2. est-ce que python est ce que je cherche
    Par SILICONE dans le forum Général Python
    Réponses: 5
    Dernier message: 21/12/2007, 15h23
  3. SQL Developper, qu'est ce que c'est?
    Par Djik71 dans le forum Outils
    Réponses: 1
    Dernier message: 30/08/2007, 10h37
  4. [SQL] syntaxe Heredoc, qu'est ce que c'est
    Par lanfeust42 dans le forum PHP & SGBD
    Réponses: 4
    Dernier message: 21/06/2006, 14h00
  5. Qu'est-ce que c'est que Nessus, ça fait quoi exactement ?
    Par PeterT dans le forum Développement
    Réponses: 3
    Dernier message: 24/07/2002, 12h23

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo