IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Big Data Discussion :

problème jobs sqoop


Sujet :

Big Data

  1. #1
    Nouveau membre du Club
    Homme Profil pro
    Étudiant
    Inscrit en
    Avril 2015
    Messages
    23
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 31
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Étudiant

    Informations forums :
    Inscription : Avril 2015
    Messages : 23
    Points : 27
    Points
    27
    Par défaut problème jobs sqoop
    Bonjour à tous,

    actuellement je travaille sur sql server. J'ai créé un algorithme et je me suis servis de table obtenu grâce à un import depuis Hadoop.
    J'ai fais mes requêtes sur Impala et ensuite j'ai téléchargé en csv le résultat et importer sur des tables dans ma base sql server.
    Mon algo marche tout est bien... sauf que c'était pour faire un test.
    En effet, il se trouve que les valeurs que j'ai importer s'actualise sur Hue et donc il me faudrait la mise à jour pour que mes tables possèdent les bonnes valeurs.
    De fait, je veux créer une relation entre Hadoop et sql server pour pouvoir alimenter mes deux tables.
    Je vais sur jobs sqoop, je fais tout ce qu'il me demande :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    Nom :mysql-connection-demo
    
    Connecteur : generic jdbc_connector
    
    JDBC Driver Class  : com.mysql.jdbc.Driver     Can't load specified driver
    
    JDBC Connection String : jdbc:mysql//hue-demo/demo 
     
    Username : demo
     
    Password : demo
    C'est juste un test..
    J'obtiens à chaque fois ce maudit 'Can't load specified driver'.
    J'essaye depuis hier tout et n'importe quoi.... rien ne fonctionne. J'ai déjà fais les recherches sur le net en anglais mais rien trouver qui fonctionne avec moi, c'est pourquoi je m'en remets à vous, vous êtes mon seul espoir ^^

  2. #2
    Membre habitué
    Homme Profil pro
    Inscrit en
    Octobre 2007
    Messages
    190
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : Octobre 2007
    Messages : 190
    Points : 182
    Points
    182
    Par défaut
    Bonjour,

    C'est maigre comme info, sutout dans ce gros bazar , en plus c'est une distribution cloudera avec ses spécificités si vous citez impala,
    et sql server, c'est du windows ?.

    cluster ? en VM virtua box/vmware ? single node / multi node ?

    si c'est impala, donc c'est du cloudera quelle version ?

    est ce que c'est du sqoop2 ou du sqoop 1 ? quelle version (très important, car une version peut être incompatible de l'une à l'autre) ?

    via la gui ou en ligne de commande ?

    il faudrait copier la bonne version de connecteur sql au bon endroit pour qu'il le trouve et le charge

    Mysql ou Sql Server (Microsoft)? parce que vous citez sql server, et l'exemple que vous donnez est avec du mysql. c'est pas la même conf driver.

    sqoop
    http://www.cloudera.com/content/clou...opic_13_7.html


    sqoop2
    http://www.cloudera.com/content/clou...opic_14_3.html

    il y a un groupe utilisateur qui est assez actif sur CDH user google group

    https://groups.google.com/a/cloudera...forum/cdh-user

    Il y a plus de probleme que de résolution, c'est toujours bon à prendre et à savoir ,mais si quelqu'un connait déjà le probleme et qu'il passe au bon moment, il vous répondra, en anglais. la version fr n'est plus actif.
    n'oubliez pas de citer les versions, une des choses qu'on apprend à ses dépends, que si on a la mauvaise version de composant au sein de l'ecosysteme, c'est bien parti pour des cauchemars.

    moi je travaille avec une version cluster apache hadoop 2.6.0 sous linux unbuntu, j'ai piqué la gui cloudera hue 3.7.1 pour l'interfacer, il n y a qu'impala que je ne peux pas reprendre,
    c'est du propriétaire spécifiquement gerer dans la distrib cloudera.

    J'ai pas encore regarder en detail les distrib hortonworks,cloudera, mapr. un truc que je ferais en juillet/aout.

    JP

Discussions similaires

  1. [Data Integrator XIR2] Problème Job server
    Par Unsurgent dans le forum BODI
    Réponses: 1
    Dernier message: 10/06/2010, 11h49
  2. Problème pour éxécuter des jobs automatiquement
    Par Flipmode dans le forum Alimentation
    Réponses: 2
    Dernier message: 26/04/2007, 10h20
  3. Problème dans le lancement d'un job
    Par apexben dans le forum Oracle
    Réponses: 1
    Dernier message: 23/08/2006, 05h18
  4. problème de jobs
    Par aline dans le forum Oracle
    Réponses: 6
    Dernier message: 20/10/2005, 10h31
  5. problème avec job oracle
    Par cyberyan dans le forum Oracle
    Réponses: 3
    Dernier message: 29/03/2005, 18h16

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo