Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Big Data Discussion :

Requête Sqoop a échoué


Sujet :

Big Data

  1. #1
    Futur Membre du Club
    Requête Sqoop a échoué
    Bonjour,

    J'ai installer cloudera manager CDH5 cluster ( 3VM : 1 pour le master et 2 machine VM pour le slave ).
    J'essaie de lancer la requête sqoop ci-dessous :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    sqoop import --connect  jdbc:mysql://localhost:3306/infocenter --username root --password 123456 --table offre --target-dir hdfs:///importscoop -m 1
    J'ai reçue le output suivant et merci de m'aider de résoudre le problème :

    Warning: /usr/lib/sqoop/../accumulo does not exist! Accumulo imports will fail.
    Please set $ACCUMULO_HOME to the root of your Accumulo installation.
    19/04/30 22:48:59 INFO sqoop.Sqoop: Running Sqoop version: 1.4.5-cdh5.4.3
    19/04/30 22:48:59 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
    19/04/30 22:49:01 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
    19/04/30 22:49:01 INFO tool.CodeGenTool: Beginning code generation
    19/04/30 22:49:07 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `offre` AS t LIMIT 1
    19/04/30 22:49:07 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM `offre` AS t LIMIT 1
    19/04/30 22:49:07 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /usr/lib/hadoop-mapreduce
    Note: /tmp/sqoop-root/compile/8869bbc3c9d9e857ea77fbebeb0b7a31/offre.java uses or overrides a deprecated API.
    Note: Recompile with -Xlint:deprecation for details.
    19/04/30 22:49:24 INFO orm.CompilationManager: Writing jar file: /tmp/sqoop-root/compile/8869bbc3c9d9e857ea77fbebeb0b7a31/offre.jar
    19/04/30 22:49:24 WARN manager.MySQLManager: It looks like you are importing from mysql.
    19/04/30 22:49:24 WARN manager.MySQLManager: This transfer can be faster! Use the --direct
    19/04/30 22:49:24 WARN manager.MySQLManager: option to exercise a MySQL-specific fast path.
    19/04/30 22:49:24 INFO manager.MySQLManager: Setting zero DATETIME behavior to convertToNull (mysql)
    19/04/30 22:49:24 INFO mapreduce.ImportJobBase: Beginning import of offre
    19/04/30 22:49:27 INFO Configuration.deprecation: mapred.jar is deprecated. Instead, use mapreduce.job.jar
    19/04/30 22:49:36 INFO Configuration.deprecation: mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps
    19/04/30 22:49:37 INFO client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8032
    19/04/30 22:49:43 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
    19/04/30 22:49:44 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
    19/04/30 22:49:45 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS).

    Merci

  2. #2
    Futur Membre du Club
    Bonjour,

    J'ai ajouté la balise suivant au fichier yarn-site.xml et le problème est résolu :

    J'ai changé le 127.0.0.1 par 192.168.56.102 (adresse fixe de mon machine vm) :

    Code XML :Sélectionner tout -Visualiser dans une fenêtre à part
    1
    2
    3
    4
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>127.0.0.1:8032</value>
    </property>