Discussion :

[kent69003]

Bonjour à tous,

Je m'en remets à vous car je suis actuellement alternant dans une entreprise qui se serre de hadoop pour le stockage de certaines données. Après 2 jours de recherche, je ne trouve pas de solution alors j'aimerais savoir si quelqu'un pourrait trouvé éventuellement une solution à ce problème.

Actuellement, des données sont stockées sur une base hadoop (depuis début janvier 2015 jusqu'à aujourd'hui).
Il se trouve que mon entreprise, pour diverses raisons, a décidé qu'elle allait arrêter ce service. De fait, j'ai besoin de rapatrier la totalité des données de ma table sous hadoop dans ma base sql server.

Etant donné qu'un select * de la table ne renvoi pas la totalités des lignes et colonnes lors du résultat, j'ai voulu procéder en faisant un export au format csv à différentes dates (par mois voir limite toutes les deux semaines).

Le problème c'est qu'à chaque fois que je veux faire un truc du genre j'obtiens la notification suivante :
Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

J'ai vu sur certains forums qu'il était nécessaire de vider la log, je l'ai fais mais ça n'aboutit à rien de concluant....


Si quelqu'un a une solution ou au moins une petite suggestion pour que je puisse avancer ça serait pas de reffu...

Je vous remercie à tous d'avance

++

Kent69003

[bordi]

bonjour,

c'est maigre comme info

vous avez quelle version hadoop ? 1 ou 2 ? quelle distribution ?

l'erreur 2 cache certainement une autre erreur.

Dans hue, ensuite il faudrait les logs du côté workflow ou le jobbrower dans hue, si vous avez lancé le log history pour en permettre le suivi
et avoir l'erreur stderr/stdout dans une de vos taches

sinon jeter un oeil sur les job tracker, sur l'url et si le port n a pas changé,

http://monhost:19888/jobhistory

trouver et regarder les logs sur votre job