Discussion :

[pcouas]

Bonsoir et meilleurs voeux

J'ai besoin chez un client d’accéder a un datalake hadoop/spark afin d'effectuer des requêtes manuellement
J'ai accès a un serveur Linux sur lequel un programme python recupere les données de ce datalake.
Il effectue un
- kinit
- recuperation HDFS
- puis un beeline

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
kinit monapp -kt /app/monapp.keytab
HDFS_PATH="hdfs://s1.fr:8020"
hadoop distcp -Dmapred.job.queue.name=BATCH $HDFS_PATH/REFINED/Support/ISS* /WORK/INPUT/

Comme beeline est present sur le serveur
j'ai tenté

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
beeline >! connect jdbc:hive2://s1.fr:10000/default;principal=hive/_HOST@s1.FR
=> pas d'erreurs

mais le show databases et le show tables ne me donne rien, je ne dois donc pas etre sur le bon serveur, je suppose que je suis encore en local

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
show databases
show tables

Pas les bonnes bases ni les bonnes tables
Ou est mon erreur ??
Merci de votre aide

[pcouas]

Comme j'ai fait un distcp vers /WORK/INPUT/
Puis je faire un hive local ?
Dois je faire un LOAD ou un IMPORT ????
J"ai également hive sur le serveur
Je pense qu'il me manque les MetaData