Discussion :

[ghizlanehrk]

Bonjour tous le monde

svp j'utilise un code python pour se connecter avec hive , a cause de les librairies toujours j'ai des erreurs

le premier code c'est celui la :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
from pyhive import hive
import pandas as pd
 
#Create Hive connection
conn = hive.Connection(host="10.111.22.11", port=10000, username="cloudera" , database="default")
 
# Read Hive table and Create pandas dataframe
df = pd.read_sql("SELECT * FROM etudiantsv ", conn)
print(df.head())

sur anaconda avec python 2 : erreur
in __init__(self, host, port, username, database, auth, configuration, kerberos_service_name, password, thrift_transport)
150 elif auth in ('LDAP', 'KERBEROS', 'NONE', 'CUSTOM'):
151 # Defer import so package dependency is optional
--> 152 import sasl
153 import thrift_sasl
154

ImportError: No module named sasl

et sur pycharm python 3.7

il y'a cette erreur :

def execute(self, operation, parameters=None, async=False):
^
SyntaxError: invalid syntax

je suis vraiment perdue et j'arrive pas a connaitre c'est quoi le probleme

[VinsS]

Salut,

La première erreur t'indique que ton installation n'est pas complète, il te manque un module dont dépend pyhive.

Ici il s'agit de sasl, tu pourrais l'installer avec pip install sasl toutefois il semble que ce ne soit pas aussi simple, regarde cette conversation avant toutes choses.

Après tu auras peut-être le même problème avec thrift_sasl.


Pour la deuxième erreur, regarde à la ligne qui précède celle qui est indiquée, il manque peut-être une parenthèse fermante ou toute autre bêtise du même genre.

[ghizlanehrk]

salut merci beaucoup pour la reponse

stp j ai ajoute NOSASL alors il a arrete de demander d installer la librairire sasl

code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
from pyhive import hive
import pandas as pd
 
#Create Hive connection
conn = hive.Connection(host="10.111.22.11", port=10000, username="cloudera" , database="default" , auth='NOSASL')
 
# Read Hive table and Create pandas dataframe
df = pd.read_sql("SELECT * FROM etudiantsv ", conn)
print(df.head())

alors j ai que des erreurs de connexion , si vous connaissez comment la reussir , merci de m'aider

[VinsS]

Je n'ai jamais utilisé pyhive donc je ne pourrai pas t'aider mais de toutes façons il faut absolument que tu copies ici les messages d'erreurs sans cela personne ne pourra te guider.

[ghizlanehrk]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
from pyhive import hive
import pandas as pd
 
#Create Hive connection
conn = hive.Connection(host="10.0.2.15", port=10000, username="root" , database="default" , auth ='NOSASL')
 
# Read Hive table and Create pandas dataframe
df = pd.read_sql("SELECT * FROM etudiantsv ", conn)
print(df.head())

erreur :


%run "/home/cloudera/pythontest/testhive.py"

TTransportExceptionTraceback (most recent call last)
/home/cloudera/pythontest/testhive.py in <module>()
3
4 #Create Hive connection
----> 5 conn = hive.Connection(host="10.0.2.15", port=10000, username="root" , database="default" , auth ='NOSASL')
6
7 # Read Hive table and Create pandas dataframe
/home/cloudera/.local/share/canopy/edm/envs/User/lib/python2.7/site-packages/pyhive/hive.pyc in __init__(self, host, port, username, database, auth, configuration, kerberos_service_name, password, thrift_transport)
190
191 try:
--> 192 self._transport.open()
193 open_session_req = ttypes.TOpenSessionReq(
194 client_protocol=protocol_version,
/home/cloudera/.local/share/canopy/edm/envs/User/lib/python2.7/site-packages/thrift/transport/TTransport.pyc in open(self)
151
152 def open(self):
--> 153 return self.__trans.open()
154
155 def close(self):
/home/cloudera/.local/share/canopy/edm/envs/User/lib/python2.7/site-packages/thrift/transport/TSocket.pyc in open(self)
111 addrs))
112 logger.error(msg)
--> 113 raise TTransportException(TTransportException.NOT_OPEN, msg)
114
115 def read(self, sz):
TTransportException: Could not connect to any of [('10.0.2.15', 10000)]

[wiztricks]

Salut,

Avec comme erreur Could not connect to any of [('10.0.2.15', 10000)], rien ne répond côté serveur...
Mais comme on ne sait pas comment a été configuré tout ce bazar, difficile d'en dire plus.

- W