Problème lorsque j'essaie d'utiliser urllib depuis le boulot (proxy)

Version imprimable

Bonjour à tous,

Depuis un moment je rencontre des problèmes lorsque je teste des scripts venant de tutoriaux lorsque je souhaite exploiter des API fournit par différents sites internet pour récupérer des infos au format json.

Le problème est toujours le même :

Citation:

error: [Errno 10054] Une connexion existante a dû être fermée par l’hôte distant

Voici un exemple de script que j'ai essayé et qui me renvoie le même message d'erreur qu'au dessus :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
 
try:
    # For Python 3.0 and later
    from urllib.request import urlopen
except ImportError:
    # Fall back to Python 2's urllib2
    from urllib2 import urlopen
 
import json
 
 
def get_jsonparsed_data(url):
    """
    Receive the content of ``url``, parse it as JSON and return the object.
 
    Parameters
    ----------
    url : str
 
    Returns
    -------
    dict
    """
    response = urlopen(url)
    data = response.read().decode("utf-8")
    return json.loads(data)
 
 
url = ("http://maps.googleapis.com/maps/api/geocode/json?"
       "address=googleplex&sensor=false")
print(get_jsonparsed_data(url))

Erreur :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
Traceback (most recent call last):
  File "C:\Users\dev\Desktop\Development\Python\urllib_test\Google_script.py", line 30, in <module>
    print(get_jsonparsed_data(url))
  File "C:\Users\dev\Desktop\Development\Python\urllib_test\Google_script.py", line 23, in get_jsonparsed_data
    response = urlopen(url)
  File "C:\Program Files (x86)\python27\lib\urllib2.py", line 126, in urlopen
    return _opener.open(url, data, timeout)
  File "C:\Program Files (x86)\python27\lib\urllib2.py", line 400, in open
    response = self._open(req, data)
  File "C:\Program Files (x86)\python27\lib\urllib2.py", line 418, in _open
    '_open', req)
  File "C:\Program Files (x86)\python27\lib\urllib2.py", line 378, in _call_chain
    result = func(*args)
  File "C:\Program Files (x86)\python27\lib\urllib2.py", line 1207, in http_open
    return self.do_open(httplib.HTTPConnection, req)
  File "C:\Program Files (x86)\python27\lib\urllib2.py", line 1180, in do_open
    r = h.getresponse(buffering=True)
  File "C:\Program Files (x86)\python27\lib\httplib.py", line 1030, in getresponse
    response.begin()
  File "C:\Program Files (x86)\python27\lib\httplib.py", line 407, in begin
    version, status, reason = self._read_status()
  File "C:\Program Files (x86)\python27\lib\httplib.py", line 365, in _read_status
    line = self.fp.readline()
  File "C:\Program Files (x86)\python27\lib\socket.py", line 447, in readline
    data = self._sock.recv(self._rbufsize)
error: [Errno 10054] Une connexion existante a dû être fermée par l’hôte distant

Pour me connecter à internet mon navigateur internet passe par un proxy (script en .pac).

Est ce que depuis python je dois également passer par ce proxy ? Est ce que mon problème peut provenir du proxy ?

Merci d'avance pour votre aide.

06/11/2017, 16h15
wiztricks

Salut,

Citation:

Envoyé par nekcorp

Est ce que depuis python je dois également passer par ce proxy ? Est ce que mon problème peut provenir du proxy ?

C'est une question à poser aux administrateurs réseau de votre boîte.
Ceci dit, s'ils ont bien fait leur boulot, impossible d'accéder à Internet sans passer par le proxy.

- W
06/11/2017, 17h22
nekcorp

Citation:

C'est une question à poser aux administrateurs réseau de votre boîte.

Disons que je n'ai pas réellement de raisons à leur demander car je fait des tests pour des projets perso à la pose déj.
De plus lorsqu'on a un problème c'est ouverture d'un incident, ticket, temps de réponses souvent long etc .....

Citation:

Ceci dit, s'ils ont bien fait leur boulot, impossible d'accéder à Internet sans passer par le proxy.

Existe t-il un essai qui me permettrait de confirmer que le problème vient bien de la non utilisation du proxy ?

Merci
06/11/2017, 19h05
VinsS

Salut,

Essaye avec une autre url.

Au passage, je l'utilisais dans une appli jusqu'il y a peu, mais, un beau jour, cette connexion me fut systématiquement refusée.

Voici ce que l'on obtient:

Citation:

error_message "You have exceeded your daily request quota for this API. We recommend registering for a key at the Google Developers Console: https://console.developers.google.com/apis/credentials?project=_"
results []
status "OVER_QUERY_LIMIT"
06/11/2017, 20h34
wiztricks

Citation:

Envoyé par nekcorp

Existe t-il un essai qui me permettrait de confirmer que le problème vient bien de la non utilisation du proxy ?

Entrer l'URL dans le navigateur internet (qui utilise le proxy).

- W
07/11/2017, 09h49
nekcorp

Citation:

Envoyé par VinsS

Salut,

Essaye avec une autre url.

Au passage, je l'utilisais dans une appli jusqu'il y a peu, mais, un beau jour, cette connexion me fut systématiquement refusée.

Voici ce que l'on obtient:

Citation:

error_message "You have exceeded your daily request quota for this API. We recommend registering for a key at the Google Developers Console: https://console.developers.google.com/apis/credentials?project=_"
results []
status "OVER_QUERY_LIMIT"

Merci VinsS,

Ton message concerne une limitation lié au fait que Google demande une clef pour utiliser ses services. Moi c'est un problème python.

J'ai pris de l'API Google pour illustration mais j'ai ce problème sur toutes les API que j'ai testé et qui utilisent urllib.

J'ai changé l'adresse et le service aussi, toujours le même message d'erreur.

Citation:

Entrer l'URL dans le navigateur internet (qui utilise le proxy).

J'avais déjà essayé de le faire avant de poster mon message, je récupère un fichier .json comme prévu.

Je vais essayé de faire passer mes requêtes en passant par le proxy, mais c'est pas gagné d'après mes recherches car on passe par un script (fichier .pac c'est du javascript dedans).
07/11/2017, 10h31
wiztricks

Salut,

Citation:

Envoyé par nekcorp

Je vais essayé de faire passer mes requêtes en passant par le proxy, mais c'est pas gagné d'après mes recherches car on passe par un script (fichier .pac c'est du javascript dedans).

C'est du code qui se lit...
Sinon il existe une bibliothèque pypac supposée faire le boulot (mais que je n'ai jamais utilisée).

- W
07/11/2017, 14h11
nekcorp

Citation:

Envoyé par wiztricks

Salut,
Sinon il existe une bibliothèque pypac supposée faire le boulot (mais que je n'ai jamais utilisée).
- W

Oui effectivement je suis tombé sur cette bibliothèque, je regarde comment ça fonctionne, je ferais un retour si ça été concluant

Merci.