Discussion :

[Sebounet54]

Bonjour,

Au cours d'un développement, je dois récupérer des données via une API externe. Pour cela, j'utilise HttpClient (v4.0) d'Apache. La connexion a cette API nécessite de s'authentifier, ce que je fais.

Je dois réaliser plusieurs appels sur cette API. Systématiquement, je rencontre une erreur non pas au début mais après le douzième appel disant :

INFO 14-09 13:27:19,377 - Client - Connexion à [https://mon-api/v2] ...
INFO 14-09 13:27:19,396 - Client - RequestLine > POST /v2/ HTTP/1.1
INFO 14-09 13:27:19,717 - Client - RequestLine > POST /v2/ HTTP/1.1
INFO 14-09 13:27:20,982 - I/O exception (org.apache.http.NoHttpResponseException) caught when processing request: The target server failed to respond
INFO 14-09 13:27:20,983 - Retrying request
INFO 14-09 13:27:22,083 - I/O exception (org.apache.http.NoHttpResponseException) caught when processing request: The target server failed to respond
INFO 14-09 13:27:22,084 - Retrying request
ERROR 14-09 13:27:23,327 - Client - Un erreur interdit l'exécution de cette étape:
Impossible de retourner un résultat depuis l'url [https://mon-api/v2]
The target server failed to respond

Directement, j'ai pensé à une limitation au niveau de son utilisation mais ce n'est pas le cas. En revanche, dans cette recherche et en regardant dans les logs de requêtes du serveur hébergeant l'API, on a pu voir ceci :

80.80.80.08 - api_prod [14/Sep/2009:11:38:47 +0200] "POST /v2/ HTTP/1.1" 200 2759 "-" "PlugTest"
80.80.80.08 - - [14/Sep/2009:11:38:48 +0200] "POST /v2/ HTTP/1.1" 401 185 "-" "PlugTest"
80.80.80.08 - - [14/Sep/2009:11:38:54 +0200] "POST /v2/ HTTP/1.1" 401 185 "-" "PlugTest"
80.80.80.08 - api_prod [14/Sep/2009:11:38:58 +0200] "POST /v2/ HTTP/1.1" 200 227 "-" "PlugTest"
80.80.80.08 - - [14/Sep/2009:11:39:02 +0200] "POST /v2/ HTTP/1.1" 401 185 "-" "PlugTest"
80.80.80.08 - - [14/Sep/2009:11:39:06 +0200] "POST /v2/ HTTP/1.1" 401 185 "-" "PlugTest"
80.80.80.08 - api_prod [14/Sep/2009:11:39:06 +0200] "POST /v2/ HTTP/1.1" 200 227 "-" "PlugTest"
80.80.80.08 - - [14/Sep/2009:11:39:10 +0200] "POST /v2/ HTTP/1.1" 401 185 "-" "PlugTest"
80.80.80.08 - api_prod [14/Sep/2009:11:39:14 +0200] "POST /v2/ HTTP/1.1" 200 874 "-" "PlugTest"
80.80.80.08 - api_prod [14/Sep/2009:11:39:22 +0200] "POST /v2/ HTTP/1.1" 200 51267 "-" "PlugTest"
80.80.80.08 - - [14/Sep/2009:11:39:26 +0200] "POST /v2/ HTTP/1.1" 401 185 "-" "PlugTest"
80.80.80.08 - - [14/Sep/2009:11:39:30 +0200] "POST /v2/ HTTP/1.1" 401 185 "-" "PlugTest"
80.80.80.08 - - [14/Sep/2009:11:39:34 +0200] "POST /v2/ HTTP/1.1" 401 185 "-" "PlugTest"
80.80.80.08 - api_prod [14/Sep/2009:11:39:35 +0200] "POST /v2/ HTTP/1.1" 200 227 "-" "PlugTest"

Dans certains cas, l'authentification se fait bien (ligne 1, 4, etc.), dans d'autres, je ne suis pas authentifié (il manque l'utilisateur).

Au niveau de mon code, c'est pourtant une authenfication tout ce qu'il y a de plus bateau :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
public void processRow () {
	DefaultHttpClient _client = new DefaultHttpClient();
 
	String url = 'https://mon-api/v2';
	URI uri = new URI(url);
 
	// Basic authentication
	CredentialsProvider credsProvider = new BasicCredentialsProvider();
	Credentials creditentials = new UsernamePasswordCredentials("user", "pass");
	AuthScope authscope = new AuthScope(uri.getHost(), uri.getPort());
	credsProvider.setCredentials(authscope, creditentials);
	_client.setCredentialsProvider(credsProvider);
 
	_client.addRequestInterceptor(new HttpRequestInterceptor() {
 
		@Override
		public void process(HttpRequest request, HttpContext context)
				throws HttpException, IOException {
			logDetailed("RequestLine > " + request.getRequestLine().toString());
		}
	});
 
	HttpPost post = new HttpPost(url);
	HttpResponse response = _client.execute(post);
	HttpEntity entity = response.getEntity();
 
	/**
         * Traitement de la réponse
         * ...
         */
 
	if(entity != null)
		entity.consumeContent();
}

Je me demande donc si quelqu'un aurait une idée de pourquoi HttpClient n'envoie pas les infos d'authentification dans certains cas histoire de me donner des pistes pour me débloquer.

Merci d'avance.

[dinobogan]

Avant de critiquer ton code, tu devrais t'assurer des données envoyées au serveur en utilisant un proxy local par exemple (j'utilise proxomitron, il n'est plus maintenu mais fait exactement ce qu'on lui demande, ce qui est suffisant...)
C'est peut-être le serveur qui débloque.

[Sebounet54]

Je viens d'installer Proxomitron histoire de tester.

Pour chaque requête, j'ai ça qui s'affiche dans les logs :

+++GET 1+++
CONNECT / HTTP/1.1
Host: mon-api
Proxy-Connection: Keep-Alive
User-Agent: PlugTest

+++SSL 1:+++
SSL Pass-Thru: CONNECT https://mon-api/

+++GET 2+++
CONNECT / HTTP/1.1
Host: mon-api
Proxy-Connection: Keep-Alive
User-Agent: PlugTest

+++SSL 2:+++
SSL Pass-Thru: CONNECT https://mon-api/
+++CLOSE 2+++

Je remarque donc deux requêtes pour chacune de mes requêtes (une pour m'authentifier et une pour exécuter ma requête ?). Je vois pas ce que ça m'indique de plus par contre vu que je ne vois pas ce que j'envoie au serveur (comme la requête HTTP complète).

Au niveau de mon code, j'ai simplement ajouté ça pour qu'il prenne en compte le proxy :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
HttpHost proxy = new HttpHost("localhost", 8080);
_client.getParams().setParameter(ConnRoutePNames.DEFAULT_PROXY, proxy);

Je me suis aussi amusé à voir ce qui se passait avec Wireshark, mais là tout passe via TCP quand j'interroge l'api...

Il n'existerai pas un listener en java qui me permettrait d'intercepter les requêtes complètes, celles d'authenfication incluses (ce que ne semble pas faire addRequestInterceptor) ?

[dinobogan]

Dans proxomitron, tu as des options pour voir l'intégralité des données transmises.
Dans Wireshark, tu peux choisir l'application à sniffer, il faut chercher dans les options.
Cette étape est importante, elle te permet de savoir si le serveur est en cause

[Sebounet54]

Les options dans proxomitron se trouvent bien dans le menu "Edit" de la fenêtre "HTTP Message Log" ? Si c'est le cas, j'ai tout coché :



Mais ça ne m'affiche pas beaucoup plus d'informations :

Client opened: total 1
Client opened: total 2

+++GET 1+++
CONNECT / HTTP/1.1
Host: mon-api
Proxy-Connection: Keep-Alive
User-Agent: PlugTest

+++SSL 1:+++
SSL Pass-Thru: CONNECT https://mon-api/

+++GET 2+++
CONNECT / HTTP/1.1
Host: mon-api
Proxy-Connection: Keep-Alive
User-Agent: PlugTest

+++SSL 2:+++
SSL Pass-Thru: CONNECT https://mon-api/
+++CLOSE 2+++
Client closed: total 1
Client opened: total 2

Au niveau de Wireshark maintenant, y'a plus de choses. Après avoir sniffer mon appli, je constate que tous les paquets envoyés vers l'api ont des erreurs de checksum invalides. Vu que le réseau et moi ça fait 2, je sais pas si c'est grave ou pas. De la même manière, quand j'essaye d'afficher les données d'un paquet en utilisant "TCP as stream", j'ai tout une suite de caractères indéchiffrable (que ce soit en raw ou en ascii).

En naviguant sur le net, j'ai peut-être zappé un détail important : le firewall de ma boite. Ce serait possible qu'il altère certaines requêtes et pas d'autres ?

[Sebounet54]

Je viens de faire des tests en ajoutant des HttpRequestInterceptor et HttpResponseInterceptor afin d'avoir la première ligne de la requête. Voilà suivant les essais :

Oubli de l'authentification :

INFO 16-09 13:20:04,668 - PlugTest - Connexion à [https://mon-api/] ...
INFO 16-09 13:20:04,675 - PlugTest - HttpRequestInterceptor: CONNECT mon-api HTTP/1.1
INFO 16-09 13:20:04,761 - PlugTest - HttpResponseInterceptor: HTTP/1.1 200 Connection established
INFO 16-09 13:20:04,766 - PlugTest - HttpRequestInterceptor: POST /v2/ HTTP/1.1
INFO 16-09 13:20:05,047 - PlugTest - HttpResponseInterceptor: HTTP/1.1 401 Unauthorized
INFO 16-09 13:20:05,048 - PlugTest - RESPONSE:

<?xml version="1.0" encoding="UTF-8"?>
<response xmlns="http://mon-api/">
<result code="9997">
<msg><![CDATA[Username and/or password missing]]></msg>
</result>
</response>

Requête passée et réussie (les premières) :

INFO 16-09 13:30:37,069 - PlugTest - Connexion à [https://mon-api/] ...
INFO 16-09 13:30:37,072 - PlugTest - HttpRequestInterceptor: CONNECT mon-api HTTP/1.1
INFO 16-09 13:30:37,184 - PlugTest - HttpResponseInterceptor: HTTP/1.1 200 Connection established
INFO 16-09 13:30:37,211 - PlugTest - HttpRequestInterceptor: POST /v2/ HTTP/1.1
INFO 16-09 13:30:37,500 - PlugTest - HttpResponseInterceptor: HTTP/1.1 401 Unauthorized
INFO 16-09 13:30:37,502 - PlugTest - HttpRequestInterceptor: CONNECT mon-api HTTP/1.1
INFO 16-09 13:30:37,591 - PlugTest - HttpResponseInterceptor: HTTP/1.1 200 Connection established
INFO 16-09 13:30:37,613 - PlugTest - HttpRequestInterceptor: POST /v2/ HTTP/1.1
INFO 16-09 13:30:38,299 - PlugTest - HttpResponseInterceptor: HTTP/1.1 200 OK
INFO 16-09 13:30:38,300 - PlugTest - RESPONSE:

<?xml version="1.0" encoding="UTF-8"?>
<response xmlns="http://mon-api/">
<result code="1000">
<msg><![CDATA[Command completed successfully]]></msg>
</result>
</response>

Et enfin quand j'ai pas de réponse :

INFO 16-09 13:32:08,316 - PlugTest - Connexion à [https://mon-api/] ...
INFO 16-09 13:32:08,320 - PlugTest - HttpRequestInterceptor: CONNECT mon-api HTTP/1.1
INFO 16-09 13:32:08,429 - PlugTest - HttpResponseInterceptor: HTTP/1.1 200 Connection established
INFO 16-09 13:32:08,435 - PlugTest - HttpRequestInterceptor: POST /v2/ HTTP/1.1
INFO 16-09 13:32:08,765 - PlugTest - HttpResponseInterceptor: HTTP/1.1 401 Unauthorized
INFO 16-09 13:32:08,767 - PlugTest - HttpRequestInterceptor: CONNECT mon-api HTTP/1.1
INFO 16-09 13:32:08,936 - PlugTest - HttpResponseInterceptor: HTTP/1.1 200 Connection established
INFO 16-09 13:32:08,946 - PlugTest - HttpRequestInterceptor: POST /v2/ HTTP/1.1
INFO 16-09 13:32:10,008 - I/O exception (org.apache.http.NoHttpResponseException) caught when processing request: The target server failed to respond
INFO 16-09 13:32:10,008 - Retrying request
INFO 16-09 13:32:10,009 - PlugTest - HttpRequestInterceptor: CONNECT mon-api HTTP/1.1
INFO 16-09 13:32:10,124 - PlugTest - HttpResponseInterceptor: HTTP/1.1 200 Connection established
INFO 16-09 13:32:10,133 - PlugTest - HttpRequestInterceptor: POST /v2/ HTTP/1.1
INFO 16-09 13:32:11,290 - I/O exception (org.apache.http.NoHttpResponseException) caught when processing request: The target server failed to respond
INFO 16-09 13:32:11,290 - Retrying request
INFO 16-09 13:32:11,292 - PlugTest - HttpRequestInterceptor: CONNECT mon-api HTTP/1.1
INFO 16-09 13:32:11,428 - PlugTest - HttpResponseInterceptor: HTTP/1.1 200 Connection established
INFO 16-09 13:32:11,438 - PlugTest - HttpRequestInterceptor: POST /v2/ HTTP/1.1
ERROR 16-09 13:32:12,531 - PlugTest - The target server failed to respond

Je sais pas si ça peut aider à identifier d'où vient le problème.