Discussion :

[flo_k]

Bonjour,
j'utilise cette fonction pour aspirer une page web :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
 
char *bor_aspire_page(int sock,char *page,char *url)
{
	int pos;
	int k;
	char tmp[200];
	char tpm[100];
	char *buf;
 
	buf = malloc(sizeof(char) * MAX_MESS);
	sprintf(tmp,"GET /%s HTTP/1.1\r\nHost: %s\r\nAccept: */*\r\nConnection: Keep-Alive\r\n\r\n",page,tpm);
 
	if(send(sock,tmp,strlen(tmp),0) < 0)
	{
		perror("write");
		return NULL;
	}
 
	pos=0;
	while(1)
	{
		k=recv(sock,buf+pos,MAX_MESS-pos-1,0);
		if(k <= 0)
		break;
 
		pos+=k; 
 
		if(pos > MAX_MESS-1)
		break;
	}
 
	return buf;
}

Je l'utilise dans une boucle while,
a la premiere itération la page est bel et bien téléchargé, avec comme réponse du serveur

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
HTTP/1.1 200 OK
Date: Sun, 15 Jun 2008 12:19:44 GMT
Server: Apache/1.3.37 (Unix)
Last-Modified: Sun, 15 Jun 2008 12:01:04 GMT
Keep-Alive: timeout=15
Connection: Keep-Alive
Transfer-Encoding: chunked
Content-Type: text/html

A la deuxième itération, recv() renvoie 0.

J'en ai déduis que j'avais été deconnecté du serveur, j'ai essayé d'utiliser les connections http persistantes, en utilisant le protocole http 1.1 puis modifier les headers (Connection: Keep-Alive), d'ailleur le serveur me renvoie bien ceci, mais rien n'y fait.

En plus de cela la premiere page qui est téléchargé l'est rapidement, mais la détection "de fin de téléchargement" prend un peu de temps, meme énormément de temps, alors qu'en utilisant http 1.0 ca va très vite.

Si quelqu'un pouvait m'éclairer
Merci

[nicolas.sitbon]

2 choses :
- poste ton code en entier pour voir les problèmes que tu mentionnes
- que t'attends tu à recevoir comme données dans ta boucle si tu n'émets pas de nouvelles requêtes?

[flo_k]

Salut,
oui bien sur j'émet une nouvelle requete,
tu as mal lu, c'est l'appel a la fonction bor_aspire_page() qui est dans une boucle,

mon code c'est donc la fonction ci dessus plus ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
char *mess;
 
mess = bor_aspire_page(sock[args->idcur],"page1.html",domaine);
printf("==> %s <==\n",mess);
mess = bor_aspire_page(sock[args->idcur],"page2.html",domaine);
printf("==> %s <==\n",mess);

Ca vient il me semble des headers HTTP 1.1, j'ai lu qu'il fallait etre vigilant et que d'autres personnes ont ce problème, mais je n'arrive absolument pas à le régler.

Lorsque je ferme la socket et la reconnecte à chaque fin de téléchargement de page, la requete suivante est bien traité et j'ai une réponse du serveur, mais les deux à la suite non, je suis apparemment déconnecté du serveur à la fin de la première.

[nicolas.sitbon]

OK, il s'agit d'un problème de conception, dans l'entête HTTP renvoyé tu dois logiquement avoir un champs "Content-Length" t'indiquant le nombre exact de bytes à lire après l'entête, hors toi, tu essayes d'en lire plus, du coup, il n'y a rien à lire, et la connexion se ferme une fois de délai de keep-alive écoulé (d'ou le temps "très long" de détection de fin de page que tu crois).

[flo_k]

OK, il s'agit d'un problème de conception, dans l'entête HTTP renvoyé tu dois logiquement avoir un champs "Content-Length" t'indiquant le nombre exact de bytes à lire après l'entête, hors toi, tu essayes d'en lire plus, du coup, il n'y a rien à lire, et la connexion se ferme une fois de délai de keep-alive écoulé (d'ou le temps "très long" de détection de fin de page que tu crois).

Effectivement je dois lire la ou il ne faut pas a un moment et c'est pour ca que le serveur ferme la connection, mais le serveur me renvoie "Transfer-Encoding: chunked" ce qui d'après la RFC http 1.1 signifie que la taille de la réponse du serveur ne peut pas etre déterminé a l'avance. Donc il est apparemment normal que je n'ai pas de champ content-length.

Donc je ne sais pas quoi faire pour lire correctement les données.

[nicolas.sitbon]

Ah oui autant pour moi je n'avais pas vu le Transfert-Encoding.
Dans ce cas, tu dois quelque chose comme ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
HTTP/1.1 200 OK
...
Transfer-Encoding: chunked
 
taille du morceau en hexa
morceau
taille du morceau 2 en hexa
morceau2
taille du morceau n en hexa
morceau n
 
0