Discussion :

[ViveBilou6]

Bonjour à tous

Voilà j'ai codé un petit script python utilisant le module socket, qui se connecte à un site web pour me ramener le contenu d'une page web. J'utilise d'habitude urllib, mais là c'est plus compliqué donc je préfère utiliser le module socket pour mieux maîtriser ce que je fais.

Mon problème, c'est que la page web est très longue, alors que mon programme ne me ramène pas plus de 1500 octets environ (en-tête compris). De plus, il s'arrête de façon vraiment imprévisible, en plein au milieu d'un javascript.

Pourtant, j'ai spécifié 9000 octets à s.recv(), et ça ne change rien si j'augmente ou diminue ce nombre (tant que je reste au dessus de 1500 bien sûr).

Avez-vous une idée d'où ce problème pourrait venir ?

Je reste bien sûr à votre disposition pour de plus amples précisions sur le fonctionnement de mon programme.

Merci d'avance

[tamiel]

C'est normal c'est la fragmentation des paquets spécifiée par le mtu.
La norme en ethernet est 1500 octets.

http://fr.wikipedia.org/wiki/Maximum_Transmission_Unit

[ViveBilou6]

Merci beaucoup tamiel

Après recherches, j'ai effectivement remarqué que le serveur m'envoyait de nombreux paquets avec le protocol TCP avant de répondre à ma requête par HTTP 200.

Seulement je n'ai pas trouvé de documentation claire m'expliquant comment faire cette fragmentation, à la manière de mon navigateur.

Y'a t-il une solution simple avec le module socket ? Ou bien faut-il que je continue avec un module plus évolué, comme urllib2 par exemple ?

Merci encore.

[wiztricks]

urllib est la couche qui assemble et fragmente les messages HTTP 'au dessus' de la couche TCP - accédée via _socket_.

Je n'ai pas trop compris pourquoi vous vouliez passer 'en dessous' mais si vous avez besoin des services que cette couche apporte, il vous faudra les recoder (ce qui n'est pas forcément 'trop' compliqué')
- W

[emmanuel_dumas]

Bonjour

recv() renvoie les données disponibles de suite dans le buffer, ou se bloque jusqu'à ce que des données soient disponibles.

Dans beaucoup de cas, surtout dans les exemples, on suppose qu'après un :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

data = s.recv(1024)

On a les données que l'on souhaite.

Cependant, la couche de transport (ethernet dans beaucoup de cas) peut découper les données en plusieurs paquets de la taille dite du MTU.

Ce qui amène en faite dans la réalité à plutôt écrire des bouts de code comme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
while pas_assez_de_données:
     data = data + s.recv(4096)

où dans le cas d'une requête HTTP, où la socket est fermée à la fin de la requête, j'écrirais quelque chose comme:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
# connexion au server
s = socket.socket( ... )
s.connect (...)
 
# envoi de la requête HTTP (attention, de mémoire je ne suis pas sur du détail  
s.send("GET ...")
 
# réception de la réponse
data = []
lastPacket = " "
while lastPacket:
    lastPacket = s.recv(4096)
    data = data + lastPacket
 
s.close()
 
# ici on a dans data toutes la réponse à la requête HTTP
...

En espérant que cette réponse un peu redondante par rapport aux autres éclaircisse un le sujet.


Cordialement
Emmanuel

[ViveBilou6]

Merci à tous les trois

Je viens de faire les tests nécessaires, et j'arrive à faire ce que je voulais . Je vais donc me servir du module socket pour l'authentification puis de urllib pour la suite.

Encore merci pour les infos

[Antoine_935]

C'est normal c'est la fragmentation des paquets spécifiée par le mtu.
La norme en ethernet est 1500 octets.

http://fr.wikipedia.org/wiki/Maximum_Transmission_Unit

Tiens, voila peut-être la raison et solution d'un bug qui s'est posé à moi il y a plus de 6 mois, dans un petit projet perdu de vue depuis... je n'ai pas le code sous la main, mais je te remercie dors et déjà pour cette information