Discussion :

[bobbely]

Salut à tous,

J'ai une application qui récupère les données d'une page HTML selon la demande de l'utilisateur mais j'ai un aussi au niveau de l'encodage des caractères. Les pages qui peuvent être récupérés sont toutes sur le même site mais le contenu peut être différent.

Hors, ce contenu peut parfois ne pas avoir accepté les caractères spéciaux et m'affichant à la place leur code du style "&#XXX;". J'ai donc essayé différents Encoding pour le StreamReader mais rien n'y fait. Voici le bout de code en question :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
request.Proxy = WebRequest.GetSystemWebProxy();
request.Proxy.Credentials = new NetworkCredential("UserName", "XXXXX");
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
 
StreamReader sr = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("ISO-8859-15"));
content = Functions.sr.ReadToEnd();
 
sr.Close();
response.Close();

Une idée d'où peut venir le problème?

[DonQuiche]

Bonjour.

As-tu pensé à vérifier la valeur de HttpWebResponse.ContentType ? Celui-ci devrait spécifier l'encodage utilisé. Note qu'il dépend sans doute des encodages acceptés spécifiés dans la requête que tu as envoyée. Enfin il est toujours utile d'avoir Fiddler installé sur la machine pour vérifier les messages envoyés et les réponses reçues (libre, open source, simple à utiliser pour un usage basique : la requête en haut, la réponse en bas).

[bobbely]

J'avais bien vérifié le content-type qui est toujours "text/html", et l'encodage de la page est spécifié sur "ISO-8859-1". Ce que je ne comprends pas, c'est que certaines pages ne rencontrent aucuns problèmes alors que d'autres ne me retournent pas les caractères spéciaux dans le bon format, les 2 cas sont pourtant sur le même site et le même type d'url (seulement une variable change).

[DonQuiche]

ContentType est uniquement "text/html" sans précision d'encodage ? Dans ce cas quelles sont les valeurs de ContentEncoding et CharacterSet ? Et as-tu vérifié avec Fiddler si c'était bien la valeur retournée par le site et non une valeur présumée par VS ?

Car quand tu parles de l'encodage "ISO-8859-1" de la "page", j'imagine que c'est un document html et que tu te réfères à la balise meta correspondante et non à la valeur spécifiée par l'en-tête http ?

Enfin je t'invite à vérifier que toutes ces valeurs sont identiques dans les deux cas.

PS : Si tu peux nous donner l'url (ou plutôt les url puisqu'il y a deux cas), n'hésite pas. Je présume que non vu que tu fournis des identifiants mais au cas où...

[bobbely]

Le char-set n'est pas précisé dans le ContentType. Par contre il est bien présent dans CharacterSet en tant que "ISO-8859-1" et le ContentEnding n'est pas attribué. J'ai vérifié avec Fiddler et l'entête n'affiche effectivement pas le char-set, il est cependant présent dans les balises meta du site.

Voici 2 pages pour exemples (la 2e est sujette aux problèmes de caractères):
- 1ère page
- 2e page

[bobbely]

J'ai testé pas mal d'encodages différents, de passer par d'autres méthodes mais rien à faire, certaines pages contiennent tout de même ces caractères de type "&#XXX;". Je ne sais plus quoi faire honnêtement, j'ai essayé de trouver la différence entre les 2 pages ci-dessus mais je ne vois que des similitudes (normal venant du même site) ... ça commence à devenir louche.

Le header de la page (toujours pareil):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/;q=0.8
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.3
Accept-Encoding: gzip,deflate,sdch
Accept-Language: fr-FR,fr;q=0.8,en-US;q=0.6,en;q=0.4

J'ai d'ailleurs remarqué que les pages ayant ce problèmes contiennent pourtant des caractères spéciaux seulement dans les balises HTML, le problème ne semble se présenter que sur le contenu de la page, c'est-à-dire le texte entre balises HTML. Une idée?