Discussion :

[juliensmarties]

Bonjour,
Je suis débutant en C# et je souhaiterais savoir comment faire pour récupérer des informations d'un site web. En quelque sorte depuis la source d'une page récupérer des informations.
Par exemple dans une page source j'aurais:
toto="123242" blabla="AZERTY" ...
Et je souhaiterais récupérer l'information 123242 et la renvoyer dans une url par exemple http://www.google.fr/search?q=123242
et récupéré le résultat de cette page.

Je ne vois donc pas du tout comment m'y prendre.

Merci à ceux qui pourront m'aider.

Ju

[kheironn]

Ce que tu cherches à faire ressemble un peu aux bots qui "sniffent" les adresses mails dans les site, non ?

[Gregory_007]

Bonjour

Je serais intéressé moi aussi a savoir comment l'on fait. Je ne recherche pas a sniffer les adresses emails, ca serait plus tot pour la meteo sur le site de meteo media.

Je n'ai pas le code avec moi, mais j'ai déjà réussi a avoir le code d'une page web, est-ce que c'est a partir de cette infos que je peux aller chercher les critères qui m'intéresse ?

Merci

Grégory

PS: je sais que la question a été posé en 2008, mais je ne voulais pas ouvrir une nouvelle discution.

[PatteDePoule]

J'ai déjà fait 2-3 programmes qui parcouraient le code source d'une page web, et j'ai toujours utilisé les expressions régulières.

Un peu complexe au début, mais lorsqu'on s'habitue c'est tellement puissant!

L'objet que j'utilise pour obtenir la page est un HttpWebRequest.

[Gregory_007]

Allo PatteDePoule
Merci d'avoir pris le temps de me répondre. C'est bien ca Httpwebrequest que je m'était déjà servie.

PAr exemple, avec le code que j'ai, voici une partie de la réponse que j'aimerais filtrer (Voir souligné):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
<dt>Enregistr�es �: </dt>
                    <dd>A�roport int. de Montr�al-Trudeau</dd>
                    <dd class="dd1">&nbsp;</dd>
                    <dt>Date: </dt>
                    <dd>21h00 HAE jeudi 19 juillet 2012</dd>
                  </dl>
                </div>
                <div id="citycondition">
                  <ul>
                    <li class="leftList">
                      <dl class="leftCol">
                        <dt>Condition:</dt>
                        <dd>G�n�ralement d�gag�</dd>
                        <dd class="dd1">&nbsp;</dd>
                        <dt>Pression:</dt>
                        <dd>101,7&nbsp;kPa</dd>
                        <dd class="dd1">&nbsp;</dd>
                        <dt>Tendance:</dt>
                        <dd>� la hausse</dd>
                        <dd class="dd1">&nbsp;</dd>
                        <dd class="dd1">&nbsp;</dd>
                        <dt>Visibilit�:</dt>
                        <dd>48 km</dd>
                        <dd class="dd1">&nbsp;</dd> </dl>
                    </li>
                    <li class="rightList">
                      <dl class="rightCol">
                        <dt>Temp�rature:</dt>
                        <dd>20,0&deg;C</dd>
                        <dd class="dd1">&nbsp;</dd>
                        <dt>Point de ros�e:</dt>
                        <dd>8,5&deg;C</dd>
                        <dd class="dd1">&nbsp;</dd>
                        <dt>Humidit�:</dt>
                        <dd>47 %</dd>
                        <dd class="dd1">&nbsp;</dd>
                        <dt>Vent:</dt>
                        <dd class="longContent">N 8 km/h</dd>
                        <dd class="dd1">&nbsp;</dd>
                      </dl>

Qu'est-ce que je dois faire a partir de là ?
Merci
Grégory

[yonpo]

Salut,

Il y a Html Agility Pack pour extraire facilement du contenu d'une page web.

[Al_th]

Si tu veux le faire à la main :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
//Recupération du code source
string uri = "http://www.tapage.fr";
WebRequest wReq = WebRequest.Create(new Uri(uri))
WebResponse wResp = wReq.GetResponse();
StreamReader sr = new StreamReader(wResp.GetResponseStream();
string str = sr.ReadToEnd();
 
//Recupération de la donnée intéressante
str = str.Substring(str.IndexOf("Date:")+"Date:".Length);
str = str.Substring(str.IndexOf("<dd>")+"<dd>".Length);
string tavaleur = str.Substring(0,str.IndexOf("<"));

Tu l'auras compris, c'est pas bien difficile. Une fois que tu as ta chaine de caractère, tu coupe ce dont tu n'as pas besoin, et tu prends ce que tu as besoin. Généralement tu peux te débrouiller assez facilement, il y a de nombreuses choses qui sont génériques aux pages web et n'apparaissent qu'une seule fois dans la page.

Genre dans une recherche, les site mettent en page pour les résultats, donc tu peux potentiellement arriver jusqu'au début des résultats de recherche en une seule "découpe" (des trucs genre : <div class="result"> sont très pratique si tu veux te faciliter la tâche !)

[Gregory_007]

Bonjour
Merci Al_th. J'ai essayé vite fait ce que tu m'as donné comme info et cela a l'air de très bien fonctionner.

Je vais le tester demain et à partir de là je te reviendrais avec d'autres questions si besoin.

En attendant, pourquoi j'ai de petit signe bizarre à la place des "é" :

Qu�bec
- Pr�visions sur 7 jours - d'Environnement Canada

Peut on les enlever ?
Merci
Grégory

[yonpo]

C'est une question d'encodage. En UTF8, ça devrait aller.

Code c# :

Sélectionner tout - Visualiser dans une fenêtre à part

StreamReader sr = new StreamReader(wResp.GetResponseStream(), Encoding.UTF8);

[Gregory_007]

Allo

Je peux dire que tout fonctionne très bien.
Comme ce n'est pas moi qui ai ouvert cette discutions, est-ce qu'il y a la possibilité de dire que celle-ci est résolut ?

Une petite dernière question. Al_th tu me dis "Si tu veux le faire à la main ". Est-ce qu'il existe d'autre façon de le faire ? Plus rapide, plus simple ?

Merci à tous
Grégory

[Al_th]

Bonsoir Gregory_007,

Quand je dis "Faire à la main", je veux dire par là que tu coupes ta chaîne de caractère petit bouts par petit bouts. C'est pas très générique, et si le site change sa structure en rajoutant un "Date:" avant, par exemple, ton logiciel pourra fonctionner un peu moins bien.

Une solution différente serait, comme l'a dis Pattedepoule plus haut, l'utilisation d'expression régulière. Ces dernières sont très puissantes pour reconnaître des "patrons" qui reviennent dans ta chaîne de caractère.

Si ton but c'est de développer ton application rapidement et sans te prendre la tête, le plus rapide/simple, c'est la méthode que je t'ai donné plus haut (tout du moins si tu n'es pas habitué des expressions régulières).

Si le but est d'apprendre, les RegEx (Regular Expressions) sont plus intéressantes, et te permettrons peut être de faire des choses beaucoup plus poussées si tu en as besoin. Pour une application un peu similaire à la tienne, j'avais par exemple à retirer toute les balises HTML de ma chaine de caractère. Au lieu de défiler ma chaine de caractère en retirant tout ce qui se trouvait après un "<" jusqu'au prochain ">", les regex m'ont permis en 3 lignes de remplacer toute les occurences de la forme "<{quelquechose}>". C'est très puissant quand on sait s'en servir !

Quand à la résolution de la discussion, il me semble que seul l'auteur ou un modérateur peut le faire.

Cordialemet,

Al_th