Parsing de page Javascript.

Version imprimable

11/02/2010, 13h25
katcha95

Parsing de page Javascript.

Salut a tous,

Je cherche a recuperer automatiquement des informations dans une page web. Je sais le faire a partir du moment que l'information se trouve dans le code source HTML de la page. Mais lorsqu'il s'agit d'une page avec du Javascript dedans, impossible !
Voici un exemple:

Comment recuperer la valeur "UVP" et "Sie zahlen" sur le site: https://www.docmorris.de/de/

1) Taper 3464237 comme valeur dans la case "Suche"

2) Vous aurez la description du produit, je cherche donc a recuperer les valeurs de 'UVP' et "Sie zahlen".

Je suis ouvert a toute idee. A+
11/02/2010, 13h51
Mac LAK

Citation:

Envoyé par katcha95

Je suis ouvert a toute idee. A+

Il faudrait que tu vérifie si ce ne sont pas, tout simplement, des requêtes AJAX qui remplissent le tableau... Dans ce cas, tu peux simuler les requêtes en question et réussir, enfin, à récupérer les valeurs qui t'intéressent.
11/02/2010, 15h44
katcha95

Ton idée est un peu flou pour moi. J'ai rapidement conclue que ce site utilise surement du AJAX avec cette ligne: <script type="text/javascript" charset="utf-8" src="/de/include/js/ajax.js"></script>
Mais je ne vois pas comment on peux simuler des requêtes Ajax, sachant déjà que je n'y connait rien à ce langage. J'ai aussi fait une inspection sur le tableau en vert, avec Firebug et il me ressort le code source entier, avec les informations que je souhaite avoir. Ce qui me tracasse, c'est que je ne sait pas comment Firebug récupère ce code source, comment il fonctionne (Même en lisant la docs) et s'il existe un script qui peut demander à Firebug de m'enregistrer automatiquement le code source pour que mon programme les récupère et travail dessus.

A+:ccool:
11/02/2010, 15h53
Mac LAK

Ajax ?? Ben... C'est une requête HTTP bête et méchante, tout simplement !! ;) Par contre, elle renvoie des données fragmentaires, et non pas une page complète en bonne et dûe forme.
Tu peux sniffer ce qu'il se passe avec Wireshark, ou Firebug (il permet de tracer les XmlHttpRequest), et ainsi voir sur quelle URL il faut taper pour obtenir les informations que tu cherches.

Firebug se base sur le document courant, au niveau interne, et se contente d'explorer le DOM. En gros, il lit la même chose que le navigateur pour dessiner sur l'écran. Je ne crois pas qu'il aie une fonction de sauvegarde, et de toutes façons, ce serait plus coûteux que quoi que ce soit d'autre. Autant corriger ta requête et taper sur la "bonne" URL (celle ciblée par Ajax) plutôt que sur l'URL principale.
11/02/2010, 15h58
katcha95

Un peu confus pour moi tous ça...en gros tu veux récupérer l'URL du tableau ?

A+
11/02/2010, 18h23
Mac LAK

Citation:

Envoyé par katcha95

en gros tu veux récupérer l'URL du tableau ?

C'est presque ça. Le tableau est récupéré via une requête AJAX, donc pour toi c'est une URL un peu particulière, qui renverra un bout de code HTML contenant notamment les données en question.

Est-ce plus clair ? Pour mieux comprendre, active le suivi des XmlHttpRequest dans Firebug, et fais une recherche sur le site en question. Regarde le contenu des données retournées, ensuite.
12/02/2010, 13h55
katcha95

ça peux être une idée, mais je cherche un moyen beaucoup plus efficace, car mon programme est itérative et travailler avec des données fragmentaire c'est pas top...d'autre proposition ?

A+:)
12/02/2010, 16h27
Mac LAK
Citation:

Envoyé par katcha95

ça peux être une idée, mais je cherche un moyen beaucoup plus efficace, car mon programme est itérative et travailler avec des données fragmentaire c'est pas top...d'autre proposition ?

Fragmentaires au sens HTML : tu n'as pas les balises encadrant le texte (notamment <header>, <body>, etc.), mais tu as à la place un des éléments suivants :
- Un fichier XML contenant les données cherchées, sans rien d'autre pour polluer,
- Un bloc de code HTML (ex : le contenu d'un <tr>) parfaitement légitime.
- Des données texte reprenant la même chose que le XML cité en premier.
Bref, tu n'as au contraire QUE des avantages à le faire, et pas beaucoup d'inconvénients... Je t'avoue que je ne comprends pas trop ta réticence, sur ce coup, surtout que c'est en plus la seule solution viable que tu aie.
13/02/2010, 18h17
katcha95

C'est peut-être parce-que je n'ai pas totalement bien compris ton idée (Je suis honnête). Si tu peux détailler le principe par un exemple ? ;)

A+

Citation:

Envoyé par katcha95

C'est peut-être parce-que je n'ai pas totalement bien compris ton idée (Je suis honnête). Si tu peux détailler le principe par un exemple ? ;)

C'est pourtant tout bête, et tu l'aurais vu si tu avais essayé...

Ouvre Firebug, active tous les panneaux (surtout le panneau "Réseau" !!!), va sur ta page et lance la recherche. Une connexion AJAX est tracée, avec ces paramètres (scrolle la fenêtre) :

Code:

URL ciblée : https://www.docmorris.de/docmorris/product/select;095A225F0F1F0DF5532D6A1B4C31666B.n01?_r_=0.48550302050921756&baseId=29994&highlightPzn=3464237&page=1

On y voit donc le code numérique que tu avais tapé dans la zone de saisie. Le reste, c'est dépendant du site, faudra voir ce qui est nécessaire et ce qui ne l'est pas.

On récupère ensuite :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
<div class="npl-layer-left">
	<h3>Rezeptart wählen</h3>
	<ul>
					<li class="active" onclick="updateSelect('29994','OR','1','','3464237');"><input type="radio" name="rezeptart" value="OR" id="rezeptart-1" checked="checked"/><label for="rezeptart-1">Ohne Rezept</label></li>
											<li onclick="updateSelect('29994','PKV','1','','3464237');"><input type="radio" name="rezeptart" value="PKV" id="rezeptart-4"/><label for="rezeptart-4">Mit Privatrezept</label></li>
			</ul>
</div>
<div class="npl-layer-right">
	<h3>Packungsgrösse wählen und Produkt bestellen</h3>
	<div class="table-container">
		<table border="0">
		<tbody>
										<tr class=" ">
					<td class="description">
 
						<strong>40 St</strong>
						<br/>
						Brausetabletten<br/>
						<span class="grey pzn">PZN 3464237</span>
					</td>
					    					<td class="price-description">
    						    							UVP<br/>
    						    						    							<a href="#" onclick="openSavings('3464237','OR','1'); return false;" class="red"><span class="hover-red info-icon">Ersparnis</span></a><br/>
    						    						Sie zahlen
    					</td>
										<td class=" product-price " >
																					<span title="Statt">13,95&nbsp;&euro;</span><br/>
																						<a href="#" onclick="openSavings('3464237','OR','1'); return false;" class="red" title="Ersparnis"><span title="Sie sparen" class="hover-red">4,20&nbsp;&euro;</span></a><br/>
							    						<strong title="DocMorris Preis">9,75&nbsp;&euro;</strong>
											</td>
					<td class="options">
													<a href="#" onclick="addToCart('3464237','OR', '1'); return false;"><img alt="Warenkorb" title="Warenkorb" src="/de/art/npl/warenkorb.gif" class="hover-img wk-button"/></a>
											</td>
				</tr>
				    				<tr>
    					<td colspan="4" class="line"><img alt="" src="/de/art/npl/dashed_line.gif"/></td>
    				</tr>
											<tr class=" ">
					<td class="description">
 
						<strong>20 St</strong>
						<br/>
						Brausetabletten<br/>
						<span class="grey ">PZN 1894063</span>
					</td>
					    					<td class="price-description">
    						    							UVP<br/>
    						    						    							<a href="#" onclick="openSavings('1894063','OR','1'); return false;" class="red"><span class="hover-red info-icon">Ersparnis</span></a><br/>
    						    						Sie zahlen
    					</td>
										<td class=" product-price " >
																					<span title="Statt">8,89&nbsp;&euro;</span><br/>
																						<a href="#" onclick="openSavings('1894063','OR','1'); return false;" class="red" title="Ersparnis"><span title="Sie sparen" class="hover-red">1,94&nbsp;&euro;</span></a><br/>
							    						<strong title="DocMorris Preis">6,95&nbsp;&euro;</strong>
											</td>
					<td class="options">
													<a href="#" onclick="addToCart('1894063','OR', '1'); return false;"><img alt="Warenkorb" title="Warenkorb" src="/de/art/npl/warenkorb.gif" class="hover-img wk-button"/></a>
											</td>
				</tr>
				    				<tr>
    					<td colspan="4" class="line"><img alt="" src="/de/art/npl/dashed_line.gif"/></td>
    				</tr>
											<tr class=" ">
					<td class="description">
 
						<strong>10 St</strong>
						<br/>
						Brausetabletten<br/>
						<span class="grey ">PZN 1406632</span>
					</td>
					    					<td class="price-description">
    						    							UVP<br/>
    						    						    							<a href="#" onclick="openSavings('1406632','OR','1'); return false;" class="red"><span class="hover-red info-icon">Ersparnis</span></a><br/>
    						    						Sie zahlen
    					</td>
										<td class=" product-price " >
																					<span title="Statt">5,28&nbsp;&euro;</span><br/>
																						<a href="#" onclick="openSavings('1406632','OR','1'); return false;" class="red" title="Ersparnis"><span title="Sie sparen" class="hover-red">1,33&nbsp;&euro;</span></a><br/>
							    						<strong title="DocMorris Preis">3,95&nbsp;&euro;</strong>
											</td>
					<td class="options">
													<a href="#" onclick="addToCart('1406632','OR', '1'); return false;"><img alt="Warenkorb" title="Warenkorb" src="/de/art/npl/warenkorb.gif" class="hover-img wk-button"/></a>
											</td>
				</tr>
									</tbody>
		</table>
	</div>
	</div>
<div id="ajax-data">
	<div id="ajax-layer-data">
    	<span id="for-npl-product-image"><img src="/images/products/w50/3464237.jpg" width="50"/></span>
    	<span id="for-npl-product-name">Aspirin plus C</span>
    	<span id="for-manufacturer-name">
    		    		Bayer Selbstm.
    	</span>
    	<span id="for-npl-layer-details"><a href="/de/shop/produkte/Bayer-Selbstm/Aspirin-plus-C/Brausetabletten/29994;jsessionid=095A225F0F1F0DF5532D6A1B4C31666B.n01">Produktdetails</a></span>
	</div>
</div>
<br style="clear: both;"/>

J'ai mis le contenu intégral de la réponse. Comme tu peux le constater, les infos que tu cherches sont dedans, et ce n'est pas une page HTML complète mais bien des données fragmentaires. On y trouve par exemple un bout de texte valant "8,89 €", et apparemment, c'est encadré par un "<span title="Statt">". Tu n'as plus qu'à bosser sur le format utilisé sur le site pour retrouver tes informations de façon automatique, mais ça, apparemment, tu sais déjà le faire.

13/02/2010, 22h33
katcha95

Salut,

Je comprend beaucoup mieux et je t'en remercie, je vais appliquer tous ça et m'intéresse au XmlHTTPRequest....il me manque plus qu'a trouvé comment simuler ma requête, je pense à faire cela là pour générer le tableau:
<a title="Ersparnis" class="red" onclick="openSavings('3464237','OR','1');

A+
13/02/2010, 22h49
Mac LAK

Citation:

Envoyé par katcha95

Je comprend beaucoup mieux et je t'en remercie, je vais appliquer tous ça et m'intéresse au XmlHTTPRequest....

De rien.

Citation:

Envoyé par katcha95

il me manque plus qu'a trouvé comment simuler ma requête, je pense à faire cela là pour générer le tableau:
<a title="Ersparnis" class="red" onclick="openSavings('3464237','OR','1');

Une requête XmlHttpRequest n'est rien d'autre qu'une requête HTTP normale : c'est le résultat qui est "anormal", dans le sens où ce n'est pas une page Web complète (voire même pas de l'HTML du tout !).

Une requête HTTP peut être effectuée de façon simple avec des sockets, ou des éléments plus complexes. Par exemple, Windows fournit en standard des fonctions d'accès HTTP (HttpOpenRequest), tout comme certains IDE (Delphi / C++ Builder fournisent des objets d'encapsulation du navigateur et des principaux protocoles Internet, par exemple). Avec des sockets "brut de fonderie", il faudra que tu épluches un peu la RFC HTTP.

Dans tous les cas, cela va dépendre de ce que tu as sous le coude et de ce que tu as déjà fait, ainsi (en partie) que de ton système d'exploitation.
13/02/2010, 23h13
katcha95

Encore merci pour ces précisions, je vais d'abord me tourner vers l'envoi de requêtes http avec les sockets par script PHP. et je verrais plus tard pour la lib Microsoft.
13/02/2010, 23h20
Mac LAK

PHP ???? T'es sûr d'être dans le bon forum ?? Parce que là, c'est le forum C++, donc je t'ai donné des solutions par rapport à ce langage ! Bon, le principe général reste valable, bien entendu, mais la manière d'effectuer une requête HTTP n'est plus du tout la même.

En PHP, tu as d'autres contraintes et limitations, et là, je ne saurais trop t'encourager à aller voir le forum PHP pour voir si tu ne te diriges pas vers un mur.
13/02/2010, 23h26
katcha95

Je peux très bien le faire en C/C++, mais l'AJAX et le XmlHttpRequest sont 2 choses totalement nouvelles pour moi. Je gagnerais du temps à faire des petis script PHP pour m'initier à la base...;)
14/02/2010, 00h11
Mac LAK

OK, je comprends mieux... Bien que ce ne soit absolument pas différent, je le répète, d'une requête HTTP normale, donc tu peux réutiliser le code que tu as actuellement en C/C++ pour charger / analyser tes pages HTML (au prix d'une légère adaptation bien sûr).

Bon courage pour la suite !
14/02/2010, 13h40
katcha95

Salut,

Bon, j'ai essayé de simuler une requête http avec : https://www.docmorris.de/docmorris/p...8812051&page=1

Pour tomber sur ma page code source contenant mes infos, et récupérer le tous, mais le problème c'est que les valeurs:
-> n02?_r_
-> baseId
changent à chaque nouvelle recherche....Comment récupérer cette même page avec une série de PZN Number différents ?
14/02/2010, 16h11
Mac LAK

Sauf que tu n'en a rien à fou.... de ces paramètres... :mrgreen:

Essaie cette URL : https://www.docmorris.de/docmorris/p...ghtPzn=8812051

Comme tu le vois, j'ai viré les éléments de session. Et tu sais quoi ? Ben ça marche quand même, il renvoie les valeurs quoi qu'il en soit... Le paramètre highlightPzn est également optionnel, on peut le virer comme les autres. Le seul qui soit réellement important, c'est le paramètre "baseId". :twisted:
14/02/2010, 18h50
katcha95

Encore merci pour ton aide. Juste une chose, justement base_iD est une valeur qui change, donc je reviens à mon problème.
14/02/2010, 19h10
katcha95

J'ai aussi vu qu'il est possible de tomber sur ta page avec pour paramètre juste la valeur baseId, donc chaque PZN Number est relié à un ID différent dans la base de donnés du site Docmorris. Je pense que c'est impossible de pouvoir tomber sur la page contenant mes infos sans ces ID la avec un PZN différent :(
14/02/2010, 19h48
Mac LAK

Il te faudra analyser le formulaire principal (celui dans lequel tu tapes manuellement le numéro à rechercher) de façon à récupérer le résultat, qui lui va contenir le Base_ID que tu cherches.
Donc, il faudra procéder en deux étapes : une première requête pour obtenir la correspondance entre le numéro que tu tapes et le Base_ID correspondant, puis une deuxième requête pour obtenir le résultat du XmlHttpRequest.

Rien de bien sorcier, mais va falloir que tu cherches un peu par toi-même à partir du formulaire principal de la page.
14/02/2010, 22h26
katcha95

Tu déborde d'idée Mac ! merci, je test ça et je te fais un feedback sur ce que j'ai eu.

A+ :ccool:
14/02/2010, 23h31
katcha95

J'ai tenter de simuler la recherche avec:
https://www.docmorris.de/de/suche/be...hString=994905
(la dernière valeur étant le PZN Number) Donc en insérant ce lien c'est comme-ci on est passer par la box de recherche. Le hic, c'est que entre la recherche et l'affichage des résultats, je ne vois pas ou ce trouve l'appel à une fonction ou autre pour générer le baseId. La seul chose remarqué, c'est que dans la réponse de ma recherche il ya directement le baseId en première valeur:
<li class="active" onclick="updateSelect('129772','OR','1','','0994905')
A noter aussi que les paramétres envoyés dans la recherche changent, j'ai essayer de faire un lien entre ce paramètre: _r_ 0.7649175230392271 et ce baseId: 173003. Mais rien de très ressemblant.....

Je me perds dans tous ça...:roll:
15/02/2010, 10h38
Mac LAK

Citation:

Envoyé par katcha95

La seul chose remarqué, c'est que dans la réponse de ma recherche il ya directement le baseId en première valeur

Ben c'est bon, c'est ce que tu cherchais : que te faut-il de plus ??

Citation:

Envoyé par katcha95

A noter aussi que les paramétres envoyés dans la recherche changent, j'ai essayer de faire un lien entre ce paramètre: _r_ 0.7649175230392271 et ce baseId: 173003. Mais rien de très ressemblant.....

On s'en fiche de ces paramètres, ils ne sont pas cruciaux dans la recherche : seuls les champs baseId, et éventuellement highlightPzn, sont importants. Les autres, tu peux les jeter, regarde l'URL de la requête que j'ai mise dans le post #18.
15/02/2010, 12h54
katcha95

Oui mais j'ai oublie de preciser que le baseId n'est pas visible dans la reponse de ma 1ere requete, mais dans la 2eme, celle qui recupere les resultats du tableau. Et pour recuperer les resultat du tableau via la 2eme requete, il faut le BaseId !
Fait une recherche et copie la reponse de la 1ere requete, le baseId n'est pas dedans....

A+:ccool:
15/02/2010, 14h15
Mac LAK
Je ne vois pas le problème : en traçant ça avec Firebug, je vois :
- Le premier formulaire n'a besoin que du numéro de produit.
- La réponse du premier formulaire est une page HTML contenant, notamment, une ligne "updateSelect" avec le baseId mis en clair (c'est "29994" pour le code produit "3464237", par exemple).
  Ce qui est normal, d'ailleurs, c'est cette fonction JS qui fera la requête Ajax par la suite.
- En récupérant ce baseId dans la page, on peut alors appeler la deuxième requête (faite par AJAX sur le site).
- On obtient un fragment HTML contenant le prix que l'on souhaitait, qu'il suffit alors d'extraire.
Je ne vois aucune rupture dans le processus d'appel, pour ma part...
15/02/2010, 15h49
katcha95

Parfait ! , je me suis embrouillé tous seul, tu as trouvé la solution à mon problème, merci !! :ccool:
Je passe en résolu....