Exploiter les balises dans page web

**Anonyme1784** · 23/01/2015, 01h04

Hello,
j'ai une page sur laquelle s'affiche aléatoirement des numéros. Je dois les récupérer à partir de la page web. Je ne peux rien savoir à l'avance !
Je sais seulement que le numéro sera dans cet attribut tel que par exemple :

Code java :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
    <div class=
    "sk-content-text sk-document-accestype-audiotel sk-document-country-fr sk-document-id-213327"
    id="sk-access-type-body-audiotel" style="">
        <span class="text1" id="sk-send-text-audiotel">Téléphonez au</span>
        <span class="sk-country-flag-fr" id=
        "sk-country-image-audiotel">&nbsp;</span> <span class="bigtext" id=
        "sk-audiotel-phone-number">0899000000</span>
 
        <div class="sk-call-price">
            <span class="sk-price-tagline"><span id=
            "sk-audiotel-fixed-cost-detail">1 €</span> <span id=
            "sk-price-per-call" style="">TTC/appel</span> <span id=
            "sk-audiotel-variable-cost-detail">+ 0.5 €</span> <span id=
            "sk-price-per-minute" style="">TTC/minute</span> <span id=
            "sk-audiotel-extra-text1" style="display: none;">depuis une ligne
            fixe</span> <span>-</span></span> <span id=
            "sk-audiotel-after-detail-text">Seul le coût de la communication
            vous sera facturé.</span>
        </div>
    </div>

Je dois donc

.... en java..... exploiter la page web pour avoir le numéro de téléphone uniquement mais selon le pays, et le type (appel/sms) !
Bon à savoir : il y a plusieurs DIV comme celles là, et je connais les ID par avance, je connais pas les numéros c'est tout.

Des pistes :
Je sais que je devrais get le content de la page, puis chercher les ID dans la string obtenue. Après je sais pas si je peux plutôt choper directement dans les balises... ?

Aidez-moi s'il vous plait

**joel.drigo** · 23/01/2015, 02h52

Salut,

Le plus simple est d'utiliser un parseur de html, comme jsoup, par exemple.

**Anonyme1784** · 23/01/2015, 19h55

Envoyé par joel.drigo

Salut,
Le plus simple est d'utiliser un parseur de html, comme jsoup, par exemple.

Merci beaucoup,
Je souhaite une précision, ça ne pose pas de problème que le code que j'ai envoyé ci-dessus ne soit pas directement écrit dans la page ?
Ma page contient ceci :

Code html :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
<html><head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<link href="style.css" type="text/css" rel="stylesheet">
<title>MeCraft</title>
</head>
<center><div class="head">PAGE PRIVÉE !</div>
<br><br><br>
<div id="xxx"></div><script type="text/javascript" src="http://xxx/script.php?idd=xxx&amp;verif_en_php=1&amp;datas="></script><noscript>Veuillez activer le Javascript de votre navigateur s'il vous pla&icirc;t.<br /><a href="http://xxx/">x</a></noscript>
</body></html>

Et quand on va sur la page, alors il s'affiche une boite avec plein de trucs.

En bref ça ressemble au système de l'iframe !
Ça marche quand même ?

**joel.drigo** · 23/01/2015, 20h17

Ah, si, là ça va poser un problème avec JSoup, car le dom du document html est modifié dynamiquement par un script javaScript. Ensuite, il faut simuler ce qu'il faut pour déclencher l'exécution du script : là, à priori, il s'exécute tout seul (pas besoin de cliquer quelquechose ou de saisir des infos, etc...).

Il existe un browser headless appelé HtmlUnit qui pourrait peut-être te permettre de résoudre ton problème : je n'ai jamais essayé personnellement, donc je ne peux te garantir. A toi d'essayer, et de me dire si ça fonctionne avec ton site.

**Anonyme1784** · 23/01/2015, 21h04

Envoyé par joel.drigo

Ah, si, là ça va poser un problème avec JSoup, car le dom du document html est modifié dynamiquement par un script javaScript. Ensuite, il faut simuler ce qu'il faut pour déclencher l'exécution du script : là, à priori, il s'exécute tout seul (pas besoin de cliquer quelquechose ou de saisir des infos, etc...).
Il existe un browser headless appelé HtmlUnit qui pourrait peut-être te permettre de résoudre ton problème : je n'ai jamais essayé personnellement, donc je ne peux te garantir. A toi d'essayer, et de me dire si ça fonctionne avec ton site.

Ah bah merci beaucoup

je vais tester !

Donc par exemple je peux faire ça ?

Code java :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
    WebClient webClient = new WebClient();
    Page page = webClient.getPage("http://example.com");
    WebResponse response = page.getWebResponse();
    String content = response.getContentAsString();

Et je peux insérer ça ?

Code java :

Sélectionner tout - Visualiser dans une fenêtre à part

Elements numero = doc.select("#sk-access-type-body-audiotel.sk-document-country-fr");

**joel.drigo** · 23/01/2015, 22h01

Je pense qui'il faut plutôt faire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
final WebClient webClient = new WebClient();
final HtmlPage page = webClient.getPage("http://exemple.com");

Ensuite,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

DomElement element =  page.getElementById("sk-audiotel-phone-number");

element représente donc le SPAN d'id "sk-audiotel-phone-number", et est de classe org.w3c.dom.Element : tu peux donc le parcourir afin de récupérer les sous-éléments, attributs et contenu texte, par getTextContent(). (voir tutoriel ici).

**Anonyme1784** · 23/01/2015, 22h32

Envoyé par joel.drigo

Je pense qui'il faut plutôt faire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
final WebClient webClient = new WebClient();
final HtmlPage page = webClient.getPage("http://exemple.com");

Ensuite,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

DomElement element =  page.getElementById("sk-audiotel-phone-number");

element représente donc le SPAN d'id "sk-audiotel-phone-number", et est de classe org.w3c.dom.Element : tu peux donc le parcourir afin de récupérer les sous-éléments, attributs et contenu texte, par getTextContent(). (voir tutoriel ici).

Ah certes, et je fais comment pour récupérer les balises et les classes ? :o si j'ai que le getByID ?

Et autre chose, imaginons que dans un <td> j'ai deux balises pareilles avec meme classe, je suis embêté pour récupérer leur contenu respectif nan ? :/

**tchize_** · 23/01/2015, 23h47

A partir du moment ou t'es parvenu à charge la page dont tu as besoin sous forme d'un DOM, tu peux simplement utiliser xpath pour récupérer les éléments dont tu as besoin.

http://java.developpez.com/faq/xml/?page=XPath

**joel.drigo** · 24/01/2015, 12h11

Envoyé par To175

Ah certes, et je fais comment pour récupérer les balises et les classes ? :o si j'ai que le getByID ?

Et autre chose, imaginons que dans un <td> j'ai deux balises pareilles avec meme classe, je suis embêté pour récupérer leur contenu respectif nan ? :/

HtmlPage est une représentation de la page similaire à "document" quand on programme en javascript dans la page : on peut donc accèder directement aux balises, comme on le ferait en javascript. getElementById() accède aux balises par l'id, qui est normallement unique. Ne cherche pas à récupérer les balises par les classes, qui sont des références aux css, et sont justement utilisées dans plusieurs balises. Ensuite, à partir de l'élement récupéré, du peux récupérer son contenu texte. Si tu récupères un élement qui en contient d'autres, tu peux le récupérer par parcourt du dom, ou utiliser xpath aussi, comme le dit @Tchize_.

**Anonyme1784** · 24/01/2015, 13h15

Envoyé par joel.drigo

HtmlPage est une représentation de la page similaire à "document" quand on programme en javascript dans la page : on peut donc accèder directement aux balises, comme on le ferait en javascript. getElementById() accède aux balises par l'id, qui est normallement unique. Ne cherche pas à récupérer les balises par les classes, qui sont des références aux css, et sont justement utilisées dans plusieurs balises. Ensuite, à partir de l'élement récupéré, du peux récupérer son contenu texte. Si tu récupères un élement qui en contient d'autres, tu peux le récupérer par parcourt du dom, ou utiliser xpath aussi, comme le dit @Tchize_.

Ok merci j'ai bien compris,
SAUF 2 derniers trucs :
• Je fais comment si j'ai ça :

Code html :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
<body><span id="salut"><span id="hello1">Coucou</span><span id="hello1">Coucou</span></span>
<span id="salut"><span id="hi1">Cou</span><span id="hi2">Cou2</span></span>
<span id="hello1">Hey</span></body>

Ya deux fois l'id "salut" (oui j'ai vu ça !) et l'id hello1 existe aussi en dehors de salut.

• Maintenant imaginons que il y ai juste duplication de "salut" avec dedans 2 balises identiques mais contenant des trucs différents ?

Et comment j'intègre htmlunit.jar au fichier .jar (c'est mon plugin pour minecraft) que j'ai ? Apres avoir configuré le build path, parce que ça suffit pas !

**joel.drigo** · 24/01/2015, 13h23

Tu récupères la racine par getDocumentElement() et tu fais tout en xpath.

**Anonyme1784** · 24/01/2015, 13h24

Envoyé par joel.drigo

Tu récupères la racine par getDocumentElement() et tu fais tout en xpath.

ok merci, je verrais le xPath alors, mais comment j'intègre htmlunit.jar au fichier .jar (c'est mon plugin pour minecraft) que j'ai ? Apres avoir configuré le build path, parce que ça suffit pas !

**joel.drigo** · 24/01/2015, 13h39

Je ne sais pas ce qu'est un plugin minecraft, mais je suppose que sa documentation doit le dire (genre http://wiki.bukkit.org/Using_External_Libraries_with_Plugins).

**Anonyme1784** · 24/01/2015, 14h05

Envoyé par joel.drigo

Je ne sais pas ce qu'est un plugin minecraft, mais je suppose que sa documentation doit le dire (genre http://wiki.bukkit.org/Using_Externa...s_with_Plugins).

Merci

Il me semble que je n'utilise pas Maven.
Donc on m'a proposé de faire :

? Open the jar with an extraction tool (7-zip etc).
√ Open the META-INF folder, and open manifest.MF.
√ Set Class-Path to ../lib/HtmlUnit.jar (or whatever the filename is).
? Save, close, perform any action required to update the manifest.MF file (so the next time you view it, your changes should be visible).
√ Put HtmlUnit.jar in a folder 'lib' at your server root.
√ Put your plugin in the plugins folder.

Mais sur MAC je galère avec les .jar, je peux seulement changer l'extension en .zip pour les ouvrir

Et je comprends pas le "Perform any action required to update the manifest.MF file"

Sinon il y aurait pas une commande au Terminal pour faire tout ça ?

**joel.drigo** · 24/01/2015, 14h13

Si tu utilises un IDE, tu peux spécifier ce qu'il y a dans le manifest dans l'export (Dans Eclipse c'est le troisième onglet).

**Anonyme1784** · 24/01/2015, 17h22

Envoyé par joel.drigo

Si tu utilises un IDE, tu peux spécifier ce qu'il y a dans le manifest dans l'export (Dans Eclipse c'est le troisième onglet).

Merci

Alors quand j'exporte j'ai bien le fichier

/Mecraft/META-INF/manifest.MF

dedans j'ai :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
Manifest-Version: 1.0
Class-Path: ../lib/htmlunit.jar

Et sur mon serveur j'ai créé le dossier "lib" à la racine, avec "htmlunit.jar" dedans.

Et voilà j'ai :
org.bukkit.plugin.InvalidPluginException: java.lang.NoClassDefFoundError: com/gargoylesoftware/htmlunit/FailingHttpStatusCodeException
...
Caused by: java.lang.NoClassDefFoundError: com/gargoylesoftware/htmlunit/FailingHttpStatusCodeException
...
Caused by: java.lang.ClassNotFoundException: com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException

**joel.drigo** · 24/01/2015, 17h40

Je vois 11 jar moi dans la distribution de htmlunit, mais pas de htmlunit.jar. En plus le path c'est ./lib, pas ../lib.

**Anonyme1784** · 24/01/2015, 18h26

Envoyé par joel.drigo

Je vois 11 jar moi dans la distribution de htmlunit, mais pas de htmlunit.jar. En plus le path c'est ./lib, pas ../lib.

What ? Moi j'ai htmlunit.jar dans le build path qui m'a permis d'utiliser Webclient

ok je teste avec ./lib ! => Ça fonctionne toujours pas
Je sais pas si ça a un rapport mais j'ai

[18:24:10] [Server thread/INFO]: Set PluginClassLoader as parallel capable

juste avant l'erreur.

**joel.drigo** · 24/01/2015, 19h21

Le "Set PluginClassLoader as parallel capable", c'est une info. Je ne pense pas que ça ait un rapport. Il n'y aurait pas d'autres messages après plutôt (lorsqu'on a une trace d'exception, elle est souvent suvie de sa cause.

**Anonyme1784** · 24/01/2015, 19h38

Envoyé par joel.drigo

Le "Set PluginClassLoader as parallel capable", c'est une info. Je ne pense pas que ça ait un rapport. Il n'y aurait pas d'autres messages après plutôt (lorsqu'on a une trace d'exception, elle est souvent suvie de sa cause.

J'ai seulement ça :

18:24:52] [Server thread/INFO]: Starting Minecraft server on xxx
[18:24:53] [Server thread/INFO]: Set PluginClassLoader as parallel capable
[18:24:53] [Server thread/ERROR]: Could not load 'plugins/Mecraft.jar' in folder 'plugins'
org.bukkit.plugin.InvalidPluginException: java.lang.NoClassDefFoundError: com/gargoylesoftware/htmlunit/FailingHttpStatusCodeException
at org.bukkit.plugin.java.JavaPluginLoader.loadPlugin(JavaPluginLoader.java:133) ~[craftbukkit.jar:git-Spigot-1642]
at org.bukkit.plugin.SimplePluginManager.loadPlugin(SimplePluginManager.java:341) ~[craftbukkit.jar:git-Spigot-1642]
at org.bukkit.plugin.SimplePluginManager.loadPlugins(SimplePluginManager.java:263) [craftbukkit.jar:git-Spigot-1642]
at org.bukkit.craftbukkit.v1_7_R4.CraftServer.loadPlugins(CraftServer.java:369) [craftbukkit.jar:git-Spigot-1642]
at net.minecraft.server.v1_7_R4.DedicatedServer.init(DedicatedServer.java:152) [craftbukkit.jar:git-Spigot-1642]
at net.minecraft.server.v1_7_R4.MinecraftServer.run(MinecraftServer.java:458) [craftbukkit.jar:git-Spigot-1642]
at net.minecraft.server.v1_7_R4.ThreadServerApplication.run(SourceFile:628) [craftbukkit.jar:git-Spigot-1642]
Caused by: java.lang.NoClassDefFoundError: com/gargoylesoftware/htmlunit/FailingHttpStatusCodeException
at java.lang.Class.forName0(Native Method) ~[?:1.7.0]
at java.lang.Class.forName(Class.java:264) ~[?:1.7.0]
at org.bukkit.plugin.java.PluginClassLoader.<init>(PluginClassLoader.java:64) ~[craftbukkit.jar:git-Spigot-1642]
at org.bukkit.plugin.java.JavaPluginLoader.loadPlugin(JavaPluginLoader.java:129) ~[craftbukkit.jar:git-Spigot-1642]
... 6 more
Caused by: java.lang.ClassNotFoundException: com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException
at java.net.URLClassLoader$1.run(URLClassLoader.java:366) ~[?:1.7.0]
at java.net.URLClassLoader$1.run(URLClassLoader.java:355) ~[?:1.7.0]
at java.security.AccessController.doPrivileged(Native Method) ~[?:1.7.0]
at java.net.URLClassLoader.findClass(URLClassLoader.java:354) ~[?:1.7.0]
at org.bukkit.plugin.java.PluginClassLoader.findClass(PluginClassLoader.java:101) ~[craftbukkit.jar:git-Spigot-1642]
at org.bukkit.plugin.java.PluginClassLoader.findClass(PluginClassLoader.java:86) ~[craftbukkit.jar:git-Spigot-1642]
at java.lang.ClassLoader.loadClass(ClassLoader.java:423) ~[?:1.7.0]
at java.lang.ClassLoader.loadClass(ClassLoader.java:356) ~[?:1.7.0]
at java.lang.Class.forName0(Native Method) ~[?:1.7.0]
at java.lang.Class.forName(Class.java:264) ~[?:1.7.0]
at org.bukkit.plugin.java.PluginClassLoader.<init>(PluginClassLoader.java:64) ~[craftbukkit.jar:git-Spigot-1642]
at org.bukkit.plugin.java.JavaPluginLoader.loadPlugin(JavaPluginLoader.java:129) ~[craftbukkit.jar:git-Spigot-1642]
... 6 more

Exploiter les balises dans page web

Langage Java

Discussions similaires

Partager

Partager