Exploiter les balises dans page web

Version imprimable

Voir 40 message(s) de cette discussion en une page

Hello,
j'ai une page sur laquelle s'affiche aléatoirement des numéros. Je dois les récupérer à partir de la page web. Je ne peux rien savoir à l'avance !
Je sais seulement que le numéro sera dans cet attribut tel que par exemple :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 <div class= "sk-content-text sk-document-accestype-audiotel sk-document-country-fr sk-document-id-213327" id="sk-access-type-body-audiotel" style=""> <span class="text1" id="sk-send-text-audiotel">Téléphonez au</span> <span class="sk-country-flag-fr" id= "sk-country-image-audiotel"> </span> <span class="bigtext" id= "sk-audiotel-phone-number">0899000000</span> <div class="sk-call-price"> <span class="sk-price-tagline"><span id= "sk-audiotel-fixed-cost-detail">1 €</span> <span id= "sk-price-per-call" style="">TTC/appel</span> <span id= "sk-audiotel-variable-cost-detail">+ 0.5 €</span> <span id= "sk-price-per-minute" style="">TTC/minute</span> <span id= "sk-audiotel-extra-text1" style="display: none;">depuis une ligne fixe</span> <span>-</span></span> <span id= "sk-audiotel-after-detail-text">Seul le coût de la communication vous sera facturé.</span> </div> </div>
Je dois donc :D .... en java..... exploiter la page web pour avoir le numéro de téléphone uniquement mais selon le pays, et le type (appel/sms) !
Bon à savoir : il y a plusieurs DIV comme celles là, et je connais les ID par avance, je connais pas les numéros c'est tout.

Des pistes :
Je sais que je devrais get le content de la page, puis chercher les ID dans la string obtenue. Après je sais pas si je peux plutôt choper directement dans les balises... ?

Aidez-moi s'il vous plait :)

23/01/2015, 02h52
joel.drigo

Salut,

Le plus simple est d'utiliser un parseur de html, comme jsoup, par exemple.

Citation:

Envoyé par joel.drigo

Salut,
Le plus simple est d'utiliser un parseur de html, comme jsoup, par exemple.

Merci beaucoup,
Je souhaite une précision, ça ne pose pas de problème que le code que j'ai envoyé ci-dessus ne soit pas directement écrit dans la page ?
Ma page contient ceci :
Code:

1 2 3 4 5 6 7 8 9 <html><head> <meta http-equiv="Content-Type" content="text/html; charset=UTF-8" /> <link href="style.css" type="text/css" rel="stylesheet"> <title>MeCraft</title> </head> <center><div class="head">PAGE PRIVÉE !</div> <br><br><br> <div id="xxx"></div><script type="text/javascript" src="http://xxx/script.php?idd=xxx&verif_en_php=1&datas="></script><noscript>Veuillez activer le Javascript de votre navigateur s'il vous plaît.<br /><a href="http://xxx/">x</a></noscript> </body></html>
Et quand on va sur la page, alors il s'affiche une boite avec plein de trucs.

En bref ça ressemble au système de l'iframe !
Ça marche quand même ?

23/01/2015, 20h17
joel.drigo

Ah, si, là ça va poser un problème avec JSoup, car le dom du document html est modifié dynamiquement par un script javaScript. Ensuite, il faut simuler ce qu'il faut pour déclencher l'exécution du script : là, à priori, il s'exécute tout seul (pas besoin de cliquer quelquechose ou de saisir des infos, etc...).

Il existe un browser headless appelé HtmlUnit qui pourrait peut-être te permettre de résoudre ton problème : je n'ai jamais essayé personnellement, donc je ne peux te garantir. A toi d'essayer, et de me dire si ça fonctionne avec ton site.

Citation:

Envoyé par joel.drigo

Ah, si, là ça va poser un problème avec JSoup, car le dom du document html est modifié dynamiquement par un script javaScript. Ensuite, il faut simuler ce qu'il faut pour déclencher l'exécution du script : là, à priori, il s'exécute tout seul (pas besoin de cliquer quelquechose ou de saisir des infos, etc...).
Il existe un browser headless appelé HtmlUnit qui pourrait peut-être te permettre de résoudre ton problème : je n'ai jamais essayé personnellement, donc je ne peux te garantir. A toi d'essayer, et de me dire si ça fonctionne avec ton site.

Ah bah merci beaucoup :)
je vais tester !

Donc par exemple je peux faire ça ?
Code:

1 2 3 4 WebClient webClient = new WebClient(); Page page = webClient.getPage("http://example.com"); WebResponse response = page.getWebResponse(); String content = response.getContentAsString();
Et je peux insérer ça ?

Code:

Elements numero = doc.select("#sk-access-type-body-audiotel.sk-document-country-fr");

23/01/2015, 22h01
joel.drigo
Je pense qui'il faut plutôt faire :
Code:

1 2 final WebClient webClient = new WebClient(); final HtmlPage page = webClient.getPage("http://exemple.com");
Ensuite,

Code:

DomElement element = page.getElementById("sk-audiotel-phone-number");

element représente donc le SPAN d'id "sk-audiotel-phone-number", et est de classe org.w3c.dom.Element : tu peux donc le parcourir afin de récupérer les sous-éléments, attributs et contenu texte, par getTextContent(). (voir tutoriel ici).
23/01/2015, 22h32
Anonyme1784
Citation:
Envoyé par joel.drigo

Je pense qui'il faut plutôt faire :

Code:

1 2 final WebClient webClient = new WebClient(); final HtmlPage page = webClient.getPage("http://exemple.com");

Ensuite,

Code:

DomElement element = page.getElementById("sk-audiotel-phone-number");

element représente donc le SPAN d'id "sk-audiotel-phone-number", et est de classe org.w3c.dom.Element : tu peux donc le parcourir afin de récupérer les sous-éléments, attributs et contenu texte, par getTextContent(). (voir tutoriel ici).
Ah certes, et je fais comment pour récupérer les balises et les classes ? :o si j'ai que le getByID ?

Et autre chose, imaginons que dans un <td> j'ai deux balises pareilles avec meme classe, je suis embêté pour récupérer leur contenu respectif nan ? :/
23/01/2015, 23h47
tchize_

A partir du moment ou t'es parvenu à charge la page dont tu as besoin sous forme d'un DOM, tu peux simplement utiliser xpath pour récupérer les éléments dont tu as besoin.

http://java.developpez.com/faq/xml/?page=XPath
24/01/2015, 12h11
joel.drigo

Citation:

Envoyé par To175

Ah certes, et je fais comment pour récupérer les balises et les classes ? :o si j'ai que le getByID ?

Et autre chose, imaginons que dans un <td> j'ai deux balises pareilles avec meme classe, je suis embêté pour récupérer leur contenu respectif nan ? :/

HtmlPage est une représentation de la page similaire à "document" quand on programme en javascript dans la page : on peut donc accèder directement aux balises, comme on le ferait en javascript. getElementById() accède aux balises par l'id, qui est normallement unique. Ne cherche pas à récupérer les balises par les classes, qui sont des références aux css, et sont justement utilisées dans plusieurs balises. Ensuite, à partir de l'élement récupéré, du peux récupérer son contenu texte. Si tu récupères un élement qui en contient d'autres, tu peux le récupérer par parcourt du dom, ou utiliser xpath aussi, comme le dit @Tchize_.

Citation:

Envoyé par joel.drigo

HtmlPage est une représentation de la page similaire à "document" quand on programme en javascript dans la page : on peut donc accèder directement aux balises, comme on le ferait en javascript. getElementById() accède aux balises par l'id, qui est normallement unique. Ne cherche pas à récupérer les balises par les classes, qui sont des références aux css, et sont justement utilisées dans plusieurs balises. Ensuite, à partir de l'élement récupéré, du peux récupérer son contenu texte. Si tu récupères un élement qui en contient d'autres, tu peux le récupérer par parcourt du dom, ou utiliser xpath aussi, comme le dit @Tchize_.

Ok merci j'ai bien compris,
SAUF 2 derniers trucs :
• Je fais comment si j'ai ça :
Code:

1 2 3 <body><span id="salut"><span id="hello1">Coucou</span><span id="hello1">Coucou</span></span> <span id="salut"><span id="hi1">Cou</span><span id="hi2">Cou2</span></span> <span id="hello1">Hey</span></body>
Ya deux fois l'id "salut" (oui j'ai vu ça !) et l'id hello1 existe aussi en dehors de salut.

• Maintenant imaginons que il y ai juste duplication de "salut" avec dedans 2 balises identiques mais contenant des trucs différents ?

Et comment j'intègre htmlunit.jar au fichier .jar (c'est mon plugin pour minecraft) que j'ai ? Apres avoir configuré le build path, parce que ça suffit pas !

24/01/2015, 13h23
joel.drigo

Tu récupères la racine par getDocumentElement() et tu fais tout en xpath.
24/01/2015, 13h24
Anonyme1784

Citation:

Envoyé par joel.drigo

Tu récupères la racine par getDocumentElement() et tu fais tout en xpath.

ok merci, je verrais le xPath alors, mais comment j'intègre htmlunit.jar au fichier .jar (c'est mon plugin pour minecraft) que j'ai ? Apres avoir configuré le build path, parce que ça suffit pas !
24/01/2015, 13h39
joel.drigo

Je ne sais pas ce qu'est un plugin minecraft, mais je suppose que sa documentation doit le dire (genre http://wiki.bukkit.org/Using_External_Libraries_with_Plugins).
24/01/2015, 14h05
Anonyme1784

Citation:

Envoyé par joel.drigo

Je ne sais pas ce qu'est un plugin minecraft, mais je suppose que sa documentation doit le dire (genre http://wiki.bukkit.org/Using_Externa...s_with_Plugins).

Merci :)

Il me semble que je n'utilise pas Maven.
Donc on m'a proposé de faire :

Citation:

? Open the jar with an extraction tool (7-zip etc).
√ Open the META-INF folder, and open manifest.MF.
√ Set Class-Path to ../lib/HtmlUnit.jar (or whatever the filename is).
? Save, close, perform any action required to update the manifest.MF file (so the next time you view it, your changes should be visible).
√ Put HtmlUnit.jar in a folder 'lib' at your server root.
√ Put your plugin in the plugins folder.

Mais sur MAC je galère avec les .jar, je peux seulement changer l'extension en .zip pour les ouvrir :calim2:
Et je comprends pas le "Perform any action required to update the manifest.MF file"

Sinon il y aurait pas une commande au Terminal pour faire tout ça ? :mouarf:
24/01/2015, 14h13
joel.drigo

Si tu utilises un IDE, tu peux spécifier ce qu'il y a dans le manifest dans l'export (Dans Eclipse c'est le troisième onglet).
24/01/2015, 17h22
Anonyme1784
Citation:

Envoyé par joel.drigo

Si tu utilises un IDE, tu peux spécifier ce qu'il y a dans le manifest dans l'export (Dans Eclipse c'est le troisième onglet).

Merci :)
Alors quand j'exporte j'ai bien le fichier

Citation:

/Mecraft/META-INF/manifest.MF

dedans j'ai :
Code:

1 2 Manifest-Version: 1.0 Class-Path: ../lib/htmlunit.jar
Et sur mon serveur j'ai créé le dossier "lib" à la racine, avec "htmlunit.jar" dedans.

Et voilà j'ai :
org.bukkit.plugin.InvalidPluginException: java.lang.NoClassDefFoundError: com/gargoylesoftware/htmlunit/FailingHttpStatusCodeException
...
Caused by: java.lang.NoClassDefFoundError: com/gargoylesoftware/htmlunit/FailingHttpStatusCodeException
...
Caused by: java.lang.ClassNotFoundException: com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException
24/01/2015, 17h40
joel.drigo

Je vois 11 jar moi dans la distribution de htmlunit, mais pas de htmlunit.jar. En plus le path c'est ./lib, pas ../lib.
24/01/2015, 18h26
Anonyme1784

Citation:

Envoyé par joel.drigo

Je vois 11 jar moi dans la distribution de htmlunit, mais pas de htmlunit.jar. En plus le path c'est ./lib, pas ../lib.

What ? Moi j'ai htmlunit.jar dans le build path qui m'a permis d'utiliser Webclient

ok je teste avec ./lib ! => Ça fonctionne toujours pas
Je sais pas si ça a un rapport mais j'ai

Citation:

[18:24:10] [Server thread/INFO]: Set PluginClassLoader as parallel capable

juste avant l'erreur.
24/01/2015, 19h21
joel.drigo

Le "Set PluginClassLoader as parallel capable", c'est une info. Je ne pense pas que ça ait un rapport. Il n'y aurait pas d'autres messages après plutôt (lorsqu'on a une trace d'exception, elle est souvent suvie de sa cause.
24/01/2015, 19h38
Anonyme1784

Citation:

Envoyé par joel.drigo

Le "Set PluginClassLoader as parallel capable", c'est une info. Je ne pense pas que ça ait un rapport. Il n'y aurait pas d'autres messages après plutôt (lorsqu'on a une trace d'exception, elle est souvent suvie de sa cause.

J'ai seulement ça :

Citation:

18:24:52] [Server thread/INFO]: Starting Minecraft server on xxx
[18:24:53] [Server thread/INFO]: Set PluginClassLoader as parallel capable
[18:24:53] [Server thread/ERROR]: Could not load 'plugins/Mecraft.jar' in folder 'plugins'
org.bukkit.plugin.InvalidPluginException: java.lang.NoClassDefFoundError: com/gargoylesoftware/htmlunit/FailingHttpStatusCodeException
at org.bukkit.plugin.java.JavaPluginLoader.loadPlugin(JavaPluginLoader.java:133) ~[craftbukkit.jar:git-Spigot-1642]
at org.bukkit.plugin.SimplePluginManager.loadPlugin(SimplePluginManager.java:341) ~[craftbukkit.jar:git-Spigot-1642]
at org.bukkit.plugin.SimplePluginManager.loadPlugins(SimplePluginManager.java:263) [craftbukkit.jar:git-Spigot-1642]
at org.bukkit.craftbukkit.v1_7_R4.CraftServer.loadPlugins(CraftServer.java:369) [craftbukkit.jar:git-Spigot-1642]
at net.minecraft.server.v1_7_R4.DedicatedServer.init(DedicatedServer.java:152) [craftbukkit.jar:git-Spigot-1642]
at net.minecraft.server.v1_7_R4.MinecraftServer.run(MinecraftServer.java:458) [craftbukkit.jar:git-Spigot-1642]
at net.minecraft.server.v1_7_R4.ThreadServerApplication.run(SourceFile:628) [craftbukkit.jar:git-Spigot-1642]
Caused by: java.lang.NoClassDefFoundError: com/gargoylesoftware/htmlunit/FailingHttpStatusCodeException
at java.lang.Class.forName0(Native Method) ~[?:1.7.0]
at java.lang.Class.forName(Class.java:264) ~[?:1.7.0]
at org.bukkit.plugin.java.PluginClassLoader.<init>(PluginClassLoader.java:64) ~[craftbukkit.jar:git-Spigot-1642]
at org.bukkit.plugin.java.JavaPluginLoader.loadPlugin(JavaPluginLoader.java:129) ~[craftbukkit.jar:git-Spigot-1642]
... 6 more
Caused by: java.lang.ClassNotFoundException: com.gargoylesoftware.htmlunit.FailingHttpStatusCodeException
at java.net.URLClassLoader$1.run(URLClassLoader.java:366) ~[?:1.7.0]
at java.net.URLClassLoader$1.run(URLClassLoader.java:355) ~[?:1.7.0]
at java.security.AccessController.doPrivileged(Native Method) ~[?:1.7.0]
at java.net.URLClassLoader.findClass(URLClassLoader.java:354) ~[?:1.7.0]
at org.bukkit.plugin.java.PluginClassLoader.findClass(PluginClassLoader.java:101) ~[craftbukkit.jar:git-Spigot-1642]
at org.bukkit.plugin.java.PluginClassLoader.findClass(PluginClassLoader.java:86) ~[craftbukkit.jar:git-Spigot-1642]
at java.lang.ClassLoader.loadClass(ClassLoader.java:423) ~[?:1.7.0]
at java.lang.ClassLoader.loadClass(ClassLoader.java:356) ~[?:1.7.0]
at java.lang.Class.forName0(Native Method) ~[?:1.7.0]
at java.lang.Class.forName(Class.java:264) ~[?:1.7.0]
at org.bukkit.plugin.java.PluginClassLoader.<init>(PluginClassLoader.java:64) ~[craftbukkit.jar:git-Spigot-1642]
at org.bukkit.plugin.java.JavaPluginLoader.loadPlugin(JavaPluginLoader.java:129) ~[craftbukkit.jar:git-Spigot-1642]
... 6 more

Voir 40 message(s) de cette discussion en une page