Récupérer une page web complète (code+images+..)

Salut tout le monde,je voudrai savoir s'il y aurait un moyen de récupérer un page web complète ,
j'ai déjà crée un fonction qui me retourne le code de la page
cette fonction se base sur la connexion sur le port 80 avec une socket et en faisant un "GET" qui retourne le code,ou encore la méthode avec Urlconction plus propre
mais jusque a maintenant je n'ai pas trouver comment récupérer toute la page,d'après mes recherche il faudrait parcourir tout les liens du code , mais c'est laborieux et surtout compliqué pour moi simple débutant en java.....

je voudrait preciser qu'il y a une classe appelé jdbEditorPane qui permet d'afficher un document HTML elle possede une methode "setPageURL(String UrlString)" qui permet de recuperer la page et de l'afficher ,puisque j'utilise cette classe dans mon projet,je crois que je pourrait l'utiliser pour regler mon problème...
mais j'ai essayé et rien aucun resultat .. la page distante s'affiche mais aucun moyen de la recuperer ,alors s'il y aurait un moyen de le faire .....

merci d'avoir lue et excuser moi si je me suis tromper de section pour se poste car c ma première fois ,a+

Je ne sais pas s'il existe une solution tout prête. Si ce n'est pas le cas, tu peux essayer de parser ton document et de télécharger les url des images contenues dans les balises <img />.

Ça ne me semble pas extrêmement compliqué à faire, et ça t'évitera d'utiliser un canon pour tuer une mouche ;)

tu m'excusera mais je viens tout juste de débuter en java et le parse je ne sait pas ce que c'est ,si tu pouvais être plus précis avec un petit exemple,je t'en serait très reconnaissant ,j'ai compris l'idée principale qui est le parcours des balises
moi j'ai utilisé un simple indexof (très laborieuse "prog spaguetti:lol::lol:" ) pour récupérer le lien mais j'aimerais bien voir la tienne , tu vas rigoler mais je ne sais pas comment récupérer les images grâce au lien :lol::lol:,si tu pouvais m'aider ........

Si t'as une url de base http://server/machin/index.html et là dedans t'as une url "/images/logo.gif", pour télécharger l'image, tu fait:

Code:

---

1 2 3 4

URL base = new URL("http://server/machin/index.html"); URL image = new URL(base,"/images/logo.gif"); image.openConnection(); /....

---

Maintenant, pour extraire tous les liens, faut y aller toi même et scanner toi meme le document html. (jette un oeil dans la class Pattern, qui implémente les regexp)

merci bien je vais l'essayer ..:king:

Je propose une idee toute bete : Le XML a ete cree a partir du HTML (sans rentrer dans le detail).
Il se pourait que l'on puisse parser automatiquement un fichie HTML a l'aide des parser XML (cf JDom) vu que leurs structure est tres tres proche !!

il existe également des composant tout prêt comme HtmlParser qui fournit des librairies bien foutu pour parser du html.

Citation:

---

Envoyé par Clorish

Je propose une idee toute bete : Le XML a ete cree a partir du HTML (sans rentrer dans le detail).
Il se pourait que l'on puisse parser automatiquement un fichie HTML a l'aide des parser XML (cf JDom) vu que leurs structure est tres tres proche !!

---

Ca sous entends un document xhtml bien formé, c'est très rarement le cas. Si tu veux jouer avec l'api dom (et éventuellement les xpaths pour scanner) faut passer par nekohtml, qui crée un document xml DOM à partir de html.

Bonjour tchize_,

En fait, je suis en train de chercher quelques exemples d'utilisation de NekoHTML. Mais, j'ai pas trouvé un code compréhensible. Même la documentation du site de NekoHTML ne contient pas une grande chose.
STP, peux tu me fournir un exemple simple ou un lien qui traite ce ci.

Merci d'avance.

Si tu veux jouer avec l'api dom (et éventuellement les xpaths pour scanner) faut passer par nekohtml, qui crée un document xml DOM à partir de html.

Etonnant, il y a pourtant tout ce qu'il faut dans la doc de nekohtml, en tout cas pour une utilisation basique. Exemple tiré du site en question, pour parser un document en arbre DOM:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12

import org.cyberneko.html.parsers.DOMParser; import org.w3c.dom.Document; import org.w3c.dom.Node;   public class TestHTMLDOM { public static void main(String[] argv) throws Exception { DOMParser parser = new DOMParser(); for (int i = 0; i < argv.length; i++) { parser.parse(argv[i]); print(parser.getDocument(), ""); } }

---

avec ca tu sais déjà comment parser un document et obtenir le org.w3c.dom.Document sur lequel tu va travailler.