récuperer une page web en java

Bonjour,

j'ai une méthode qui me permet de récupérer le code html d'une page web, cela fonctionne pour beaucoup de pages, mais pas pour le resultat d'une recherche avec google image

J'aimerais, lorsque je fais une recherche d'image avec google, récpérer le code html de la page résultat, mais ma méthode ne me le permet pas.

Ce qui me semble le plus étrange, c'est que la méthode fonctionne pour la page : http://images.google.fr/imghp, mais pas pour la page http://images.google.fr/images?q=desert

voici le code

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39

public class recuperateurHtml { URL url; URLConnection connexion; String codeHtml;   public recuperateurHtml (String adresse) { codeHtml = null;   try {url = new URL(adresse);} catch (MalformedURLException e) {e.printStackTrace();}   try {connexion = url.openConnection();} catch (IOException e) {e.printStackTrace(); } }   public String recupererHtml() {   StringBuilder build = new StringBuilder();   try { InputStream in = connexion.getInputStream(); //création d'un flux int c = in.read(); //lecture du premier bit   while (c != -1) // tant que c n'est pas egale au bit indiquant la fin d'un flux... { build.append((char) c); // on l'ajoute dasn le StringBuilder... c = in.read(); // on lit le suivant } } catch (IOException e){e.printStackTrace();} codeHtml = build.toString(); // on retourne le code de la page return codeHtml; }   }

---

Quelle est la page envoyée ? L'erreur ?
Un "ça ne marche pas" est insuffisant ;)

voici le main() que j'execute

Code:

---

1 2 3 4 5 6 7 8 9 10 11

public class testGestionConnexion {   public static void main(String[] args) { recuperateurHtml r = new recuperateurHtml("http://images.google.fr/images?q=desert"); System.out.println(r.recupererHtml()); }   }

---

et voici les erreurs qui s'affichent dans la console de eclipse :

Code:

---

1 2 3 4 5

java.io.IOException: Server returned HTTP response code: 403 for URL: <a href="http://images.google.fr/images?q=desert" target="_blank">http://images.google.fr/images?q=desert</a> at sun.net.<a href="http://www.protocol.http.HttpURLConnection.getInputStream(Unknown" target="_blank">http://www.protocol.http.HttpURLConn...Stream(Unknown</a> Source) at recuperateurHtml.recupererHtml(recuperateurHtml.java:31) at testGestionConnexion.main(testGestionConnexion.java:8)

---

C'est une erreur 403, comme si il y avait un problème de droit d'accès à la page, mais si je tappe la même URL dans un navigateur, la page est affichée sans le moindre problème.

j'espère que ces infos vous aiderons à mieux cerner le problème.

merci

Salut,

Et si tu utilises l'URL de Google Image .com :

Code:

---

http://images.google.com/images?hl=en&q=desert&btnG=Search+Images&gbv=2

---

A+

au départ, j'ai essayé avec l'URL complète, mais j'avais la même erreur, j'ai donc essayé de réduire l'URL au maximum, mais ça ne change rien.

Par contre, l'URL que j'utilise dans mon code est valide, elle affiche la page de résultat de google image pour une recherche sur le mot desert

Si c'est une 403 essaye éventuellement d'utiliser un proxy, tu as une ip fixe?

Peut être le user-agent ?

Par ex :

Code:

---

1 2 3 4

URL url = new URL("http://www.google.com"); URLConnection connection = url.openConnection(); connection.setRequestProperty("User-Agent", "Firefox/1.0.4");

---

Et ainsi de suite.

Soit google t'interdit l'accès sur base de ton user-agent, soit il requiert que tu passe d'abord par la page de requete avant d'aller à la page résultat et utilise des cookies ou autre système pour çà. Ca m'a tout l'air d'un truc de google pour éviter que des applis externes pompent sur leur interface.

Au fait, essaie d'utiliser common-http-client de jakarta, il est beaucoup plus souple et peux vraiment se comporter comme un navigateur.

C'est un problème de header. Google vérifie probablement un paramètre comme le referer ou la méthode de requête. Le mieux est encore de sniffer ce que tu envoies et reçois via Firefox à l'aide de wireshark par exemple, et d'utiliser des sockets pour reproduire exactement le même flux de données.