Discussion :

[gogolpexe]

Bonjour,
j'essaye de faire un programme me permettant de downloader directement les images dans <google images>

De ce fait il me faut récupérer le code source des pages afin de les parser et d'obtenir les images en questions.

J'ai une fonction qui me permet de récupérer une image facilement (ça marche bien :-) et une fonction pour récupérer le code qui ne fonctionne qu'avec les adresses genre .../blurp.html mais pas avec qqchose du genre :

http://images.google.ch/images?q=ours&hl=fr&lr=&sa=N&tab=wi

où il me sort une erreur http 403

Voici le code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
  public static String getSource(String s)
  throws Exception
  {
    URL url = new URL(s);
 
    InputStream in = new BufferedInputStream(url.openStream());
    ByteArrayOutputStream out = new ByteArrayOutputStream();
 
    byte[] buffer = new byte[4096]; 
 
    for (int read=0;(read=in.read(buffer))!=-1;out.write(buffer,0,read));
    return out.toString();
  }

Est-ce faisable (sûrement parce qu'il est possible d'afficher la source avec firefox) et si oui comment ?


[Modéré par Didier] : ajout de tag dans le titre - Les règles du forum Java

[fabszn]

Hello,

Une erreur HTTP 403 indique qu'il y a des restrictions d'acces sur les repertoires ... Il y a peut etre une gestion d'authentification permettant d'acceder au repertoire images auquel tu veux accéder...

Enfin c'est une idée...

[gogolpexe]

oui effectivemment lorsqu'il y a un 403 c'est qu'on est pas censé avoir les droits.

D'où la question : comment fait mon navigateur pour récupérer le code source ?

[gogolpexe]

Après avoir réfléchis un peu plus à la question je me suis décidé à regarder le traffic avec Ethereal et voici ce qui se passe :

il y d'abord une première requête du genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
 GET /images?q=ours&hl=fr&lr=&sa=G&imgsz=xxlarge

Ensuite google envoit plusieurs paquet G-ziper qui doivent toutes les infos de la page à afficher.

Enfin y a plein de GET qui sont envoyés correspondant aux emplacements des fameuses images.

En clair, y a encore du pain sur la planche...

[gogolpexe]

D'après ce que j'ai pu lire, google n'a pas trop envie qu'on utilise des bots pour pomper par exemple des images. De ce fait, je suppose qu'il regarde qui est le User-Agent qui envois la requête et interdit les truc du genre java....

Il va donc falloir que j'écrive un code me permettant de construire de toute pièce ma requête GET et la réception de la réponse avec des sockets... a moins qu'il y ait moyen de changer le User-Agent (Personnellement j'ai pas trouver comment faire)

Si qqn possède par hasard déjà un code semblable je serais heureux de pouvoir l'obtenir afin de vérifier si cette fois ça peut marcher ... :

[sweeton]

Tu peux tenter de modifier directement ton user agent avec un appel genre :
Properties systemProperties = System.getProperties ();
systemProperties.setProperty ("http.agent", "Mozilla/4.0 (compatible ...");

Regarde la valeur complète de ton user agent IE ou mozilla en capturant avec ethereal.
Le hic c'est que java te rajoute quand même java/1.xxx à la fin du user agent et ça, je ne sais pas comment le supprimer.
Reste plus qu'à espérer que le regex employé par google ne soit pas du type ".*java.*".

[gogolpexe]

Merci,
cette fois ça fonctionne, visiblement ils cherchent pas trop loin.

Maintenant il me reste qu'à récupérer les adresses en jouant un peu avec lers String (ce qui est toujours agréable)

[Miss Gaelle]

Merci de penser à cliquer sur le bouton Résolu.