Discussion :

[mrAngier]

Bonjour,

J'essaie de récupérer le code HTML d'une recherche Google avec ce code (grosso modo) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
URL url = new URL( "https://www.google.fr/search?q=Ma+Recherche+Google" );
URLConnection con = url.openConnection();
InputStream input = con.getInputStream();
OutputStream output = new FileOutputStream("source.html");
byte[] buffer = new byte[8192];
 
while ( (len = input.read(buffer)) > 0) 
{
        output.write(buffer, 0, len);
}
output.flush();
output.close();
input.close();

Le problème est que j'obtiens de Google une version différente de celle que j'aurais obtenu si j'avais effectué cette requête avec un navigateur. Si je comprends bien, Google m'envoie une réponse sans exécution au préalable de code javascript et c'est le code html généré par le javascript qui m'intéresse.

Comment puis-je faire ?

[thelvin]

Hello,

Google ne veut pas que tu fasses ça et a donc dépêché son armée d'ingénieurs à trouver des solutions pour que tu n'y arrives jamais.

Ça ne devrait donc pas être surprenant, que nous soyons incapables de te dire comment faire. Il faudrait déjà qu'on ait été capables nous-mêmes de déjouer leur système de protection. Alors l'expliquer ensuite à un débutant... Ce n'est pas exactement du domaine du possible.

Il y a des gens qui y arrivent. Il existe des services pour faire une recherche Google et obtenir les résultats automatiquement, avec une API faite pour. Le service le moins cher que je connais coûte 50 dollars par mois pour avoir le droit de faire 1000 recherches. C'est ça, le prix de la solution qui passe outre les protections de Google.

Ah, important : je sais qu'un tel service est ou était pendant longtemps considéré comme légal aux États-Unis. Ce n'est pas du tout acquis qu'il le soit en France. C'est à faire valider par un avocat (de toute façon, aux États-Unis aussi ce serait assez inconscient de ne pas avoir un avocat qui gère la question.)

[Pill_S]

Hello,

Google ne veut pas que tu fasses ça et a donc dépêché son armée d'ingénieurs à trouver des solutions pour que tu n'y arrives jamais.

es-tu sûr de ça? je n'ai rien trouvé de tel dans la litérature et même plutôt le contraire: https://developers.google.com/custom-search/v1/overview, https://stackoverflow.com/questions/...cally-java-api.

C'est possible en passant par les api fournies par Google (100 recherches gratuites par jour). Il semble être interdit de parser les résultats de la page html, même si techniquement, en fournissant un User-Agent correct ça pourrait se faire.

[thelvin]

Tu parles du Custom Search, ce n'est pas la même chose. Il ne cherchera que sur le site qui a enregistré l'usage de Custom Search.

La question semble porter sur le fait de faire une recherche Google normale portant sur le web tout entier comme le ferait quelqu'un qui fait une recherche Google.