Recherche Google en Java

Version imprimable

18/09/2011, 14h41
Mopmop

Recherche Google en Java

Bonjour,

Dans une application Java, je cherche à effectuer une recherche google et récupérer la page du premier résultat (genre "j'ai de la chance").

Pour le moment je créé l'url http://www.google.fr/#qMOTCLE et je récupère la page HTML résultat, que je parse pour avoir l'url du premier résultat, et enfin je récupère la page de cette url.

Mais c'est un peu bourrin, et je me dis (malgré mes recherches infructueuses) que Google doit bien fournir une API pour ça.

Donc si quelqu'un a un moyen de faire ça de façon moins bourrin, je suis preneur ;).

Merci d'avance
19/09/2011, 10h18
adiGuba

Salut,

:arrow: JSON/Atom Custom Search API

Par contre c'est payant au delà de 100 recherches par jour...

a++
19/09/2011, 13h30
Mopmop

Salut,

En effet je suis déjà tombé sur cette histoire de "clé" à demander à Google, mais c'est pas top pour deux raisons :

- Au premier lancement du logiciel il me faut beaucoup plus que 100 requêtes (ensuite en utilisation courante 100 requêtes journalières est suffisant).
- Je compte partager mon logiciel donc soit il faut une clé par utilisateur soit il faut moins de 100 requêtes en tout, et dans les deux cas c'est pas top.

Merci quand même :ccool:
19/09/2011, 16h45
tchize_

tu peux essayer de te faire passer pour un navigateur, a tes risque et périls:

si google change son design t'es bon pour changer ton code
si google repère le bot, il le bloquera

Si ils limitent et vendent au delà, c'est pour une bonne raison :mouarf:
19/09/2011, 21h21
Mopmop

Il me parait pas facilement repérable mon bot puisque au premier démarrage je fais en gros 1000 requêtes, mais le temps de parser il faut entre 30min et 1h donc en gros une requête toutes les 3 secondes.

Ensuite, en fonctionnement normal doit y avoir maximum une dizaine de requêtes (généralement aucune) et pareil, il faut le temps de parser.

Donc sauf si google change son interface, mon code fonctionne mais est un peu bourrin à mon sens, c'est pourquoi je voulais savoir s'il existait une méthode moins bourrin.
20/09/2011, 00h33
thelvin

Citation:

Envoyé par Mopmop

Il me parait pas facilement repérable mon bot puisque au premier démarrage je fais en gros 1000 requêtes, mais le temps de parser il faut entre 30min et 1h donc en gros une requête toutes les 3 secondes.

Ouais ben une requête toutes les 3 secondes venant de la même IP c'est pas d'une discrétion flamboyante.

Mais bon... Tu as peu de chances de te faire choper, c'est sûr. C'est juste que Google n'a pas de comptes à te rendre chaque fois qu'ils changent leur design.

Citation:

Envoyé par Mopmop

mon code fonctionne mais est un peu bourrin à mon sens, c'est pourquoi je voulais savoir s'il existait une méthode moins bourrin.

Oui oui... Mais elle te plaît pas.