Discussion :

[tarentino78]

Hello tout le monde
Mon problème est simple (à expliquer)
J'ai développé un script SHELL qui effectue des recherches automatiques sur Google
Ce n'est pas du spam, ce sont bien des recherches faites par ma machine. Ce script envoi quelques fois 10 requêtes dans un laps de temps de 1 mn sur google grâce à un programme que j'ai trouvé qui se nomme "googler".
Problème, au bout de quelques recherches, je recois le message suivant:
[ERROR] Connection blocked due to unusual activity. THIS IS NOT A BUG, please do NOT report it as a bug unless you have specific information that may lead to the development of a workaround. You IP address is temporarily or permanently blocked by Google and requires reCAPTCHA-solving to use the service, which googler is not capable of. Possible causes include issuing too many queries in a short time frame, or operating from a shared / low reputation IP with a history of abuse. Please do NOT use googler for automated scraping.

Je suis obligé d'attendre. Je cherche un moyen en ligne de commande de contourner cela. J'ai bien pensé aux proxy, mais avant d'en trouver un qui fonctionne.... et quand bien même, ce proxy pourrait etre aussi bloqué par Google, il faudrait en mettre un autre.
J'ai mis des temporisations différentes et aléatoires entre chaque requête et idem.

Que pourriez vous me conseiller pour ne pas être bloqué en ligne de commandes par Google?

Merci de votre lecture et surtout si vous me trouvez une solution.

Bon we à tous

[disedorgue]

Je trouve la dernière phrase du message d'erreur assez parlante...
Il n'y a pas trop de possibilité, à part peut-être faire tes requêtes à une vitesse humaine...

En tout cas, on n'en sait pas assez de ton besoin pour savoir s'il y a moyen de faire autrement.

[tarentino78]

Avec des interfaces html, il suffit de faire un Captcha mais en ligne de commande je ne vois pas comment faire

[Flodelarab]

Bonjour

Peut-on savoir quel est le besoin réel d'un administrateur réseaux d'harceler 10 fois par minute (litote) le site de Google ?
Voulez-vous savoir, au dixième de seconde près, s'il est apparu un nouveau site proposant du rouge à lèvre carmin ?
Ridicule.

Je rappelle, quand même, que les robots ne sont que tolérés sur les sites, avec un accord de personnes bien élevées, résumé dans le fichier robot.txt.
Avec des comportements mal-élevés comme le vôtre, tout le monde se crispera et on perdra en liberté. Les uns interdisant les autres, et les autres cherchant tout pour pilonner les uns.

Enfin, vous attaquez le trésor de Google. Facile de comprendre qu'ils ne vous laisseront pas piller leur plus-value.

[tarentino78]

Le fait de prendre un couteau ne veut pas dire qu'on va tuer quelqu'un. Si tu vois ce que je veux dire.
Ensuite ta question est déplacée, harceler, n'importe quoi non? Un peu du délit d'intention non?

Est ce que j'ai parlé de requête au dixième de seconde?
Avant d'accuser, il faut peut être poser des questions simplement non?

Réel administrateur, oui je suis un réel administrateur mais qui développe aussi des outils, et mon outil qui se trouve ici bloqué sert à effectuer des recherches automatiques sur un sujet entré par un utilisateur. Pour cela, j'ai besoin de connaitre le nombre de page maximum que me sortira Google et en shell je n'ai trouvé d'autre moyen que de passer page par page ma demande. Voilà pour le côté mal intentionné si on peut parler de ça.

Ton histoire sur les robots, je la connais, inutile de me la préciser, je suis du métier. Et mon objectif n'est pas de fiche le bazars mais bien de connaitre le nombre de pages maximum que me sortira Google sur un sujet donné.

Un peu n'importe quoi ta réponse.

Donc voilà, je m'adresse plutôt aux gens qui connaissent, et pas aux petits moralistes en herbe.

Encore une fois je connais beaucoup de choses mais pas tout c'est pourquoi je demande ici. Et mes intentions sont pacifiques.
Je veux juste connaitre avec un script shell le nombre de pages maximum sur un sujet donné.

[N_BaH]

harceler, n'importe quoi non?

ça dépend où on place les limites. selon Google, 10 requêtes / mn., ou la rapidité avec laquelle certaines sont envoyées, dépassent celles qu'il a fixées.

[Flodelarab]

Ayant activé les 100 résultats par page, j'obtiens rarement plus de 3 pages, en tapant:

• harcèlement
• haine
• sexe
• politique
• macron (ah ! 5 pages)
• trump (2 pages, la honte)
• informatique
• google (4)
• mort
• etc ...

Il y a donc rarement plus de 5 pages. ("Macron", qui dit mieux ?). De là à froisser Google qui te blackliste, il y a de la marge.

Tu as ta réponse sur le maximum de pages : 50 pages maximum à raison de 10 par pages

[tarentino78]

Bon, je crois que je vais me désabonner, un peu sans intérêt, peu de réponses utiles mis à part des polémiqueurs
Et un qui ne ssais pas utiliser au maximum google
quoi qu'il en soit j'ai trouvé une alternative à mon problème.
et je ne pense pas revenir ici vu la médiocrité des réponses d'un de vos sujets qui pense avoir raison, je lui laisse sa raison
Un petit conseil pour mon ami qui agresse au lieu de se rendre utile en réponse, les secrets de google te permettront sans doute d'arriver à avoir plus de résultats dans tes recherches
Tchao !

[N_BaH]

qui plus est, ton sujet, qui concerne le contournement d'une sécurité mise en place par le site que tu interroges, est limite hors charte.

[chrtophe]

Le fait de prendre un couteau ne veut pas dire qu'on va tuer quelqu'un.

Certes, mais ça ne veut pas dire que tu peux te balader dans la rue avec une lame de 40cm. Tout comme Google impose des limites d'accès à leur serveurs, et qu'ils te bloquent si tu ne les respectes pas.

et je ne pense pas revenir ici vu la médiocrité des réponses

A hauteur de la médiocrité de détails de ce que tu veux faire.

Avant d'accuser, il faut peut être poser des questions simplement non?

Cela t'as été demandé par Floderalab et Disedorgue.