Chercher le nombre de fois qu'un mot apparaît sur une page web

Salut ! J'ai un problème dans un code que je ne comprend pas... (ce pourquoi je suis la)

Je souhaite chercher combien de fois "Enclume" apparaît sur la page de recherche google avec comme query : Quel nom porte la masse de fer sur laquelle on forge les metaux ?

Si je vais sur la page moi même et que je recherche "Enclume" je le trouve 3 fois, pourtant mon programme me sort un zero.

Je ne comprend pas.
Je debute en Python, j’espère donc que quelqu'un puisse m'aider, ce serait très sympa de sa part :)

Mon code :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13

import requests import re def findword(): global numF_rep page = requests.get("https://www.google.fr/search?q=Quel20%nom20%porte20%la20%masse20%de20%fer20%sur20%laquelle20%on20%forge20%les20%metaux20%").text print(wordtofind) count_nb = re.findall(wordtofind, page) print(count_nb) numF_rep = int(len(count_nb))   wordtofind = "Enclume" findword() print(numF_rep)

---

Output :

Code:

---

1 2 3 4

Enclume [] 0

---

Salut,

Citation:

---

Envoyé par Warzzed300

Si je vais sur la page moi même et que je recherche "Enclume" je le trouve 3 fois, pourtant mon programme me sort un zero.

---

C'est que la chaîne de caractère "Enclume" n'est pas dans...
Et la question est plutôt du côté de l'URL qui fait la requête: si elle est bien construite (ce qui reste à voir), pourquoi via un programme (accessoirement écrit en Python) la chaîne de caractères que laborieusement construite "à la main" retourne autre chose que ce que retourne mon navigateur Web?
Et si la réponse de Google est différente, c'est que les informations que reçoit Google sont différentes. Et si c'est pas dans l'URL, peut être que c'est côté "headers" de la requête HTTP. Et on essaie de suivre cette piste (ou une autre).

Citation:

---

Envoyé par Warzzed300

Je debute en Python, j’espère donc que quelqu'un puisse m'aider, ce serait très sympa de sa part

---

Pour l'instant, c'est d'abord un problème HTTP.
Python là dedans ne fait que vous donner accès aux chaînes de caractères échangées entre le client (votre code) et le serveur (Google).

- W

Effectivement, il n'y pas le mot cherché dans le fichier "page.txt" :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12

def findword(word): global numF_rep page = requests.get("https://www.google.fr/search?q=Quel20%nom20%porte20%la20%masse20%de20%fer20%sur20%laquelle20%on20%forge20%les20%metaux20%").text with open("page.txt","w") as f: f.write(page) print(word) count_nb = re.findall(word, page) print(count_nb) numF_rep = int(len(count_nb))   wordtofind = "Enclume" findword(wordtofind)

---

salut,

juste pour remarque, l'url est mauvaise, il y a partout des 20% alors que c'est %20, quant à Google méfiance il a tendance à bannir assez vite les bots, mieux vaut peut-être utiliser un autre moteur de recherche, Bing par exemple ou Faroo qui dispose d'une API directement

Merci pour vos réponses mais malheureusement je n'ai toujours pas trouvé de solutions...

J'ai changer le moteur de recherche pour tenter de faire fonctionner tout ça mais je trouve le même résultat. Au début je pensais qu'en dessous de 4 résultats le programme ne détectait tout simplement rien mais par exemple sur la même page si je cherche "Sciences" il le trouve deux fois et c'est correct.

Il n'y a que certains mot comme "Enclume" qui ne sont pas trouvé alors qu'ils existent belle et bien sur la page...

Si quelqu'un aurait un autre programme permettant de compter le nombre de fois qu'un mot apparaît sur une page web ce serait très utile pour moi... Sachant qu'en HTTP, HTML je ne m'y connais pas trop non plus :lol:

Salut,

Si j'exécute ta recherche, je n'ai pas le mot enclume en page1, en revanche en page2 il apparait.
As-tu des options spécifiques réglées pour tes moteurs de recherches, cookies ? sessions (compte) ?
As-tu testé tes recherches avec le javascript désactivé ?

Maintenant est-ce pertinent de faire une recherche sur une phrase complète ?

Et pour comparer ce que ton script charge comme html (et aussi d'éviter de spammer les moteurs de recherches pour mettre au point ton script), il serait mieux de mettre ça en cache.

Un exemple fait à l'arrache.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

import requests import re import os   caches = ( dict( moteur='google', fichier='./google_cache_forge-metaux-outil-support', url='https://www.google.fr/search?q=forge+métaux+support', ), dict( moteur='duckduckgo', fichier='./duckduckgo_cache_forge-metaux-outil-support', url='https://duckduckgo.com/html?q=forge+métaux+outil+support&kl=fr-fr', ), )   # Mise en cache pour travailler sur des copies locales for item in caches : if not os.path.isfile(item['fichier']) : req = requests.get(item['url']) html = req.text with open(item['fichier'], 'w') as f : f.write(html)     for item in caches : with open(item['fichier']) as f : print('#' * 10, item['moteur'], '#' * 10) html = f.read() for s in ('enclume', 'acier', 'patine') : print(s, len(re.findall('\W({})\W'.format(s), html, flags=re.I)))

---

Qui chez moi affiche :

Citation:

---

########## google ##########
enclume 4
acier 6
patine 1
########## duckduckgo ##########
enclume 4
acier 2
patine 0

---

Citation:

---

Envoyé par Warzzed300

Merci pour vos réponses mais malheureusement je n'ai toujours pas trouvé de solutions...

J'ai changer le moteur de recherche pour tenter de faire fonctionner tout ça mais je trouve le même résultat. Au début je pensais qu'en dessous de 4 résultats le programme ne détectait tout simplement rien mais par exemple sur la même page si je cherche "Sciences" il le trouve deux fois et c'est correct.

Il n'y a que certains mot comme "Enclume" qui ne sont pas trouvé alors qu'ils existent belle et bien sur la page...

Si quelqu'un aurait un autre programme permettant de compter le nombre de fois qu'un mot apparaît sur une page web ce serait très utile pour moi... Sachant qu'en HTTP, HTML je ne m'y connais pas trop non plus :lol:

---

Et la bonne adresse : c'est quoi ???