Discussion :

[Warzzed300]

Salut ! J'ai un problème dans un code que je ne comprend pas... (ce pourquoi je suis la)

Je souhaite chercher combien de fois "Enclume" apparaît sur la page de recherche google avec comme query : Quel nom porte la masse de fer sur laquelle on forge les metaux ?

Si je vais sur la page moi même et que je recherche "Enclume" je le trouve 3 fois, pourtant mon programme me sort un zero.

Je ne comprend pas.
Je debute en Python, j’espère donc que quelqu'un puisse m'aider, ce serait très sympa de sa part

Mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
import requests
import re
def findword():
	global numF_rep
	page = requests.get("https://www.google.fr/search?q=Quel20%nom20%porte20%la20%masse20%de20%fer20%sur20%laquelle20%on20%forge20%les20%metaux20%").text
	print(wordtofind)
	count_nb = re.findall(wordtofind, page)
	print(count_nb)
	numF_rep = int(len(count_nb))
 
wordtofind = "Enclume"
findword()
print(numF_rep)

Output :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
Enclume
[]
0

[wiztricks]

Salut,

Si je vais sur la page moi même et que je recherche "Enclume" je le trouve 3 fois, pourtant mon programme me sort un zero.

C'est que la chaîne de caractère "Enclume" n'est pas dans...
Et la question est plutôt du côté de l'URL qui fait la requête: si elle est bien construite (ce qui reste à voir), pourquoi via un programme (accessoirement écrit en Python) la chaîne de caractères que laborieusement construite "à la main" retourne autre chose que ce que retourne mon navigateur Web?
Et si la réponse de Google est différente, c'est que les informations que reçoit Google sont différentes. Et si c'est pas dans l'URL, peut être que c'est côté "headers" de la requête HTTP. Et on essaie de suivre cette piste (ou une autre).

Je debute en Python, j’espère donc que quelqu'un puisse m'aider, ce serait très sympa de sa part

Pour l'instant, c'est d'abord un problème HTTP.
Python là dedans ne fait que vous donner accès aux chaînes de caractères échangées entre le client (votre code) et le serveur (Google).

- W

[marco056]

Effectivement, il n'y pas le mot cherché dans le fichier "page.txt" :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
def findword(word):
    global numF_rep
    page = requests.get("https://www.google.fr/search?q=Quel20%nom20%porte20%la20%masse20%de20%fer20%sur20%laquelle20%on20%forge20%les20%metaux20%").text
    with open("page.txt","w") as f:
        f.write(page)
    print(word)
    count_nb = re.findall(word, page)
    print(count_nb)
    numF_rep = int(len(count_nb))
 
wordtofind = "Enclume"
findword(wordtofind)

[BufferBob]

salut,

juste pour remarque, l'url est mauvaise, il y a partout des 20% alors que c'est %20, quant à Google méfiance il a tendance à bannir assez vite les bots, mieux vaut peut-être utiliser un autre moteur de recherche, Bing par exemple ou Faroo qui dispose d'une API directement

[Warzzed300]

Merci pour vos réponses mais malheureusement je n'ai toujours pas trouvé de solutions...

J'ai changer le moteur de recherche pour tenter de faire fonctionner tout ça mais je trouve le même résultat. Au début je pensais qu'en dessous de 4 résultats le programme ne détectait tout simplement rien mais par exemple sur la même page si je cherche "Sciences" il le trouve deux fois et c'est correct.

Il n'y a que certains mot comme "Enclume" qui ne sont pas trouvé alors qu'ils existent belle et bien sur la page...

Si quelqu'un aurait un autre programme permettant de compter le nombre de fois qu'un mot apparaît sur une page web ce serait très utile pour moi... Sachant qu'en HTTP, HTML je ne m'y connais pas trop non plus

[bistouille]

Salut,

Si j'exécute ta recherche, je n'ai pas le mot enclume en page1, en revanche en page2 il apparait.
As-tu des options spécifiques réglées pour tes moteurs de recherches, cookies ? sessions (compte) ?
As-tu testé tes recherches avec le javascript désactivé ?

Maintenant est-ce pertinent de faire une recherche sur une phrase complète ?

Et pour comparer ce que ton script charge comme html (et aussi d'éviter de spammer les moteurs de recherches pour mettre au point ton script), il serait mieux de mettre ça en cache.

Un exemple fait à l'arrache.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
import requests
import re
import os
 
caches = (
    dict(
        moteur='google',
        fichier='./google_cache_forge-metaux-outil-support',
        url='https://www.google.fr/search?q=forge+métaux+support',
    ),
    dict(
        moteur='duckduckgo',
        fichier='./duckduckgo_cache_forge-metaux-outil-support',
        url='https://duckduckgo.com/html?q=forge+métaux+outil+support&kl=fr-fr',
    ),
)
 
# Mise en cache pour travailler sur des copies locales
for item in caches :
    if not os.path.isfile(item['fichier']) :
        req = requests.get(item['url'])
        html = req.text
        with open(item['fichier'], 'w') as f :
            f.write(html)
 
 
for item in caches :
    with open(item['fichier']) as f :
        print('#' * 10, item['moteur'], '#' * 10)
        html = f.read()
        for s in ('enclume', 'acier', 'patine') :
            print(s, len(re.findall('\W({})\W'.format(s), html, flags=re.I)))

Qui chez moi affiche :

########## google ##########
enclume 4
acier 6
patine 1
########## duckduckgo ##########
enclume 4
acier 2
patine 0

[marco056]

Merci pour vos réponses mais malheureusement je n'ai toujours pas trouvé de solutions...

J'ai changer le moteur de recherche pour tenter de faire fonctionner tout ça mais je trouve le même résultat. Au début je pensais qu'en dessous de 4 résultats le programme ne détectait tout simplement rien mais par exemple sur la même page si je cherche "Sciences" il le trouve deux fois et c'est correct.

Il n'y a que certains mot comme "Enclume" qui ne sont pas trouvé alors qu'ils existent belle et bien sur la page...

Si quelqu'un aurait un autre programme permettant de compter le nombre de fois qu'un mot apparaît sur une page web ce serait très utile pour moi... Sachant qu'en HTTP, HTML je ne m'y connais pas trop non plus

Et la bonne adresse : c'est quoi ???