Discussion :

[Tekmate]

Bonjour,

Je débute en scraping au travers de vidéos, malheureusement je n’obtiens pas le même résultat que sur l'une d'entre elle.

Je tente de récupérer le contenu de href dans une balise html <a> qui correspond à la variable a, dans le code, voici la balise :

Code HTML :

Sélectionner tout - Visualiser dans une fenêtre à part

<a class="travian-color" href='https://www.inactivesearch.it/analyse/ts8.x1.europe.travian.com/player/4059'>BET</a>

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import requests
from bs4 import BeautifulSoup
 
url = 'https://www.inactivesearch.it/analyse/ts8.x1.europe.travian.com/alliance/395'
 
r = requests.get(url)
 
if r.ok:
  links = []
  soup = BeautifulSoup(r.text, features="html.parser")
  tds = soup.findAll('td')
  for td in tds:
      a = td.find('a')
      link = a['href']
      links.append(link)
  print(links)

Et à l'exécution de celui-ci, je récupére l'erreur suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
Traceback (most recent call last):
  File "C:/Users/ISEN/PycharmProjects/scrapping/venv/scrap1.py", line 15, in <module>
    link = a['href']
TypeError: 'NoneType' object is not subscriptable

Je ne comprends pas d'où peut venir l'erreur, pourriez-vous m'aider sur ce sujet ?

Merci d'avance
Bonne journée
Bastien

[wiztricks]

Salut,

Je ne comprends pas d'où peut venir l'erreur, pourriez-vous m'aider sur ce sujet ?

A priori, a = td.find('a') va trouver ou pas... la balise "a" et s'il ne la trouve pas, il retournera None. Et à la ligne suivante, l'instruction link = a['href'] se vautre.

Plutôt que de recopier le code depuis des vidéos, ouvrez un tuto. apprenez à programmer en essayant de faire les exercices car on passe plus de temps à relire/lire du code qu'à l'écrire.

- W

[Tekmate]

Bonjour,

Je te remercie pour ta réponse rapide.

[jurassic pork]

hello,

Bonjour,

Je débute en scraping au travers de vidéos, malheureusement je n’obtiens pas le même résultat que sur l'une d'entre elle.

Je tente de récupérer le contenu de href dans une balise html <a> qui correspond à la variable a, dans le code, voici la balise :

Code HTML :

Sélectionner tout - Visualiser dans une fenêtre à part

<a class="travian-color" href='https://www.inactivesearch.it/analyse/ts8.x1.europe.travian.com/player/4059'>BET</a>

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import requests
from bs4 import BeautifulSoup
 
url = 'https://www.inactivesearch.it/analyse/ts8.x1.europe.travian.com/alliance/395'
 
r = requests.get(url)
 
if r.ok:
  links = []
  soup = BeautifulSoup(r.text, features="html.parser")
  tds = soup.findAll('td')
  for td in tds:
      a = td.find('a')
      link = a['href']
      links.append(link)
  print(links)

Et à l'exécution de celui-ci, je récupére l'erreur suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
Traceback (most recent call last):
  File "C:/Users/ISEN/PycharmProjects/scrapping/venv/scrap1.py", line 15, in <module>
    link = a['href']
TypeError: 'NoneType' object is not subscriptable

Je ne comprends pas d'où peut venir l'erreur, pourriez-vous m'aider sur ce sujet ?

Comme le dit wiztricks le souci c'est que la balise a n'est pas forcément présente dans les balises td et que dans ce cas l'objet a reste à None ce qui engendre l'erreur qui est affichée sur la ligne suivante. Il faut donc tester si la valeur de a n'est pas à None. Il faut aussi tester si l'objet a à un attribut href pour éviter une nouvelle erreur.
On peut faire comme ceci par exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
    tds = soup.findAll('td')
    for td in tds:
        a = td.find('a')
        if a is not None and a.has_attr('href'):
            link = a['href']
            links.append(link)
    print(links)

Ami calmant, J.P

[Sve@r]

Bonjour

Code python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
if a is not None and a.has_attr('href'):
	link = a['href']
	links.append(link)

Je me demande si l'opérateur morse fonctionnerait ici...

Code python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
if a is not None and link:=a.get("href") is not None:
	links.append(link)

(peux pas tester, mon Python n'a pas encore le niveau pour cet opérateur mais d'après ce que j'en sais, ça semble cohérent...)

[wiztricks]

Salut,

Il faut ajouter des parenthèses astucieusement sinon çà va assigner à link un booléen (le résultat de l'expression a.get("href") is not None). Un machin comme a is not None and link:=a.get("href") is not None se simplifie en a and (link:=a.get("href"))

- W