Discussion :

[Train55]

Bonjour,

Je suis débutante en langage python. J'essaye de créé une fonction qui rassemble tous les liens/urls trouvés dans une page.

Voici ce que j'ai fait pour l'instant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
import requests 
 
def liens(page) :
    response = requests.get(page)
    data = response.text
    html = str(data) 
    for i in range(len(html)):
        if html[i] == '<' and html[i+1] == 'a' and html[i+3] == 'h':
            pos = html[i:].find('</a>')
            url = html[i: i+pos]
            urls = url.split('"')[1]
            if urls.startswith('http') == True :
                print (urls)

Celui - ci marche pour certains liens comme par exemple : https://www.google.fr ou bien https://www.python.org

Mais pour certains liens, la fonction affiche une erreur :"Index Out of range", comme par exemple : https://stackoverflow.com/questions/...on-web-crawler

Qu'est ce que je n'ai pas compris ?

[tyrtamos]

Bonjour,

Pour faire ça, je préfère utiliser beautifulsoup (https://pypi.org/project/beautifulsoup4/). Il a l'avantage dêtre puissant, mais aussi tolérant pour les pages mal écrites.

Exemple (Python 3):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
#!/usr/bin/python3
# -*- coding: utf-8 -*-
 
import urllib.request
from bs4 import BeautifulSoup
 
#url = "https://www.google.fr/"
#url = "https://www.python.org/"
url = "https://stackoverflow.com/questions/39565730/simple-python-web-crawler"
 
page = urllib.request.urlopen(url)
soup = BeautifulSoup(page, from_encoding=page.info().get_param('charset'), features="html.parser")
 
for link in soup.find_all('a', href=True):
    print(link['href'])

Ce code fonctionne avec l'url qui, chez toi, ne marche pas.

[Train55]

Merci, en effet c'est plus facile