Discussion :

[linda deb]

Bonjour à Tous,

Pouvez vous m'aider à lister qee les url's contenant l'extension .html ?
J'ai essaye de modifier le code, mais il y a des erreurs.
Mercid

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
#!/usr/bin/env python
 
import requests
from BeautifulSoup import BeautifulSoup
 
url = "https://www.jumia.tn"
response = requests.get(url)
# parse html
page = str(BeautifulSoup(response.content))
 
 
def getURL(page):
    """
 
    :param page: html of web page (here: Python home page) 
    :return: urls in that page 
    """
    start_link = page.find("a href")
    if start_link == -1:
        return None, 0
    start_quote = page.find('"', start_link)
    end_quote = page.find('"', start_quote + 1)
    url = page[start_quote + 1: end_quote]
 
if 'html' in url: 
   print url
 
#return url, end_quote
 
while True:
    url, n = getURL(page)
    page = page[n:]
    if url:
        print url
    else:
        break

[bistouille]

Salut.

Tout code posté doit être inséré entre les balises codes du forum bouton [#].

Pour déterminer qu'une chaine se termine par html, en python, c'est simple.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
>>> url = 'http://unsite.com/page.html'
>>> url.endswith('.html')
True
>>> # Ou encore
... 
>>> url[-5:] == '.html'
True

Mais là, faudrait plutôt s'appuyer sur requests.urllib3.util.url.parse_url (urllib.parse_url) afin d'obtenir le bon path.

Mais à l'heure où les extensions de page sont soit inexistantes ou celles avec une autre extension, par exemple, ce forum est en .php et génère bien du html, il vaudrait mieux s'appuyer sur le content-type plutôt que sur l'extension.

[linda deb]

Merci pour ton retour!
En fait, je débute avec python en essayant ton code ça ne marche pas?
Faut-il ajouter quelque chose ?
Merci d'avance...

[wiztricks]

Salut,

En fait, je débute avec python en essayant ton code ça ne marche pas?
Faut-il ajouter quelque chose ?

Si vous débutez autant utiliser Python 3.

Après relisez votre code: est-ce que getURL vous retourne les URL trouvées dans la page?
Si ce n'est pas le cas, trier celle qui se terminent par... est prématuré.

Se poser des questions aussi sur le code qu'on écrit pour voir s'il fait ce qu'on en attend et s'être un peu approprié des méthodes à utiliser pour y répondre est ce qui fait la différence entre le complet débutant et celui qui a pris le temps d'apprendre avec un tuto.
Celui là a fait les exos, ce qui lui a permis de se frotter aux différents messages d'erreurs remontées par Python, de comprendre la logique des constructions de base et de se familiariser avec string, liste, nombres,... fonctions, portées des variables,...

Internet est un bien commun, pas une aire de jeu: si vous voulez apprendre à programmer, ouvrez un tuto.

- W

[fred1599]

Pour information, 2^ème page de ma recherche Google : ICI