Discussion :

[sakura.sou]

salut à tous,

Je dois récupérer le contenu html d'un site web à partir de l'url en python, pour faire ça, j'ai pensé à d'abord récupérer l'arborescence du site, puis faire une boucle afin de récupérer le contenu html à partir des liens, mais en python , je ne sais pas comment le faire .

merci d'avance

[pacificator]

Dans le principe il suffit de récuperer la page web puis d'extraire (regex?) et d'analyser (lien interne, externe) les liens hypertextes contenus dans la page puis de les télecharger et de recommencer ...

Mais ce que tu veux existe déjà, c'est un aspirateur de site et tu trouveras facilement ça sur

[sakura.sou]

je c'est que les aspirateurs de site existent, mais moi je dois réaliser ça en python, et pour récupérer l'arborescence à partir d'un lien, je ne vois pas comme faire ça.

[eyquem]

Salut,

Ton objectif n’est pas assez bien défini pour qu’on sache comment t’aider.

S’agit-il:

- de ne s’intéresser qu’à un seul site, et d’écrire un code qui sera capable de récupérer les contenus de toutes les pages du site, en suivant tous les liens trouvés dans chaque page ?
Un tel objectif pourrait être motivé par le fait que récupérer à la main les contenus serait trop long, ou que des mises à jour fréquentes rendrait vite fastidieuse l’acquisition des contenus nouveaux.


- ou de concevoir un programme général apte à capturer le contenu de n’importe quel site, c’est à dire capable de s’adapter à toutes les particularités d’un site inconnu a priori ?
Autrement dit, c’est vouloir faire un aspirateur de site.


Il est clair que le premier objectif semble plus facilement atteignable parce qu’on pourrait se permettre des facilités du fait que la structure du site serait plus stable que la structure non préalablement connue de n’importe quel site.







Personnellement, avec une adresse URL, la seule première chose que je sache faire est la suivante:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
import urllib
 
url = 'http://fr.wikipedia.org/wiki/Max_Peck'
sock = urlib.urlopen(url)
ch = sock.read()
sock.close()

Une fois le code-source de la page enregistré dans la chaîne ch, je peux lancer tous les traitements que je veux.

- Pour ma part, je sais exactement ce que je veux dans les pages que je capte et je ne recherche pas des liens. J’exploite chaque code-source en l’analysant avec des regex et des méthodes de string. Je ne connais donc pas très bien les parsers.

- Mais pour ce qui te concerne, si tu veux d’abord établir l’arborescence du site, il te faut traiter les pages avec un parser, en commençant par la première.
Beautiful Soup est un parser de code HTML qui devrait te permettre de faire ce préalable.
C’est à dire qu’une fois le code-source d’une page mis dans une chaîne ch, tu donnes ch en patûre au parser et tu le règles pour qu’il te sorte tous les liens dans la pge. Ça devrait marcher comme ça si j’ai bien compris à quoi sert un parser.