Beatifulsoup scrapping forum

Version imprimable

2 pièce(s) jointe(s)

Bonjour,
j'essaie actuellement de collecter tous les messages et les id de ces messages d'un forum: http://forum.doctissimo.fr/medicamen...ujet_953_1.htm
j'ai réussi à le faire avec des messages normaux(i.e qui sont pas une réponse d'un autre message) et je sais pas comment le faire pour les autres messages voila un exemple du message

Pièce jointe 473722

et voila mon code :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 from bs4 import BeautifulSoup from a import * import urllib.request page=urllib.request.urlopen("http://forum.doctissimo.fr/medicaments/Neuroleptiques/souhaite-arreter-vousdes-sujet_953_1.htm") strpage=page.read().decode(page.headers.get_content_charset()) soup=BeautifulSoup(strpage,'lxml') u=soup.prettify() v=soup.find_all('div','post_content') for i in range(len(v)): x=unidecode(v[i].contents[0].contents[0]) print(x)
voila le resultat de mon code :
Pièce jointe 473725Pièce jointe 473725
comme vous pouvez le voir ca affiche les messages "normaux" mais pas les autres.

10/05/2019, 13h25
wiztricks

Salut,

Citation:

Envoyé par lackdark

je sais pas comment le faire pour les autres messages voila un exemple du message

C'est un travail qui demande de décortiquer la structure de la page HTML pour y trouver sur quelles balises, attributs,... appeler ".find_all" (ou autre) pour trier.
Pas grand monde fera ce boulot (un peu galère) à votre place.

La seule suggestion que je peux vous faire est de sauvegarder la page HTML dans un fichier et de relire le fichier avec votre navigateur pour voir le contenu ramené par request.urlopen. Ca va éliminer ce qui est récupéré par du Javascript qui pourrait être à l'intérieur (et vous conforter sur l'existence de ces données dans ce qui a été lu).

- W

Cadeau :

Code:

1
2
3
4
5
6
7
8
9
10
11
from bs4 import BeautifulSoup
import urllib.request
page=urllib.request.urlopen("http://forum.doctissimo.fr/medicaments/Neuroleptiques/souhaite-arreter-vousdes-sujet_953_1.htm")
soupe = BeautifulSoup(page, 'lxml')
 
elem1 = soupe.find_all('div', attrs={'itemprop': 'text'})
#print(elem1)
for elem2 in elem1:
    print("-"*50)
    print(elem2.text)
    print("-"*50)

Citation:

Envoyé par marco056

Cadeau :

Code:

1
2
3
4
5
6
7
8
9
10
11
from bs4 import BeautifulSoup
import urllib.request
page=urllib.request.urlopen("http://forum.doctissimo.fr/medicaments/Neuroleptiques/souhaite-arreter-vousdes-sujet_953_1.htm")
soupe = BeautifulSoup(page, 'lxml')
 
elem1 = soupe.find_all('div', attrs={'itemprop': 'text'})
#print(elem1)
for elem2 in elem1:
    print("-"*50)
    print(elem2.text)
    print("-"*50)

merci :P c'est impeccable !