Discussion :

[lackdark]

Bonjour,
j'essaie actuellement de collecter tous les messages et les id de ces messages d'un forum: http://forum.doctissimo.fr/medicamen...ujet_953_1.htm
j'ai réussi à le faire avec des messages normaux(i.e qui sont pas une réponse d'un autre message) et je sais pas comment le faire pour les autres messages voila un exemple du message



et voila mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
from bs4 import BeautifulSoup
from a import *
import urllib.request
page=urllib.request.urlopen("http://forum.doctissimo.fr/medicaments/Neuroleptiques/souhaite-arreter-vousdes-sujet_953_1.htm")
strpage=page.read().decode(page.headers.get_content_charset())
soup=BeautifulSoup(strpage,'lxml')
 
 
u=soup.prettify()
v=soup.find_all('div','post_content')
 
for i in range(len(v)):
    x=unidecode(v[i].contents[0].contents[0])
    print(x)

voila le resultat de mon code :

comme vous pouvez le voir ca affiche les messages "normaux" mais pas les autres.

[wiztricks]

Salut,

je sais pas comment le faire pour les autres messages voila un exemple du message

C'est un travail qui demande de décortiquer la structure de la page HTML pour y trouver sur quelles balises, attributs,... appeler ".find_all" (ou autre) pour trier.
Pas grand monde fera ce boulot (un peu galère) à votre place.

La seule suggestion que je peux vous faire est de sauvegarder la page HTML dans un fichier et de relire le fichier avec votre navigateur pour voir le contenu ramené par request.urlopen. Ca va éliminer ce qui est récupéré par du Javascript qui pourrait être à l'intérieur (et vous conforter sur l'existence de ces données dans ce qui a été lu).

- W

[marco056]

Cadeau :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
from bs4 import BeautifulSoup
import urllib.request
page=urllib.request.urlopen("http://forum.doctissimo.fr/medicaments/Neuroleptiques/souhaite-arreter-vousdes-sujet_953_1.htm")
soupe = BeautifulSoup(page, 'lxml')
 
elem1 = soupe.find_all('div', attrs={'itemprop': 'text'})
#print(elem1)
for elem2 in elem1:
    print("-"*50)
    print(elem2.text)
    print("-"*50)

[lackdark]

Cadeau :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
from bs4 import BeautifulSoup
import urllib.request
page=urllib.request.urlopen("http://forum.doctissimo.fr/medicaments/Neuroleptiques/souhaite-arreter-vousdes-sujet_953_1.htm")
soupe = BeautifulSoup(page, 'lxml')
 
elem1 = soupe.find_all('div', attrs={'itemprop': 'text'})
#print(elem1)
for elem2 in elem1:
    print("-"*50)
    print(elem2.text)
    print("-"*50)

merci c'est impeccable !