Beautiful soup et regex

Bonjour à tous,
je tente de récupérer les données d'un tableau d'une page web. J'ai cru comprendre que Beautiful soup était un outil pour ce genre de manip.
Je souhaiterais créer une liste par ligne du tableau avec les valeurs numériques dans l'idéal. voici ce que j'ai :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
from bs4 import BeautifulSoup
import re
 
info = """
<tr>
                
                <th style="font-size:1.25em">
                    <span class="tipsy-trigger" original-title="Heure réelle d'émission :&lt;br /&gt;02/08/2020&lt;br /&gt;&lt;b&gt;00h00 UTC&lt;/b&gt;">02h00</span>                </th>
 
                
                
                <td style="/*background-color:rgba(0,0,0,0.1)*/"><span title="" class="" style="font-weight:bold;display:inline-block;font-size:16px">17.3</span> <span class="tab-units-v">°C</span><span class="color-heatmap" style="background-color:rgb(255,211,30)"></span></td><td style="padding-left:8px; padding-right:8px;"></td><td style="/*background-color:rgba(0,0,0,0.1)*/">0 <span class="tab-units-v">mm/1h</span><span class="color-heatmap" style="background-color:rgb(255,255,255)"></span><br><a href="javascript:void(0)" style="opacity:0.3;" class="tipsy-trigger button-rr-pluvio" original-title="&lt;table class='minitable-details' style='table-layout:fixed'&gt;&lt;tr&gt;&lt;td&gt;&lt;b&gt;Pluie/24h :&lt;/b&gt;&lt;/td&gt;&lt;td&gt;1.4mm&lt;/td&gt;&lt;/tr&gt;&lt;/table&gt;"><span></span></a></td><td style="padding-left:20px; white-space: nowrap;"><span style="font-weight:bold">0</span> <span class="tab-units-v">m/s</span><br><span class="tab-units-v">raf.</span><span style="font-weight:bold">0</span>                            <div style="position: absolute; left:0px; top:50%; margin-top:-10px; height:20px; width:20px; background-image:url(//static.infoclimat.net/images/pictos_vent2/sprite.png); background-position: 240px 0px" class="tipsy-trigger" original-title="Vent de direction 7°">
                            </div></td><td style="/*background-color:rgba(0,0,0,0.1)*/"><span style="font-weight:bold;display:inline-block">96</span><span class="tab-units-v">%</span><span class="color-heatmap" style="background-color:rgb(4,129,175)"></span></td><td></td><td style="/*background-color:rgba(0,0,0,0.1)*/"><span style="font-weight:bold;display:inline-block">16.7</span> <span class="tab-units-v">°C</span><span class="color-heatmap" style="background-color:rgb(255,223,22)"></span></td><td>1019.1<span class="tab-units-v">hPa</span><span class="color-heatmap" style="background-color:rgb(239,255,51)"></span><br>=</td>            </tr>
                        <tr>
                
                <th style="font-size:1.25em">
                    <span class="tipsy-trigger" original-title="Heure réelle d'émission :&lt;br /&gt;01/08/2020&lt;br /&gt;&lt;b&gt;23h30 UTC&lt;/b&gt;">01h30</span>                </th>
 
                
                
                <td style="/*background-color:rgba(0,0,0,0.1)*/"><span title="" class="" style="font-weight:bold;display:inline-block;font-size:16px">17.4</span> <span class="tab-units-v">°C</span><span class="color-heatmap" style="background-color:rgb(255,209,31)"></span></td><td style="padding-left:8px; padding-right:8px;"></td><td style="/*background-color:rgba(0,0,0,0.1)*/"></td><td style="padding-left:20px; white-space: nowrap;"><span style="font-weight:bold">0</span> <span class="tab-units-v">m/s</span><br><span class="tab-units-v">raf.</span><span style="font-weight:bold">0</span>                            <div style="position: absolute; left:0px; top:50%; margin-top:-10px; height:20px; width:20px; background-image:url(//static.infoclimat.net/images/pictos_vent2/sprite.png); background-position: 240px 0px" class="tipsy-trigger" original-title="Vent de direction 7°">
                            </div></td><td style="/*background-color:rgba(0,0,0,0.1)*/"><span style="font-weight:bold;display:inline-block">96</span><span class="tab-units-v">%</span><span class="color-heatmap" style="background-color:rgb(4,129,175)"></span></td><td></td><td style="/*background-color:rgba(0,0,0,0.1)*/"><span style="font-weight:bold;display:inline-block">16.7</span> <span class="tab-units-v">°C</span><span class="color-heatmap" style="background-color:rgb(255,223,22)"></span></td><td>1019.6<span class="tab-units-v">hPa</span><span class="color-heatmap" style="background-color:rgb(246,255,25)"></span><br><img class="tipsy-trigger" style="height:12px" src="https://static.infoclimat.net/images/v5.2/down.png" alt="baisse" original-title="-0.3 hPa/3h"></td>            </tr>
                        <tr>
                
                <th style="font-size:1.25em">
                    <span class="tipsy-trigger" original-title="Heure réelle d'émission :&lt;br /&gt;01/08/2020&lt;br /&gt;&lt;b&gt;23h00 UTC&lt;/b&gt;">01h00</span>                </th>
 
                
                
                <td style="/*background-color:rgba(0,0,0,0.1)*/"><span title="" class="" style="font-weight:bold;display:inline-block;font-size:16px">17.6</span> <span class="tab-units-v">°C</span><span class="color-heatmap" style="background-color:rgb(255,206,34)"></span></td><td style="padding-left:8px; padding-right:8px;"></td><td style="/*background-color:rgba(0,0,0,0.1)*/">0 <span class="tab-units-v">mm/1h</span><span class="color-heatmap" style="background-color:rgb(255,255,255)"></span></td><td style="padding-left:20px; white-space: nowrap;"><span style="font-weight:bold">0</span> <span class="tab-units-v">m/s</span><br><span class="tab-units-v">raf.</span><span style="font-weight:bold">0</span>                            <div style="position: absolute; left:0px; top:50%; margin-top:-10px; height:20px; width:20px; background-image:url(//static.infoclimat.net/images/pictos_vent2/sprite.png); background-position: 240px 0px" class="tipsy-trigger" original-title="Vent de direction 7°">
                            </div></td><td style="/*background-color:rgba(0,0,0,0.1)*/"><span style="font-weight:bold;display:inline-block">96</span><span class="tab-units-v">%</span><span class="color-heatmap" style="background-color:rgb(4,129,175)"></span></td><td></td><td style="/*background-color:rgba(0,0,0,0.1)*/"><span style="font-weight:bold;display:inline-block">17.2</span> <span class="tab-units-v">°C</span><span class="color-heatmap" style="background-color:rgb(255,213,29)"></span></td><td>1019.9<span class="tab-units-v">hPa</span><span class="color-heatmap" style="background-color:rgb(246,255,25)"></span><br>=</td>            </tr>
                        <tr>
                
</body>
</html>
"""
soup = BeautifulSoup(info,features="html.parser")
heure = list()
#heure, temperature, vitesse vent, vitesse raffale, direction, humidité, pt rosée, pression
 
count = 0
for p in soup.find_all('div'):
    print(count,p)
    print(re.findall('direction.*?style', p.text))
 
    count+=1
print(soup.get_text())

je récupére donc ceci :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
0 <div class="tipsy-trigger" original-title="Vent de direction 7°" style="position: absolute; left:0px; top:50%; margin-top:-10px; height:20px; width:20px; background-image:url(//static.infoclimat.net/images/pictos_vent2/sprite.png); background-position: 240px 0px">
</div>
[]
1 <div class="tipsy-trigger" original-title="Vent de direction 7°" style="position: absolute; left:0px; top:50%; margin-top:-10px; height:20px; width:20px; background-image:url(//static.infoclimat.net/images/pictos_vent2/sprite.png); background-position: 240px 0px">
</div>
[]
2 <div class="tipsy-trigger" original-title="Vent de direction 7°" style="position: absolute; left:0px; top:50%; margin-top:-10px; height:20px; width:20px; background-image:url(//static.infoclimat.net/images/pictos_vent2/sprite.png); background-position: 240px 0px">
</div>
[]
 
 
 
02h00 
17.3 °C0 mm/1h0 m/sraf.0 
96%16.7 °C1019.1hPa= 
 
 
01h30 
17.4 °C0 m/sraf.0 
96%16.7 °C1019.6hPa 
 
 
01h00 
17.6 °C0 mm/1h0 m/sraf.0 
96%17.2 °C1019.9hPa=

Je souhaite donc avoir ceci, une liste de tuple par ligne:

Code:

[('02h00', '17.3 °C', '0 mm/1h', '0 m/s', 'raf.0 ', '7°', '96%', '16.7 °C', '1019.1hPa'), ('01h30', '17.4 °C', '0 mm/1h', '0 m/s', 'raf.0 ', '7°', '96%', '16.7 °C', '1019.6hPa'), ('01h00', '17.6 °C', '0 mm/1h', '0 m/s', 'raf.0 ', '7°', '96%', '17.2 °C', '1019.9hPa')]

A savoir que la direction est la légende d'une image que je tente d'isoler avec un regex.
Ma première question est : suis sur la bonne voie ?
Ma deuxième est : si oui, de quelle manière puis isoler mes valeurs numériques pour construire mes tuples de préférence sans les unités ^^.

Je cherche dans la doc de beautifulsoup sans trouver ou comprendre quelles autres méthodes utiliser...
Je me casse les dents sur le regex aussi.

merci de vos retours

salut,

en cherchant les tr au lieu des div ça fonctionne un peu mieux en l'occurrence

Code:

1
2
for count, p in enumerate(soup.find_all('tr')):
    print(count, p.get_text(separator=' ').split())

ce qui donne ça :

Code:

1
2
3
4
0 ['02h00', '17.3', '°C', '0', 'mm/1h', '0', 'm/s', 'raf.', '0', '96', '%', '16.7', '°C', '1019.1', 'hPa', '=']
1 ['01h30', '17.4', '°C', '0', 'm/s', 'raf.', '0', '96', '%', '16.7', '°C', '1019.6', 'hPa']
2 ['01h00', '17.6', '°C', '0', 'mm/1h', '0', 'm/s', 'raf.', '0', '96', '%', '17.2', '°C', '1019.9', 'hPa', '=']
3 []

avec lequel tu dois pouvoir retomber facilement sur tes pattes

hello,
Aerulus_ ta chaîne html qui semble être une partie extraite d'une page html, n'est pas correcte. En effet à la fin on a :
Code:

1 2 3 4 </tr> </body> </html>
des balises fermantes sans leurs balises ouvrantes. Ceci produit une ligne en trop dans le résultat du code de BufferBob :

Citation:

3[]

Tu n'as pas besoin d'utiliser d'expressions régulières pour récupérer la direction du vent sur chacune des lignes de la table.
Dans ces lignes la direction du vent est dans une balise div. Avec BeautifulSoup, il suffit de récupérer cette balise div et d'en extraire le contenu de l'attribut original-title
En reprenant le code de BufferBob voici comment faire :
Code:

1 2 3 4 5 6 7 8 9 10 11 count = 0 for count, p in enumerate(soup.find_all('tr')): # on cherche le div dans les tr (direction du vent) div_dir_vent = p.find("div") # on récupère le contenu de l'attribut original-title du div if div_dir_vent is not None: dir_vent = div_dir_vent.get('original-title') else: dir_vent = '?' print(count, p.get_text(separator=' ').split(), dir_vent) #
et voici le résultat :

Citation:

0 ['02h00', '17.3', '°C', '0', 'mm/1h', '0', 'm/s', 'raf.', '0', '96', '%', '16.7', '°C', '1019.1', 'hPa', '='] Vent de direction 7°
1 ['01h30', '17.4', '°C', '0', 'm/s', 'raf.', '0', '96', '%', '16.7', '°C', '1019.6', 'hPa'] Vent de direction 7°
2 ['01h00', '17.6', '°C', '0', 'mm/1h', '0', 'm/s', 'raf.', '0', '96', '%', '17.2', '°C', '1019.9', 'hPa', '='] Vent de direction 7°

Ami calmant, J.P

Bonjour tous les deux,
c'est super...
Citation:
Envoyé par BufferBob
salut,

en cherchant les tr au lieu des div ça fonctionne un peu mieux en l'occurrence
Code:

1 2 for count, p in enumerate(soup.find_all('tr')): print(count, p.get_text(separator=' ').split())
Effectivement les [c]tr[/] permettent de tout récupérer, je n'arrivais simplement pas à utiliser p.get_text() ou pas de manière efficace.
Citation:
Envoyé par jurassic pork
hello,
Aerulus_ ta chaîne html qui semble être une partie extraite d'une page html, n'est pas correcte. En effet à la fin on a :
Code:

1 2 3 4 </tr> </body> </html>
des balises fermantes sans leurs balises ouvrantes. Ceci produit une ligne en trop dans le résultat du code de BufferBob
Oui jurassic pork, tu as entierement raison, j'ai tronquer le code de la page à la sauvage pour l'exemple. Avec le code complet de la page il n'y a pas le [] vide.
Et je n'avais pas non plus pensé à directement extraire l'attribut du div, bien plus simple que ma démarche avec les regex.
J'ai effectivement grace à vous les éléments pour tracer les info de la page.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 donnee = list() for count, p in enumerate(soup.find_all('tr')): # on cherche le div dans les tr (direction du vent) div_dir_vent = p.find("div") # on récupère le contenu de l'attribut original-title du div if div_dir_vent is not None: dir_vent = div_dir_vent.get('original-title') else: dir_vent = '?' #print(count, p.get_text(separator=' ').split(), dir_vent) if dir_vent:#permet de filtreer la premiere ligne (ligne des titres) #print(re.findall('\d+', str(dir_vent))[0])#extraction de la valeur numérique de la direction donnee.append((count, p.get_text(separator=' ').split(), re.findall('\d+', str(dir_vent))[0]))#recuperation de toutes les donnees isolees dans une liste
cool,cool,cool.
Merci