récupérer des données dans un html

Version imprimable

12/07/2021, 19h42
bornich2

1 pièce(s) jointe(s)

récupérer des données dans un html

bonjour,

je suis très novice et je souhaite récupérer des données sur la page web de mes onduleurs photovoltaiques. Pas besoin de se connecter, c'est en local : Pièce jointe 601522

j'ai essayé avec beautifulsoup et des tutos mais je bloque. je n'arrive ni a trouver de points communs aux valeurs a extraire et encore moins la synthaxe ......

il me faudrait récupérer au moins les 6 indications en W (puis, date, heure, etc par la suite) que l'on peut repérer après les numéros d'onduleur suivant :
408000137815-1
408000137815-2
408000139665-1
408000139665-2
408000140762-1
408000140762-2

si quelqu'un pouvait m'aider, ce serait sympa !!!

merci d'avance

Salut,

J'ai beaucoup utilisé Beautifulsoup dans le passé pour parser les pages du site de Arte TV jusqu'au jour où j'ai décidé de m'attaquer eu problème de lenteur de cette librairie.

Et j'ai découvert, avec émerveillement, html.parser, très simple à utiliser et d'une rapidité décoiffante.

Un exemple avec ton fichier que j'ai renommé en html

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
 
from html.parser import HTMLParser
 
FILE = "source.html"
 
class ParseOnduleur(HTMLParser):
    def __init__(self):
        super().__init__(convert_charrefs=True)
        self.onduleurs = []
        self.current = []
        self.in_body = False
        self.in_item = False
        self.in_data = False
 
    def handle_starttag(self, tag, attrs):
        if tag == "body":
            self.in_body = True
 
        elif self.in_body and tag == "tr":
            self.in_item = True
            self.current = []
 
        elif self.in_item and tag == "td":
            self.in_data = True
 
    def handle_endtag(self, tag):
        if tag == "body":
            self.in_body = False
 
        if self.in_item and tag == "tr":
            if self.current:
                self.onduleurs.append(self.current)
 
            self.in_item = False
 
    def handle_data(self, data):
        if self.in_data:
            self.current.append(data)
            self.in_data = False
 
 
if __name__ == "__main__":
    with open(FILE, "r") as inf:
        data = inf.read()
 
    parser = ParseOnduleur()
    parser.feed(data)
    for i in parser.onduleurs:
        print(i)

et ça donne

Code:

1
2
3
4
5
6
7
 
['408000137815-1 ', ' 16 W ', ' 50.0 Hz ', ' 233 V ', ' 20 °C ', ' 2021-07-12 18:17:22\n ']
['408000137815-2 ', ' 16 W ', ' 233 V ']
['408000139665-1 ', ' 16 W ', ' 50.0 Hz ', ' 233 V ', ' 21 °C ', ' 2021-07-12 18:17:22\n ']
['408000139665-2 ', ' 16 W ', ' 233 V ']
['408000140762-1 ', ' 15 W ', ' 50.0 Hz ', ' 233 V ', ' 22 °C ', ' 2021-07-12 18:17:22\n ']
['408000140762-2 ', ' 16 W ', ' 233 V ']

3 pièce(s) jointe(s)

hello,
VinsS le souci avec le tableau qui est contenu dans le fichier html de bornich2, c'est qu'il contient des cellules fusionnées si bien que cela fausse ton extraction de données :

Pièce jointe 601589

avec le module pandas et sa fonction read_html, on peut lire des tableaux qui se trouvent dans des fichiers html, par exemple avec ceci :
Code:

1 2 3 4 5 6 7 8 import pandas as pd pd.set_option('display.max_rows', 6) pd.set_option('display.max_columns', 6) pd.set_option('display.width', 120) html_tables = pd.read_html(r'd:\temp\source.html') df = html_tables[0] df.T # transpose to align print(df)
voici ce que j'obtiens :
Pièce jointe 601592

A noter que le read_html utilise le module lxml qui a un parser avec des performances acceptables.
Voici une comparaison de performance entre différents parser html dans différents langages :

Pièce jointe 601591

Ami calmant, J.P

14/07/2021, 11h24
VinsS

Citation:

Envoyé par jurassic pork

hello,
VinsS le souci avec le tableau qui est contenu dans le fichier html de bornich2, c'est qu'il contient des cellules fusionnées si bien que cela fausse ton extraction de données :

Pièce jointe 601589

Tu es parvenu à l'afficher, moi firefox m'a retourné une page blanche.

Mais bon, les données sont faciles à interpréter surtout que bornich2 en connaît déjà le contenu.
14/07/2021, 13h14
jurassic pork

Citation:

Envoyé par VinsS

Tu es parvenu à l'afficher, moi firefox m'a retourné une page blanche.

j'ai rusé :mouarf: : Moi aussi cela ne m'affichait rien: Pour l'afficher , je n'ai gardé que la partie table du html.
14/07/2021, 17h49
bornich2

Citation:

Envoyé par jurassic pork

j'ai rusé :mouarf: : Moi aussi cela ne m'affichait rien: Pour l'afficher , je n'ai gardé que la partie table du html.

bonjour,

la méthode pandas me plait bien car il y a moins de lignes de code auxquelles je ne comprend pas un traitre mot. J'ai donc déjà réussis a installer pandas sur python3, le début du script ne plante donc pas.

par contre, plutôt que dans un fichier, il me faut fouiner dans la page a l'adresse http://192.168.3.131/index.php/realtimedata comment insérer ca dans le code ?

quant au résultat, peut on mettre chaque valeur dans une variable ? En fait, ce script va tourner sous Jeedom (domotique) et je dois récupérer ces données pour lancer des actions ou non.........

hello,

Citation:

Envoyé par bornich2

par contre, plutôt que dans un fichier, il me faut fouiner dans la page a l'adresse http://192.168.3.131/index.php/realtimedata comment insérer ca dans le code ?

avec le read_html tu peux directement lire dans une page web (si les tables ne sont pas dynamiques c'est à dire générer par des scripts) par exemple :
Code:

1 2 3 4 html_tables = pd.read_html('http://192.168.3.131/index.php/realtimedata', match='Temperature') df = html_tables[0] df.T # transpose to align print(df)
Le paramètre match permet de filtrer la table qui contient en texte la chaîne indiquée. Il faut que cette chaîne ne soit présente que dans la table à filtrer dans le cas où il y a plusieurs tables dans la page.

Citation:

Envoyé par bornich2

quant au résultat, peut on mettre chaque valeur dans une variable ? En fait, ce script va tourner sous Jeedom (domotique) et je dois récupérer ces données pour lancer des actions ou non.........

On peut accéder à un élément de la table par les fonctions at, iat, loc, iloc voici un exemple :
Code:

1 2 3 4 5 6 7 8 # Affichage de la ligne 2 de la colonne 0 (Inverter ID) print(df.iat[2, 0]) # Affichage de la ligne 3 de la colonne Current Power print(df.at[3, "Current Power"]) # On va utiliser la colonne Inverter ID comme index ( il faut que les valeurs soient uniques) df1 = df.set_index("Inverter ID", drop = False) # On peut alors utiliser les valeurs de Inverter ID dans la fonction at print(df1.at["408000139665-1","Temperature"])
Résultats :

Citation:

408000139665-1
16 W
21 °C

Ami calmant, J.P

15/07/2021, 19h34
bornich2

génial !!!!

j'ai donc fais autant de lignes que de données que je souhaite récolter. Maintenant que j'arrive a afficher ce que je souhaite, il me reste a extraire ça du script python pour l'intégrer a ma domotique .....

merci !!!!! un lien sur un tuto simple sur ces fonctions ?