extraire valeur entre balises

**Christelle_B** · 15/09/2022, 11h11

Bonjour à tous,

Je découvre avec émerveillement la programmation. J'ai choisi Python et Pycharm.
Pour mon premier programme (dans un cadre pro mais ce n'est pas du tout mon métier à la base), je souhaite aller récupérer les données d'un site web pour les restituer en fichier excel.

Je n'arrive pas à trouver comment extraire le texte (que j'ai mis en rouge) de cette ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

<div class="Formation-nextsession"><b>Prochaine session :</b> Entrée sur demande</div> <div class="Formation-details">

Mon code est :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

prochaine_session = liste.find('div', class_='Formation-nextsession')

mais bien sur je me trouve avec le résultat suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
<div class="Formation-nextsession"><b>Prochaine session :</b> Entrée sur demande</div> <div class="Formation-details">
<img alt="Picto map marker" src="/themes/custom/c2rp/pictos/map_marker_grey.svg"/>
<span>Laon</span>
<span class="divider"></span>
<img alt="Picto horaire" src="/themes/custom/c2rp/pictos/clock.svg"/>
<span>
        Total : <b>200h</b>
</span>
</div>

Nota : je vais aussi avoir besoin du nombre d'heures (en vert) et de la ville (en bleu)

Surement l'un de vous pourra m'accompagner pour m'aider à trouver la solution, pour les autres lignes, j'ai tout bien compris et cela fonctionne comme je le souhaite.

Merci à vous et bonne journée
Christelle_B

**Sve@r** · 15/09/2022, 11h34

Bonjour

Envoyé par Christelle_B

Mon code est : prochaine_session = liste.find('div', class_='Formation-nextsession')mais bien sur je me trouve avec le résultat suivant...

Bien sûr bien sûr c'est un peu vite dit. C'est quoi "liste"? Son type? Que contient-elle? Comment elle a été créée? Ce ne peut pas être un str car la méthode str.find() ne prend pas de mot clef en paramètre (donc on ne peut pas écrire "class_="). Donc il s'agit d'une autre méthode find() mais si tu ne dis pas de quel objet elle provient on ne pourra pas grand chose.
Ce qui te semble évident ne l'est pas pour ceux qui ne connaissent pas le contexte...

PS: nommer sa variable "liste" alors qu'il existe le type "list" n'aide pas à la clarté du code...

**Christelle_B** · 15/09/2022, 13h04

Bonjour Sve@r

je ne sais pas si cela peut aider davantage, voici le code complet :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
import requests
from bs4 import BeautifulSoup
from csv import writer
 
#C2RP - financeur : Conseil Régional / Niveau : tous sauf 1 / Caractéristiques : Formations certifiantes
 
url = "https://formations-en-hauts-de-france.c2rp.fr/recherche/resultats?size=20&type=FC&radius=100&financeurs=Conseil+R%C3%A9gional+Hauts-de-France%7CConseil%20R%C3%A9gional%20Hauts-de-France&niveaux=2%7C3%7C4%7C5%7C6%7C7%7C8%7C9%7C0&caracteristiques=FL_FOR_CER&query=&codePostal="
page = requests.get(url)
 
 
#links_with_text = []
soup = BeautifulSoup(page.content, 'html.parser')
listes = soup.find_all('article', class_="Formation")
 
#with open('housing.csv', 'w', encoding='utf8', newline='') as f:
#    thewriter = writer(f)
#    header = ['Intitule', 'OF', 'Session', 'Prochaine Session', 'Ville', 'Duree']
 
 
for liste in listes :
#    intitule = liste.find('a', href=True).text.replace('\n', '')
#   of = liste.find('div', class_='Formation-organism').text.replace('\n', '')
#   session = liste.find('div', class_='Formation-sessions').text.replace('\n', '')
    prochaine_session = liste.find('div', class_='Formation-nextsession')
 
#   ville = liste.find('div', class_="Formation-details")
#   duree = liste.find('div', class_="Formation-details")
 
    info = [prochaine_session]
    print(info)

A ce stade, j'ai "neutralisé" les lignes "Formation-details" car j'ai le même problème avec la ligne prochaine session. Voici que ce je renvoie :

[<div class="Formation-nextsession"><b>Prochaine session :</b> Entrée sur demande</div>]

Et je voudrais le texte en rose uniquement

Merci !

**Sve@r** · 15/09/2022, 13h41

Envoyé par Christelle_B

je ne sais pas si cela peut aider davantage, voici le code complet :

Tu ne sais pas si offrir aux intervenants la possibilité de recopier le code pour le tester chez eux ça peut aider???

Tu devrais te balader sur le forum voir comment les autres font quand ils veulent exposer leur problème...

Donc ça sert par exemple à voir que "prochaine_session" est un bs4.element.Tag (print(type(prochaine_session)) ce qui permet ensuite, sans même connaitre BeautifulSoup (mais connaissant tout de même Python ce qui est la raison pour laquelle tu es venue ici) de regarder ce qu'un elementTag a à offrir (print(dir(prochaine_session)) pour voir qu'il y a un attribut nommé "strings" qui semble de par son nom assez intéressant.
De là l'intervenant tape print(prochaine_session.strings) et il voit que c'est un générateur. Ok tu ne sais pas ce qu'est un générateur mais un jour tu le sauras mais au-moins l'intervenant à qui tu montres ton code lui il le sait donc là il tape print(tuple(prochaine_session.strings)) et là il voit apparaitre ('Prochaine session :', ' Entrée sur demande') ce qui semble correspondre au besoin exposé.

Accessoirement ça sert aussi à voir que certaines instructions sont peu utiles, telle info = [prochaine_session] (pourquoi en effet créer une liste avec un seul élément, liste qui ne sera ensuite jamais mise à jour...

) ce qui ne peut que t'améliorer dans ce langage.

Voilà. tout ça c'est simplement parce que tu as eu la prévoyance de bien vouloir montrer ton code.

Ensuite, l'intervenant te conseillera de tout de même aller lire la doc de BeautifulSoup car il sait de par son expérience que lire une doc, même si c'est rébarbatif, ça aide ensuite à trouver plus rapidement ses propres solutions à ses besoins.

Et (dernier détail), un code se met entre balises [code] et [/code] pour qu'il ressorte comme code et non pas comme simple texte. C'est peut-être pas utile dans les autres langages mais en python où les tabulations sont primordiales, ça aide aussi un peu (et c'est écrit dans les règles).

**jurassic pork** · 15/09/2022, 14h19

hello,
à tester :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
import requests
from bs4 import BeautifulSoup
from csv import writer
#C2RP - financeur : Conseil Régional / Niveau : tous sauf 1 / Caractéristiques : Formations certifiantes
url = "https://formations-en-hauts-de-france.c2rp.fr/recherche/resultats?size=20&type=FC&radius=100&financeurs=Conseil+R%C3%A9gional+Hauts-de-France%7CConseil%20R%C3%A9gional%20Hauts-de-France&niveaux=2%7C3%7C4%7C5%7C6%7C7%7C8%7C9%7C0&caracteristiques=FL_FOR_CER&query=&codePostal="
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')
listes = soup.find_all('article', class_="Formation")
for liste in listes :
     prochaine_session = liste.find('div', class_='Formation-nextsession')
     villeHeures = liste.find(['div'], class_='Formation-details')
     if prochaine_session is not None:
         #print(prochaine_session.text)
         print(prochaine_session.text.replace('Prochaine session : ',''))
     if villeHeures is not None:
         print(villeHeures.text.strip())
     print('============================')

Résultat partiel (début) :

Entrée sur demande
Calais

Total : 200h
============================
Entrée sur demande
Albert

Total : 840h
dont
280h entreprise
============================

Les différents problèmes :
1 - il n'y a pas les titres des formations -> tu n'as pas demandé de les extraire
2 - il faut "nettoyer" la partie villeHeures
3 - Avec les paramètres de ta requête (size=20) tu n'as que 20 résultats par page donc il y plus d'une centaine de pages. Tu peux essayer de mettre size=3000 pour avoir tous les résultats sur une seule page mais pas sûr que cela passe.

Ami calmant, J.P

**Christelle_B** · 15/09/2022, 18h57

Grand merci à tous les deux.

J'en suis là de mes résultats :

Titre professionnel agent(e) de montage et de câblage en électronique
AKXIA Villeneuve d'Ascq
1  session disponible
Entrée sur demande
Saint-Quentin



        Total : 735h
                  dont
          210h entreprise

Il me faut maintenant trouver comment faire la boucle sur l'ensemble des pages de résultat (pour l'instant je n'ai le résultat que de la première page).

**jurassic pork** · 15/09/2022, 19h45

Envoyé par Christelle_B

Grand merci à tous les deux.
Il me faut maintenant trouver comment faire la boucle sur l'ensemble des pages de résultat (pour l'instant je n'ai le résultat que de la première page).

comme je l'indiquais précédemment :

3 - Avec les paramètres de ta requête (size=20) tu n'as que 20 résultats par page donc il y plus d'une centaine de pages. Tu peux essayer de mettre size=3000 pour avoir tous les résultats sur une seule page mais pas sûr que cela passe.

tu peux essayer :

url = "https://formations-en-hauts-de-france.c2rp.fr/recherche/resultats?size=3000&type

**Christelle_B** · 16/09/2022, 12h11

Bonjour Jurassic Pork,

Avant de tester la boucle sur l'ensemble des pages, j'aimerai comprendre le code suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
 villeHeures = liste.find(['div'], class_ = 'Formation-details')
 
    if prochaine_session is not None:
         #print(prochaine_session.text)
 
            print(prochaine_session.text.replace('Prochaine session :','').strip())
 
    if villeHeures is not None:
        print(villeHeures.text.strip())

tu "neutralises" le premier print : #print(prochaine_session.text), ce qui renvoie au résultat que tu m'as fourni. Jusque là tout va bien. J'aimerais cependant pouvoir avoir le résultat sous cette forme (celle qui m'est proposée avec le code suivant)
['CQPM opérateur(trice) en maintenance industrielle', "GRETA GRAND HAINAUT - Groupement d'Etablissements Public de l'Education Nationale", '1 session disponible', 'le 05/12/2022', 'Aulnoye-Aymeries\n\n\n\n Total : 580h\n dont\n 280h entreprise']

Or en laissant la neutralisation (je ne sais pas si c'est le bon terme...), j'obtiens :

["Titre professionnel technicien d'après-vente en électroménager et audiovisuel à domicile", 'ID Formation Site de Denain', '1 session disponible', 'Entrée sur demande', 'Valenciennes\n\n\n\n Total : 980h\n dont\n 140h entreprise']
Entrée sur demande
Hénin-Beaumont

Total : 700h
dont
210h entreprise

mon code est :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
 
 
#links_with_text = []
#soup = BeautifulSoup(page.content, 'html.parser')
listes = soup.find_all('article', class_="Formation")
 
#with open('housing.csv', 'w', encoding='utf8', newline='') as f:
#   thewriter = writer(f)
#   header = ['Intitule', 'OF', 'Session', 'Prochaine Session', 'Ville', 'Duree']
 
 
for liste in listes :
    intitule = liste.find('a', href=True).text.strip()
    #print(intitule)
    of = liste.find('div', class_='Formation-organism').text.strip()
    #print(of)
    session = liste.find('div', class_='Formation-sessions').text.strip()
    #print(session)
    prochaine_session = liste.find('div', class_='Formation-nextsession')
    villeHeures = liste.find(['div'], class_ = 'Formation-details')
 
    if prochaine_session is not None:
         #print(prochaine_session.text)
 
            print(prochaine_session.text.replace('Prochaine session :','').strip())
 
    if villeHeures is not None:
        print(villeHeures.text.strip())
 
 
    info = [intitule, of, session, prochaine_session.text.replace('Prochaine session :','').strip(), villeHeures.text.strip()]
    print(info)

Tu peux m'aider encore un peu ?
Merci à toi

**jurassic pork** · 16/09/2022, 13h09

Hello,
la "Neutralisation" servait à ne pas d'avoir d'exception quand il n'y avait pas de résultat pour le find (objet à None) .
Voici un code qui pour chaque champ teste si il y a un résultat, si il n'y a pas de résultat met la chaîne résultat à vide :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
import requests
from bs4 import BeautifulSoup
url = "https://formations-en-hauts-de-france.c2rp.fr/recherche/resultats?size=100&type=FC&radius=100&financeurs=Conseil+R%C3%A9gional+Hauts-de-France%7CConseil%20R%C3%A9gional%20Hauts-de-France&niveaux=2%7C3%7C4%7C5%7C6%7C7%7C8%7C9%7C0&caracteristiques=FL_FOR_CER&query=&codePostal="
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')
listes = soup.find_all('article', class_="Formation")
for liste in listes :
    if liste.find('a', href=True) is not None:
        intitule = liste.find('a', href=True).text.strip()
    else:
        intitule = ""
    if liste.find('div', class_='Formation-organism') is not None:
        of = liste.find('div', class_='Formation-organism').text.strip()
    else:
        of = ""
    if liste.find('div', class_='Formation-organism') is not None:
        session = liste.find('div', class_='Formation-sessions').text.strip()
    else:
        session = ""
    if liste.find('div', class_='Formation-nextsession') is not None:
        prochaine_session = liste.find('div', class_='Formation-nextsession').text.strip()
    else:
        prochaine_session = ""
    if liste.find(['div'], class_='Formation-details') is not None:
        villeHeures = liste.find(['div'], class_ = 'Formation-details').text.strip()
    else:
        villeHeures = ""
    info = [intitule, of, session, prochaine_session, villeHeures]
    print(info)

Pour que cela soit plus lisible quand tu mets du code, utilise les balises de CODE (cliquer sur le bouton #)

Ami calmant, J.P

**Christelle_B** · 16/09/2022, 13h47

Waohouuuuu !!

Tu es mon héros !!

Voici le résultat :

'Titre professionnel menuisier poseur-installateur', "GRETA GRAND HAINAUT - Groupement d'Etablissements Public de l'Education Nationale", '1 session disponible', 'Prochaine session : le 21/11/2022', 'Cambrai Total : 840h dont 210h entreprise']
['Titre professionnel agent(e) de montage et de câblage en électronique', "AKXIA Villeneuve d'Ascq", '1 session disponible', 'Prochaine session : Entrée sur demande', 'Saint-Quentin Total : 735h dont 210h entreprise']
["Titre professionnel ouvrier du paysage + CQP ouvrier(ère) Qualifié(e) conducteur(trice) d’engins agricoles + CAP agricole métiers de l'agriculture", 'CFPPA-UFA de Thiérache', '1 session disponible', 'Prochaine session : Entrée sur demande', 'Vervins Total : 1820h dont 560h entreprise']
['MS Community manager', 'PROMEO AFDE PICARDIE Beauvais', '1 session disponible', 'Prochaine session : Entrée sur demande', 'Beauvais Total : 385h dont 105h entreprise']

Je poursuis !

extraire valeur entre balises

Python

Discussions similaires

Partager

Partager