Problème de scraping sur un texte d'une page web

**K2carca** · 02/02/2023, 09h52

Bonjour à vous,

je fais appel à vous car je n'arrive pas à trouver une solution à mon problème malgré plusieurs jours de tentative.

J'essaie de scraper une page web (https://aviation-safety.net/wikibase/299753) dans laquelle je desire récupérer le texte ATSB Ref 202001462 (voir le bout HTML de la page ci dessous.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
 
<!-- startrecord -->
 
<table>
<tbody><tr><td class="caption">Date:</td><td class="caption">30-MAR-2020</td></tr>
<tr><td class="caption">Time:</td><td class="desc"></td></tr> 
<tr><td class="caption" valign="bottom">Type:</td><td class="desc">DJI Phantom 4 PRO</td></tr>
<tr><td class="caption">Owner/operator:</td><td class="desc"></td></tr>
<tr><td class="caption">Registration:</td><td class="desc"> </td></tr>
<tr><td class="caption">MSN:</td><td class="desc"> </td></tr>
<tr><td class="caption">Fatalities:</td><td class="desc">Fatalities: 0 / Occupants: 0</td></tr>
<tr><td class="caption">Other fatalities:</td><td class="desc">0</td></tr> 
 
<tr><td class="caption">Aircraft damage:</td><td class="desc"> Substantial</td></tr>
<tr><td class="caption">Category:</td><td class="desc">Accident</td></tr> 
 
<tr><td valign="top" class="caption">Location:</td><td class="desc">Georges River National Park, NSW - 
	<img src="/database/country/flags_15/VH.gif"> &nbsp; <a href="/wikibase/dblist.php?Country=VH">Australia</a>
 
	 </td></tr>
<tr><td class="caption">Phase:</td><td class="desc"> Unknown</td></tr>
<tr><td class="caption">Nature:</td><td class="desc">Unknown</td></tr>
<tr><td class="caption">Departure airport:</td><td class="desc"></td></tr>
<tr><td class="caption"><nobr>Destination airport:</nobr></td><td class="desc"></td></tr>
 
 
<tr><td class="caption">Confidence Rating:</td><td class="desc"><img src="/wikibase/CR2.svg" width="15" height="15"> Information verified through data from accident investigation authorities</td></tr>
</tbody></table>
 
 
 
 
<span class="caption">Narrative:</span><br><span lang="en-US">During flying training, the remotely piloted aircraft (RPA) banked uncommanded and collided with terrain resulting in substantial damage. It was later determined the forward port rotor had separated from the RPA.</span><br>
<p></p><div class="captionhr">Sources:</div> <br>
 
ATSB Ref 202001462 <br><p></p><p>
<!-- endrecord -->
 
<br>
</p>

voici mon code ci-dessous dans lequel j'aurais tout essayé (enfin je pense depuis 3 jours) sans succès.(attention ceci est le dernier essaie en date dont je sais qu'il retourne une erreur. je rappelle que j'essaie de retirer le texte de cette page ATSB Ref 202001462 et que celui-ci n'est pas le même texte dans une autre page de ce même site.
Il semble que ce texte n'est pas dans encadré par un tag ce qui me surprend d'ailleurs

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
import requests
from bs4 import BeautifulSoup
 
def parse_occurence():
    r = requests.get("https://aviation-safety.net/wikibase/299753")
    soup = BeautifulSoup(r.content, "html.parser")
    sources_text = soup.find_next("div", class_="captionhr").findNext("br").text
    print(sources_text)
parse_occurence()

Pourriez vous m'aider a solutionner mon problème s'il vous plait ?
Par avance merci pour votre aide.

**popo** · 02/02/2023, 12h07

A priori le texte que tu cherches se trouve juste avant le commentaire

Non testé mais tu devrait pouvoir trouver ce commentaire puis la texte avec quelque chose ressemblant à ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
comments = soup.find_all(lambda tag: isinstance(tag, Comment) and "endrecord" in tag.text )
text_node = comments[0].previous_element()

**marco056** · 02/02/2023, 12h34

Solution de débutant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import requests
from bs4 import BeautifulSoup
 
url1 = "https://aviation-safety.net/wikibase/299753"
 
with requests.Session() as session:
    post = session.post(url1)
    contenu1 = post.text
# print(contenu1)
 
soup1 = BeautifulSoup(contenu1, 'html.parser')
 
tab1 = soup1.find_all('table')
 
for el1 in tab1:
    el2 = el1.find_all("td")
    # print(el2)
    for el3 in el2:
        print(el3.text)

**popo** · 02/02/2023, 13h00

marco056,

C'est surtout une solution qui ne répond pas à la demande
L'élément recherché n'est pas dans une table.

**marco056** · 02/02/2023, 22h28

Envoyé par popo

marco056,

C'est surtout une solution qui ne répond pas à la demande
L'élément recherché n'est pas dans une table.

Désolé...

**fred1599** · 02/02/2023, 13h16

Bonjour,

Avec le module lxml,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
from lxml import html
 
def get_line(content):
    tree = html.fromstring(content)
    line = tree.xpath('//text()[contains(.,"ATSB Ref")]')
    if line:
        return line[0].strip()
    return ""

le paramètre content est le contenu sous forme de chaîne de caractères du code HTML.

**K2carca** · 02/02/2023, 14h00

Envoyé par fred1599

Bonjour,

Avec le module lxml,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
from lxml import html
 
def get_line(content):
    tree = html.fromstring(content)
    line = tree.xpath('//text()[contains(.,"ATSB Ref")]')
    if line:
        return line[0].strip()
    return ""

le paramètre content est le contenu sous forme de chaîne de caractères du code HTML.

merci pour cette réponse @fred1599, cependant je n'arrive pas a la tester ! comment puis-je vérifier son bon fonctionnement ?

En effet la réponse de @marco056 n'est pas satisfaisante car ressort bien les éléments de la page mais pas celui que je recherche particulierement.

@popo, je comprends pas ou tu definis la variable Comments dans le bout de code tag: isinstance(tag, Comment)?

**fred1599** · 02/02/2023, 14h05

Envoyé par K2carca

merci pour cette réponse @fred1599, cependant je n'arrive pas a la tester ! comment puis-je vérifier son bon fonctionnement ?

En installant le module,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

pip install lxml

**K2carca** · 02/02/2023, 14h11

Envoyé par fred1599

En installant le module,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

pip install lxml

il est déjà installé..

**popo** · 02/02/2023, 15h57

Envoyé par K2carca

@popo, je comprends pas ou tu definis la variable Comments dans le bout de code tag: isinstance(tag, Comment)?

Lorsqu'on utilise une librairie, la moindre des choses est d'en consulter la documentation.
Il te manque simplement l'import

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

from bs4 import Comment

**K2carca** · 02/02/2023, 15h59

Envoyé par popo

Lorsqu'on utilise une librairie, la moindre des choses est d'en consulter la documentation.
Il te manque simplement l'import

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

from bs4 import Comment

Merci popo pour cette information. et du coup, je suppose que je trouve la documentation de chaque librairie dans python.org?

**popo** · 02/02/2023, 18h57

Envoyé par K2carca

Merci popo pour cette information. et du coup, je suppose que je trouve la documentation de chaque librairie dans python.org?

Non, tu prend tes petites mimines et tu tape dans Google le nom de ta librairie suivi de "documentation". Ici c'est BeautifulSoup donc tu va dans Google et tu recherche "BeautifulSoup documentation" et au miracle la premier résultat est la documentation officielle de cette librairie.

**fred1599** · 02/02/2023, 14h18

Eh bien on pourrait commencer par indiquer l'erreur et la manière dont tu exécutes la fonction...

**K2carca** · 02/02/2023, 14h29

Envoyé par fred1599

Eh bien on pourrait commencer par indiquer l'erreur et la manière dont tu exécutes la fonction...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
 
import requests
from bs4 import BeautifulSoup
from lxml import html
import re
 
def parse_occurence():
    r = requests.get("https://aviation-safety.net/wikibase/299753")
    soup = BeautifulSoup(r.content, "html.parser")
    src = soup.find("div", class_="innertube")
 
 
    info = soup.find("table").text
 
    narrative = soup.find("span", class_="caption").text
 
    synopsis = src.select_one("span[lang='en-US']").text
 
    sources = soup.find("div", class_="captionhr").text
    #ref_sources = soup.find("div", class_="captionhr")
    comments = soup.find_all(lambda tag: isinstance(tag, Comments) and "endrecord" in tag.text)
    ref_sources = comments[0].previous_element()
 
    # Retourne les infos des occurrences
    print(info)
    # Retourne la description de l'occurence
    print(narrative, synopsis)
    # Retourne la source de l'occurence
    print(sources, ref_sources)
 
 
#parse_occurence()
def get_line(content):
    tree = html.fromstring(content)
    line = tree.xpath('//text()[contains(.,"ATSB Ref")]')
    if line:
        return line[0].strip()
    return ""
 
get_line()

voici le code dans lequel j'ai insérer ta fonction.

et voici le message d'erreur

Traceback (most recent call last):
File "/Users/karimbounaji/PycharmProjects/asn_db/scrap_page_occ.py", line 39, in <module>
get_line()
TypeError: get_line() missing 1 required positional argument: 'content'

désolé mais j'ai que très peu d'experience en python. J'apprends et j'avoue qu'un peu d'explication me fait pas mal. Surtout votre aide, pour mieux appréhender ce langage.

**fred1599** · 02/02/2023, 14h34

Envoyé par K2carca

voici le message d'erreur

Traceback (most recent call last):
File "/Users/karimbounaji/PycharmProjects/asn_db/scrap_page_occ.py", line 39, in <module>
get_line()
TypeError: get_line() missing 1 required positional argument: 'content'

Ça indique que la fonction get_line prend un paramètre. Tu n'en as pas mis (parenthèses vides), il faut donc y ajouter le contenu html reçu.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

line = get_line(my_html_content)

Ci-dessus c'est un exemple, il faut adapter à ton code.

**K2carca** · 02/02/2023, 14h45

Envoyé par fred1599

Ça indique que la fonction get_line prend un paramètre. Tu n'en as pas mis (parenthèses vides), il faut donc y ajouter le contenu html reçu.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

line = get_line(my_html_content)

Ci-dessus c'est un exemple, il faut adapter à ton code.

Pardon mais j'ai du mal a saisir a quel endroit je dois mettre la ligne que vous me donnez, et la correspondance pour vous "my html content".
En regardant mon code je ne vois pas a quel endroit j'ai l'equivalent de la variable du contenu sinon ma variable soup qui est egale a (r.content)

**fred1599** · 02/02/2023, 14h49

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
import requests
from lxml import html
 
 
def get_line(content):
    tree = html.fromstring(content)
    line = tree.xpath('//text()[contains(.,"ATSB Ref")]')
    if line:
        return line[0].strip()
    return ""
 
 
r = requests.get("https://aviation-safety.net/wikibase/299753")
print(get_line(r.content))

**K2carca** · 02/02/2023, 15h49

Envoyé par fred1599

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
import requests
from lxml import html
 
 
def get_line(content):
    tree = html.fromstring(content)
    line = tree.xpath('//text()[contains(.,"ATSB Ref")]')
    if line:
        return line[0].strip()
    return ""
 
 
r = requests.get("https://aviation-safety.net/wikibase/299753")
print(get_line(r.content))

d'accord je comprends mieux maintenant d'ou il prends l'information.
je suppose que c'est la commande text()[contains(.,"ATSB Ref3")] dans line = tree.xpath('//text()[contains(.,"ATSB Ref")]')

Merci pour cet élément de réponse.

est-il possible de mettre a la place de ATSB Ref qui est donc un str et remplacer par href comme dans le tag ci dessous ? car parfois dans certaine page j'ai cette balise en lieu et place de ATSB Ref
<a href="https://southfront.org/libyan-national-army-shot-down-another-turkish-bayraktar-tb2-combat-drone-photo/" target="_blank">https://southfront.org/libyan-national-army-shot-down-another-turkish-bayraktar-tb2-combat-drone-photo/</a>

je veux dire par la avec cette ligne de commande peut on dire "regarde s'il y a ATSB ref ou autre chose" ?

**fred1599** · 02/02/2023, 16h18

Envoyé par K2carca

est-il possible de mettre a la place de ATSB Ref qui est donc un str et remplacer par href comme dans le tag ci dessous ? car parfois dans certaine page j'ai cette balise en lieu et place de ATSB Ref
<a href="https://southfront.org/libyan-national-army-shot-down-another-turkish-bayraktar-tb2-combat-drone-photo/" target="_blank">https://southfront.org/libyan-national-army-shot-down-another-turkish-bayraktar-tb2-combat-drone-photo/</a>

je veux dire par la avec cette ligne de commande peut on dire "regarde s'il y a ATSB ref ou autre chose" ?

Il n'y a que les exemples, le format de ton HTML qui pourront permettre de faire des tests par la suite avec cette fonction.

Dans le cas présent, on recherche un texte... mais testes, vérifie si c'est fonctionnel et si non, présente tes difficultés sur le forum.

**K2carca** · 02/02/2023, 16h44

Envoyé par fred1599

Il n'y a que les exemples, le format de ton HTML qui pourront permettre de faire des tests par la suite avec cette fonction.

Dans le cas présent, on recherche un texte... mais testes, vérifie si c'est fonctionnel et si non, présente tes difficultés sur le forum.

Merci pour la réponse.
j'ai implémenté avec une boucle if mon code afin que mon programme me sorte le texte si la fonction que tu m'as fourni retourne le texte sinon autre chose si la fonction retourne "".
Il ne me restera qu'a traiter le cas ou il n'y rien dans tous les cas. Pour ca je pense que je vais m'en sortir (enfin j'espère )

voici mon code (de débutant) avec votre contribution:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
 
import requests
from bs4 import BeautifulSoup
from lxml import html
 
 
# Récupère la reference de la source si ATSB sinon retourne vide
def get_line(sources):
    tree = html.fromstring(sources)
    line = tree.xpath('//text()[contains(.,"ATSB Ref")]')
    if line:
        return line[0].strip()
    return ""
 
 
# Parse / Recupere les informations de la page
def parse_occurence():
    r = requests.get("https://aviation-safety.net/wikibase/234768")
    soup = BeautifulSoup(r.content, "html.parser")
    src = soup.find("div", class_="innertube")
 
    info = soup.find("table").text
 
    narrative = soup.find("span", class_="caption").text  # récupère Narrative de la page 
 
    synopsis = src.select_one("span[lang='en-US']").text  # récupère le synopsis
 
    sources = soup.find("div", class_="captionhr").text  # récupère le texte Source: de la page
 
# Récupère la référence de la source a l'aide de la fonction get line si ATSB et sinon directement si autre
    sources_ref = None
    result = (get_line(r.content))
 
    if result:
        sources_ref = result
    else:
        result = soup.find("div", class_="captionhr").findNext("a").text
        if result:
            sources_ref = result
 
    # Imprime les infos des occurrences
    print(info)
    # Imprime la description de l'occurence
    print(narrative, synopsis)
    # Imprime la source de l'occurence
    print(sources, sources_ref)
 
 
parse_occurence()

pour information si vous voulez tester, changez le numero a la fin de l'url https://aviation-safety.net/wikibase/234768
par exemple 300768

enfin, presque car maintenant il va falloir que j'integre une fonction qui boucle ce code 1465 fois environ.... (pour chaque url que je trouve )

Problème de scraping sur un texte d'une page web

Python

Vue hybride

Discussions similaires

Partager

Partager