problème scraping page web et table

Bonjour à toutes et tous,

je débute sur python et dans le cadre de mon projet, je souhaite récupérer les occurrences de plusieurs page web d'un site spécifique.
A l'inspection de la page, j'arrive a identifier les tags qui m’intéressent, et dans un premier temps, j'essai, pas à pas, de récupérer la totalité.

Mon souci est que soit je récupère une erreur d'attribut, soit un résultat vide comme ceci [], et je ne comprends pas la raison.

a terme, je souhaite récupérer pour chaque page de chaque année les occurrences, et plus précisément celles des types "UAVs"

Code:

---

1 2 3 4 5 6 7 8 9

import requests from bs4 import BeautifulSoup as bs url = "https://aviation-safety.net/wikibase/dblist.php?Year=2023" page = requests.get(url) soup = bs(page.content, 'html.parser')   tables = soup.find_all("tr", class_="list") print(tables)

---

pourriez vous s'il vous plait m'aider et un peu m'expliquer la raison pour laquelle j'ai comme retour [] alors que la page est pleine ?

par avance merci pour votre réponse.
pythonnement

Hello,
la requête sur ton url renvoie :

Citation:

---

Sorry, something went wrong. You can contact us via info@aviation-safety.net, should the problem persist.

---

le serveur doit détecter que c'est une requête qui provient d'un système automatique et interdit l'accès : il faut peut-être rajouter des paramètres à la requête pour faire croire que celle-ci provient d'un navigateur ou alors utiliser un module comme selenium qui pilote un navigateur.
tu peux essayer :

Code:

---

1 2 3

headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'} url = "https://aviation-safety.net/wikibase/dblist.php?Year=2023" page = requests.get(url,headers=headers)

---

Ami calmant, J.P

bonjour

Citation:

---

Envoyé par jurassic pork

e serveur doit détecter que

---

Le plus simple pour voir s'il y a restriction, est de faire une requête curl dans son terminal ;) et afficher le résultat brut de la requete python (site interdit à certaines signatures ?)
Ici, utiliser requests à la place du standard urllib :weird:

Citation:

---

c'est une requête qui provient d'un système automatique et interdit l'accès : il faut ...

---

:roll:
Si je mets un panneau chez moi "défense d'entrer" c'est pour tout le monde !!! même ceux qui arrivent à rentrer avec un bulldozer.
Après avoir écrit "c'est interdit", dire à une personne qu'elle peut contourner/forcer avec un outil, cela ne te choque pas ?

Citation:

---

Envoyé par jurassic pork

Hello,
la requête sur ton url renvoie :

le serveur doit détecter que c'est une requête qui provient d'un système automatique et interdit l'accès : il faut peut-être rajouter des paramètres à la requête pour faire croire que celle-ci provient d'un navigateur ou alors utiliser un module comme selenium qui pilote un navigateur.
tu peux essayer :

Code:

---

1 2 3

headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'} url = "https://aviation-safety.net/wikibase/dblist.php?Year=2023" page = requests.get(url,headers=headers)

---

Ami calmant, J.P

---

Merci pour vôtre réponse.
En effet, après avoir inséré votre proposition de solution, et ajouter un traitement d'erreur (AttributeError), voici mon code en retour.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

import requests from bs4 import BeautifulSoup as bs   headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'} url = "https://aviation-safety.net/wikibase/dblist.php?Year=2023" page = requests.get(url, headers=headers) soup = bs(page.content, 'html.parser') tables = soup.find_all("tr", class_="list")   #Boucle pour chaque ligne for row in tables: columns = row.find_all("td", class_="list") for column in columns: #Gestion de l'exception AttributeError if column.attribute: print("") #cas si AttributeError else: print(column.text) #cas si ok

---

maintenant, ma prochaine évolution va consister à ne selectionner que les colonnes de 1 à 4 et la 6ème et aussi de répéter l'operation pour chaque pages et année existante...

Citation:

---

Envoyé par papajoker

bonjour
Le plus simple pour voir s'il y a restriction, est de faire une requête curl dans son terminal ;) et afficher le résultat brut de la requete python (site interdit à certaines signatures ?)
Ici, utiliser requests à la place du standard urllib :weird:



:roll:
Si je mets un panneau chez moi "défense d'entrer" c'est pour tout le monde !!! même ceux qui arrivent à rentrer avec un bulldozer.
Après avoir écrit "c'est interdit", dire à une personne qu'elle peut contourner/forcer avec un outil, cela ne te choque pas ?

---

@papajoker, je comprends tout a fait et aussi que si le concepteur de ce site a marqué "sorry, something went wrong...." c'est que potentiellement il ne souhaite pas être responsable de l'utilisation qu'il peut être fait de la database.

Autrement je vous remercie pour votre réponse. pourriez-vous m'en dire plus sur le roll et weird ? ou puis-je/pourrais-je les placer dans mon code s'il vous plait?