Discussion :

[leagr]

Bonjour!



Je viens vers vous aujourd'hui car j'essai d'extraire un tableaude plusieurs pages directement depuis le site internet. J'ai déjà trouvé plusieurs codes me permettant de faire cela malheuresment ces codes ne sont pas applicables à mon tableau.
En effet, toutes les pages du tableau que j'étudie sont référencées sur le même url et je ne peux qu'en extraire la première page... Auriez-vous des conseils à me donner afin que je puisse extraire mes données?



Pour vous donner une idée de la construction du site avec le même URL, voilà la lien : https://nadeaud.ilm.pf/liste-echantillons



Merci d'avance pour votre aide!

[papajoker]

bonjour

toutes les pages du tableau que j'étudie sont référencées sur le même url et je ne peux qu'en extraire la première page...

Sans ton code, difficile de répondre mais je ne vois aucun problème il te suffit d'incrémenter la page tant que la page retourne des datas

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
page = 0
datas = []  # résultats de toutes les pages
while True:
  page +=1
  url = f"https://nadeaud.ilm.pf/liste-echantillons?limit=100&page={page}"
  datas_de_la_page = Ma_fonction_snif(url)  # ta fonction existante qui retourne un tableau depuis une seule page
  if not datas_de_la_page:  # suis à la fin car plus rien a extraire
    break
  datas.extend(datas_de_la_page)

J'ai déjà trouvé plusieurs codes me permettant de faire cela malheuresment ces codes ne sont pas applicables à mon tableau.

pas logique On trouve/récupère un code uniquement si on le comprend. Et si on le comprend, alors il est simple de le modifier.

[leagr]

Justement j'ai voulu construire un code à partir des codes que je trouvais et comprenais sur internet car je suis encore novice... C'est vrai que je n'ai pas pensé à joindre mon code.
Le fait est que je comprend les boucles proposées par d'autres codes quand l'url est de type https://lien.fr/page1; https://lien.fr/page2;... et que sous cette forme là je me sens capable de coder avec une boucle for. Mais puisque sur mon site il n'y a pas d'indicateur de page dans l'url je ne voyais pas comment m'y prendre.
voilà où j'en étais sans prendre en compte plusieurs pages :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
import requests
import pandas as pd
from bs4 import BeautifulSoup
 
url = "https://nadeaud.ilm.pf/liste-echantillons"
page = requests.get(url)
soup = BeautifulSoup(page.text)
 
data = soup.find_all('table')
df = pd.read_html(str(data))
 
df.to_csv(r"echantillons_herbier.csv", header = True)

Dans le script que vous envoyez je ne comprends pas où le numéro de page intervient. Peut-on le rajouter comme ça dans l'url s'il n'y est pas au départ?
et à quoi correspond le f dans url=f"....?
Quand vous parlez de ma fonction, cela signifie que je dois incorporer le code que j'ai écris sous forme d'une fonction applicable en une ligne?
Enfin je ne comprend pas quand While n'est plus égal à True...

J'avais aussi une question concernant ce que j'ai déjà écris : dans la ligne soup = BeautifulSoup(page.text), plusieurs code ajoutent 'html.parser' en argument, sauriez vous ce que cela signifie?

[fatbob]

Pour nous faciliter la lecture, c'est mieux de mettre le code entre les balises appropriées (bouton #)
Sinon, pour avoir une page quelconque du tableau, il suffit de la mettre dans l'url comme précisé par papajoker (https://nadeaud.ilm.pf/liste-echantillons?page=6) avec limit=100, cela donne plus de résultat par page.
le f"..." est un élément de syntaxe python... Donc à ce niveau, le mieux, c'est d'ouvrir le manuel

https://realpython.com/python-f-strings/

En tout état de cause, je pense qu'avant d'aller lire des pages avec beautifulsoup et panda, vous avez quelques étapes de compréhension des bases à franchir. Le html_parser est un paramètre à fournir. C'est dans la doc de la fonction (Beautifulsoup propose une documentation assez complète)