Réduction d'une liste scrapée

Bonjour,

Avec BeautifulSoup, j'ai scrapé le contenu d'un site. La soupe que j'obtiens est très désordonnée, et j'aimerai l'ordonner.
Ainsi, j'aimerai conserver uniquement les caractères contenus entre deux "bornes", la première étant la chaine de caractère 'date', et la seconde la chaine de caractère 'domains'.
Sauriez-vous m'indiquer une méthode me permettant d'y arriver? J'ai essayé avec soup.find, .split, mais rien n'y fait...

Merci !

PS : ces deux bornes sont bien la première occurence de ces deux chaines de caractères 'date' et 'domains'

Bonjour

Citation:

---

Envoyé par Antdec

J'ai essayé avec soup.find, .split, mais rien n'y fait...

---

Bah, si on n'y arrive pas avec les outils de la lib, ou si la lib n'a pas d'outil adéquat, rien n'interdit de repartir sur les bases de Python...

Code:

---

1 2 3 4 5 6 7 8 9 10 11

def borne(data, debut, fin): d=data.find(debut) if d == -1: return None d+=len(debut) f=data[d:].find(fin) if f == -1: return None return data[d:d+f] # borne()   data="xxxxdate[--yyzzzabcdefdomghijk--]domainsopqrst" print(borne(data, "date", "domains"))

---

Merci Sve@r pour ta réponse,
C'est ce que je cherchais !
J'ai une autre question concernant le site que je souhaite scrapper : les informations que je recherche n'apparaissent que dès lors que je clique sur un bouton, et sont ensuite accessibles sous un url qui ne semble pas être accessible autrement (non requêtable) : monsite.com/4276.
Les données contenues dans cet objet n'apparaissent pas dans ma soup :/
C'est pas forcément très clair, mais aurais-tu une solution à mon problème ?
Je ne peux mettre de screen pour des raisons évidentes, mais n'hésite pas si tu en veux en privé!
Merci beaucoup !

Antdec

Citation:

---

Envoyé par Antdec

J'ai une autre question concernant le site que je souhaite scrapper : les informations que je recherche n'apparaissent que dès lors que je clique sur un bouton, et sont ensuite accessibles sous un url qui ne semble pas être accessible autrement (non requêtable) : monsite.com/4276.

---

Je connais un site qui a un comportement ressemblant à ce que tu décris => https://m.ter.sncf.com/hauts-de-france. Tu remplis les champs et quand tu cliques sur "rechercher" ça part sur une URL avec plein de chiffres et lettres (je pense à un b64encode).
Toutefois sur le site que je te donne en exemple, l'URL générée par le bouton est accessible de façon directe. Si par exemple je la copie et la colle plus tard, ça marche. T'as tenté de faire pareil???
En plus c'est bizarre que tu puisses pas le récupérer via BF. Un site web répond à une requête. Que la requête vienne d'un navigateur, d'un java ou d'un programme Python ne change rien, le site lui il ne voit que la requête...

Citation:

---

Envoyé par Sve@r

l'URL générée par le bouton est accessible de façon directe. Si par exemple je la copie et la colle plus tard, ça marche. T'as tenté de faire pareil???

---

J'ai tenté de faire pareil, mais je tombe sur une erreur : ca me redirige vers une error page 403.
Une question de permissions alors ?

hello,
Y-a-t-il des scripts JS dans ta page ? Car attention BeautifulSoup ne permet pas de récupérer des pages Web dynamiques, c'est à dire que si les pages contiennent du code javascript, le package Requests n’exécute pas ce code JS et le donne simplement comme source de page. La plupart du temps ceux sont les navigateurs qui exécutent ce code JS. Le module python selenium permet de récupérer ce genre de pages, car il pilote un navigateur.
Ami calmant, J.P

Citation:

---

Envoyé par jurassic pork

hello,
Y-a-t-il des scripts JS dans ta page ?

---

--> Je pense que le problème doit venir de là. Un script js affiche l'information qui m'intéresse !

Citation:

---

Envoyé par jurassic pork

Le module python selenium permet de récupérer ce genre de pages, car il pilote un navigateur.

---

--> J'utilise déjà selenium pour me connecter au dit-site, qui requiert des informations de login, je vais me renseigner pour extraire les données ! Merci ;)
Ami tiés,
Antdec