Discussion :

[Antdec]

Bonjour,

Avec BeautifulSoup, j'ai scrapé le contenu d'un site. La soupe que j'obtiens est très désordonnée, et j'aimerai l'ordonner.
Ainsi, j'aimerai conserver uniquement les caractères contenus entre deux "bornes", la première étant la chaine de caractère 'date', et la seconde la chaine de caractère 'domains'.
Sauriez-vous m'indiquer une méthode me permettant d'y arriver? J'ai essayé avec soup.find, .split, mais rien n'y fait...

Merci !

PS : ces deux bornes sont bien la première occurence de ces deux chaines de caractères 'date' et 'domains'

[Sve@r]

Bonjour

J'ai essayé avec soup.find, .split, mais rien n'y fait...

Bah, si on n'y arrive pas avec les outils de la lib, ou si la lib n'a pas d'outil adéquat, rien n'interdit de repartir sur les bases de Python...

Code python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
def borne(data, debut, fin):
	d=data.find(debut)
	if d == -1: return None
	d+=len(debut)
	f=data[d:].find(fin)
	if f == -1: return None
	return data[d:d+f]
# borne()
 
data="xxxxdate[--yyzzzabcdefdomghijk--]domainsopqrst"
print(borne(data, "date", "domains"))

[Antdec]

Merci Sve@r pour ta réponse,
C'est ce que je cherchais !
J'ai une autre question concernant le site que je souhaite scrapper : les informations que je recherche n'apparaissent que dès lors que je clique sur un bouton, et sont ensuite accessibles sous un url qui ne semble pas être accessible autrement (non requêtable) : monsite.com/4276.
Les données contenues dans cet objet n'apparaissent pas dans ma soup :/
C'est pas forcément très clair, mais aurais-tu une solution à mon problème ?
Je ne peux mettre de screen pour des raisons évidentes, mais n'hésite pas si tu en veux en privé!
Merci beaucoup !

Antdec

[Sve@r]

J'ai une autre question concernant le site que je souhaite scrapper : les informations que je recherche n'apparaissent que dès lors que je clique sur un bouton, et sont ensuite accessibles sous un url qui ne semble pas être accessible autrement (non requêtable) : monsite.com/4276.

Je connais un site qui a un comportement ressemblant à ce que tu décris => https://m.ter.sncf.com/hauts-de-france. Tu remplis les champs et quand tu cliques sur "rechercher" ça part sur une URL avec plein de chiffres et lettres (je pense à un b64encode).
Toutefois sur le site que je te donne en exemple, l'URL générée par le bouton est accessible de façon directe. Si par exemple je la copie et la colle plus tard, ça marche. T'as tenté de faire pareil???
En plus c'est bizarre que tu puisses pas le récupérer via BF. Un site web répond à une requête. Que la requête vienne d'un navigateur, d'un java ou d'un programme Python ne change rien, le site lui il ne voit que la requête...

[Antdec]

l'URL générée par le bouton est accessible de façon directe. Si par exemple je la copie et la colle plus tard, ça marche. T'as tenté de faire pareil???

J'ai tenté de faire pareil, mais je tombe sur une erreur : ca me redirige vers une error page 403.
Une question de permissions alors ?

[jurassic pork]

hello,
Y-a-t-il des scripts JS dans ta page ? Car attention BeautifulSoup ne permet pas de récupérer des pages Web dynamiques, c'est à dire que si les pages contiennent du code javascript, le package Requests n’exécute pas ce code JS et le donne simplement comme source de page. La plupart du temps ceux sont les navigateurs qui exécutent ce code JS. Le module python selenium permet de récupérer ce genre de pages, car il pilote un navigateur.
Ami calmant, J.P