Discussion :

[noftal]

Bonjour,
J'essaye de récupérer par le code un fichier texte produit par une API :
https://www.boursorama.com/bourse/ac...bol=0P0000VHMO

Si je saisis cette URL directement dans le navigateur, un fichier texte est automatiquement enregistré dans mes "téléchargements"

Si je le fais par le code, cela me génère une erreur 401.

Voici le code Python que j'ai essayé (parmi d'autres) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
import requests 
 
url = 'https://www.boursorama.com/bourse/action/graph/ws/download?length=1825&period=1&symbol=0P0000VHMO'
 
 
header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"}
response = requests.get(url,headers=header)
print (response)

J'ai essayé de spécifié des headers, et même de façon aléatoire, mais cela ne marche pas.

Je pense qu'il faut spécifier un cookie mais là je ne sais pas trop comment faire. J'ai cherché sur le net et j'ai trouvé des codes qui résolvent des situations pour d'autres API mais aucun tuto qui permette de les comprendre pour les adapter à mon cas présent

En utilisant l'inspecteur du navigateur, j'ai trouvé que cette requête web utilise un cookie dans les request headers mais je ne suis pas assez calé pour savoir comment lui générer ce cookie par le code. J'ai bien tattoné avec ceci mais le cookie_dict renvoie une chaine nulle

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
import requests 
 
url = 'https://www.boursorama.com' #/bourse/action/graph/ws/download?length=1825&period=1&symbol=0P0000VHMO'
s = requests.Session()
 
header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"}
response = s.get(url,headers=header)
cookie_dict = s.cookies.get_dict()
print(cookie_dict)

Bref, si vous pouvez m'aider à trouver la solution, voire mieux, m'orienter vers un tuto qui permette de trouver la solution adaptée à n'importe quelle API, ce serait super.

[Sve@r]

Bonjour

Si je saisis cette URL directement dans le navigateur, un fichier texte est automatiquement enregistré dans mes "téléchargements"

Pas chez-moi. Moi j'ai "non authorized"

Si je le fais par le code, cela me génère une erreur 401.

Coïncidence, c'est aussi le même numéro chez-moi.

Je pense qu'il faut spécifier un cookie mais là je ne sais pas trop comment faire

Ce n'est pas à toi de mettre des cookies, ceux-ci sont positionnés par le site web (qui les connait et qui sait lesquels il doit avoir)

Bref, si vous pouvez m'aider à trouver la solution, voire mieux, m'orienter vers un tuto qui permette de trouver la solution adaptée à n'importe quelle API, ce serait super.

La base: il faut d'abord que ça fonctionne chez-toi, que ça fonctionne sans tout ton historique et cookies mis en cache. Mets toi dans un navigateur en mode "sans echec", ou bien prend un profil vierge ; comme ça tu n'auras pas ton historique, et là tu peux faire tes tests.

[noftal]

Ah ben là je suis sec. Je confirme que l'API marche bien dans mon naivgateur (que ce soit sous Firefox 115.9.1 ESR ou Chrome 109.0.5414.120. Est-ce parce que je n'ai pas les dernières versions (je sais c'est pas bien mais je n'ai pas le choix à cause de Win7)

Je ne vois pas très bien ce que le profil de mon navigateur va jouer dans mon code qui s'affranchit du navigateur. Donc que je vide le cache ou non, ou que je parte sur un nouveau profil de navigateur ou non, quelle influence sur le code ?

[Sve@r]

Je ne vois pas très bien ce que le profil de mon navigateur va jouer dans mon code qui s'affranchit du navigateur. Donc que je vide le cache ou non, ou que je parte sur un nouveau profil de navigateur ou non, quelle influence sur le code ?

Cette remarque partait du principe que si ça fonctionne chez-toi et pas chez-moi (et je viens de réessayer depuis un autre ordi), c'est que tu dois avoir une espèce d'historique, de cache ou autre qui font que ça marche dans ton navigateur et seulement dans celui-ci (donc pas dans les autres navigateurs et à fortiori pas dans ton code). Mais quand je l'ai faite, je n'avais pas connaissance que tu avais une version obsolète. Effectivement cette nouvelle information peut rendre cette remarque caduque.

Est-ce parce que je n'ai pas les dernières versions (je sais c'est pas bien mais je n'ai pas le choix à cause de Win7)

Ca pourrait jouer. En général c'est plutôt l'inverse : ça fonctionne avec les dernières versions et pas avec les précédentes cause dialogue incompatible mais peut-être que là le site n'a pas activé de verrou contre une vieille version et donc là ça fonctionne avec une vieille version et pas avec une récente (et donc pas non plus avec requests).

Ok tu as win7 et tu as tes raisons (que je peux comprendre, moi j'imagine pas passer sous W11 quand W10 ne sera plus maintenu en 2025) mais tu as d'autres façons de tester. Par exemple tu télécharges un Linux (je conseillerais XUbuntu assez complet), tu le mets sur clef, tu démarres dessus et là il te propose "Try or Install" te permettant de tester sans installer. Ca t'amène dans un environnement fenêtré avec divers outils dont un navigateur.
Et là tu peux tester ton site avec une version de navigateur relativement récente

[papajoker]

bonjour

le scraping n'est autorisé que si le site le permet, ici la réponse (401) est claire : ils considèrent que c'est du vol !

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 curl -IL 'https://www.boursorama.com/bourse/action/graph/ws/download?length=1825&period=1&symbol=0P0000VHMO'
location: https://api.boursorama.com/services/api/files/download.phtml?token=7fe238d3ab74533dd6933571d148271cd38c4e35e61478e2379bd3bb4cc2d20c
 
HTTP/1.1 401 V Not Authorized

la redirection est claire, il faut un token (clé sécurisée)
Je suppose que tu n'as pas cette erreur dans ton navigateur car tu as un compte chez eux et que tu es loggé ? (voir alors selenium)

A noter que ce site propose des api pour ces clients et existe de nombreuses api (non liées à ce site) pour suivre un produit en bourse (yfinance,...)

[noftal]

@Papajoker : non je n’ai pas de compte quand je lance cette URL dans mon navigateur.

S’ils considéraient cela comme du vol l’URL ne fonctionnerait pas dans mon navigateur

[Arioch]

Pour information, première fois que je vais sur Boursorama bidule muche et j'ai récupéré sans soucis le fichier txt.

Sous Windows 10.

[papajoker]

mea culpa : après test, il faut juste accepter les cookies
EDIT:
Dans ce cas (pour me faire pardonner), une chose possible :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
import requests
 
with requests.Session() as session:
    cookies = requests.utils.cookiejar_from_dict({"x": "_"})   # tout fait le taf
    session.cookies.update(cookies)
    url = "https://www.<LESITE>.com/bourse/action/graph/ws/download?length=1825&period=1&symbol=0P0000VHMO"
    res = session.get(url)
    print(res.text)

[Sve@r]

Pour information, première fois que je vais sur Boursorama bidule muche et j'ai récupéré sans soucis le fichier txt.

Je pige pas

Testé depuis un linux installé ce matin...

[papajoker]

Je pige pas

Comme dit plus haut c'est ok, avec un navigateur, il faut d'abord aller à la page d'accueil du site pour accepter les cookies
Et en python, avec ce site, créer simplement un cookie 'vide'(contenu aléatoire) suffit pour avoir l'accès
en console:
curl -sL 'https://www.boursorama.com/bourse/action/graph/ws/download?length=1825&period=1&symbol=0P0000VHMO' --cookie 'y=nul'

[Sve@r]

il faut d'abord aller à la page d'accueil du site pour accepter les cookies

J'ai pigé, commencer par la racine du site pour les cookies (ceci dit ça n'a pas été vraiment super bien indiqué plus haut mais j'aurais dû y songer )

Merci

[Arioch]

Étrange.

Je n'ai pas eu besoin d'accepter le moindre cookie (suis au régime d'façons) et j'ai cliqué directement sur le lien menant au fichier.

[jurassic pork]

Hello,
tu peux essayer ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
import requests 
cookie = dict(PHPSESSID='cookie...') 
url = 'https://www.boursorama.com/bourse/action/graph/ws/download?length=1825&period=1&symbol=0P0000VHMO'
 
header = {"Content-Type":"application/x-www-form-urlencoded","User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"}
response = requests.get(url,cookies=cookie,headers=header)
print (response.text)

Ami calmant, J.P

[noftal]

@Papajoker et Jurassif Pork.
Vos 2 méthodes marchent très bien. Merci !
Dans le code de Jurassik Pork, on peut enlever les headers, ça marche quand même

Je reste un peu frustré car je suis incapable de comprendre comment vous avez fait.

Est-ce que vous pouvez m'expliquer ? Ou m'orienter vers un tuto qui explique ?

Je passe le sujet en résolu.
Merci encore !

[fred1599]

Bonjour,

Je reste un peu frustré car je suis incapable de comprendre comment vous avez fait.

J'ai pas suivi la conversation, mais il semble qu'ils ont juste ajouter l'information des cookies par rapport à votre code présenté au départ...

Est-ce que le code que vous présentez au départ a été créé par vos soins ? Car le code de @jurassic est très proche du vôtre !

Ou m'orienter vers un tuto qui explique ?

Regardez le tuto sur le module requests... sur google rien de compliqué, utilisez les mots clés requests python et vous y serez dirigé.

[noftal]

Bonjour,
Oui le code initial est de moi.
La différence apportée par jurassic pork est l'ajout de l'instruction sur les cookies. Ca change tout !
Est-ce que l'instruction pour "accepter les cookies" est toujours du type

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cookie = dict(PHPSESSID='blabla...')

ou bien cela dépend-il du site ? Et dans ce cas comment savoir ?

[fred1599]

Bonjour,

ou bien cela dépend-il du site ? Et dans ce cas comment savoir ?

Oui les cookies dépendent du site, il faut donc lire la doc sur l'API de Boursorama pour savoir qu'il y a ce besoin.

Concernant le format dict, dans la documentation de requests, vous avez des exemples... Prenez le temps de lire les documentations et faire vos propres tests.

[noftal]

Bonjour,



Oui les cookies dépendent du site, il faut donc lire la doc sur l'API de Boursorama pour savoir qu'il y a ce besoin.
.

J'ai souvent lu cela sur internet. Mais justement, et c'est bien le problème, je ne sais plus comment j'ai trouvé cette API. J'ai fait des recherches pour trouver la doc mais je ne l'ai pas trouvée.
Du coup je me demande comment Jurassic Pork a trouvé que cette instruction supplémentaire marcherait.

[Sve@r]

Du coup je me demande comment Jurassic Pork a trouvé que cette instruction supplémentaire marcherait.
...
Est-ce que l'instruction pour "accepter les cookies" est toujours du type

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cookie = dict(PHPSESSID='blabla...')

ou bien cela dépend-il du site ? Et dans ce cas comment savoir ?

Cette instruction ne crée pas un cookie, ça crée juste un dictionnaire Python. Mais comme ce dictionnaire aura pour but d'être traité "comme" un cookie, Jurassic Pork l'a (assez intelligemment) appelé "cookie".

Ensuite il a vu que la doc "request()" contenait un paramètre nommé "cookies". De là, faire une association d'idées...

Le seul truc en fait à connaître, c'est que le cookie du site se nomme "PHPSESSID". Ou peut-être pas (papajoker, lui, crée un cookie nommé "x" et il dit que le nom semble n'avoir pas d'importance). Donc tu peux tenter avec cookie = dict(toto='zero+zero') et tu verras bien si ça fonctionne.

[noftal]

Effectivement, dans le cas présent, je peux remplacer PHPSESSID par n'importe quoi et ça marche quand même
Peut-être une faiblesse du site ?
Et s'il fallait absolument reprendre le bon nom de cookie, est-ce que la méthode consiste bien à utiliser l'outil de développement, réseau, onglet "Cookie" et noter le nom du cookie ?
Quand je fais cela, je trouve ceci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
{
	"Cookies de la requête": {
		"cookie_privacy_gdpr": "1",
		"RT": "\"z=1&dm=boursorama.com&si=dfb1b8fc-429c-4921-bbd4-3527f8183754&ss=lv1zgqoe&sl=i&tt=cxi&bcn=/bucky/v1/send/&obo=1&ld=hql4&ul=j0f5&hd=j0is\""
	}
}'

Est ce que c'est "RT" ou "cookie_privacy_gdpr" ou les deux qu'il faut mettre à la place de PHPSESSID ?