Requête web génère erreur 401 mais pas l'URL directement dans le navigateur

Bonjour,
J'essaye de récupérer par le code un fichier texte produit par une API :
https://www.boursorama.com/bourse/ac...bol=0P0000VHMO

Si je saisis cette URL directement dans le navigateur, un fichier texte est automatiquement enregistré dans mes "téléchargements"

Si je le fais par le code, cela me génère une erreur 401.

Voici le code Python que j'ai essayé (parmi d'autres) :

Code:

---

1 2 3 4 5 6 7 8

import requests   url = 'https://www.boursorama.com/bourse/action/graph/ws/download?length=1825&period=1&symbol=0P0000VHMO'     header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"} response = requests.get(url,headers=header) print (response)

---

J'ai essayé de spécifié des headers, et même de façon aléatoire, mais cela ne marche pas.

Je pense qu'il faut spécifier un cookie mais là je ne sais pas trop comment faire. J'ai cherché sur le net et j'ai trouvé des codes qui résolvent des situations pour d'autres API mais aucun tuto qui permette de les comprendre pour les adapter à mon cas présent

En utilisant l'inspecteur du navigateur, j'ai trouvé que cette requête web utilise un cookie dans les request headers mais je ne suis pas assez calé pour savoir comment lui générer ce cookie par le code. J'ai bien tattoné avec ceci mais le cookie_dict renvoie une chaine nulle

Code:

---

1 2 3 4 5 6 7 8 9

import requests   url = 'https://www.boursorama.com' #/bourse/action/graph/ws/download?length=1825&period=1&symbol=0P0000VHMO' s = requests.Session()   header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"} response = s.get(url,headers=header) cookie_dict = s.cookies.get_dict() print(cookie_dict)

---

Bref, si vous pouvez m'aider à trouver la solution, voire mieux, m'orienter vers un tuto qui permette de trouver la solution adaptée à n'importe quelle API, ce serait super.

Bonjour

Citation:

---

Envoyé par noftal

Si je saisis cette URL directement dans le navigateur, un fichier texte est automatiquement enregistré dans mes "téléchargements"

---

Pas chez-moi. Moi j'ai "non authorized"

Citation:

---

Envoyé par noftal

Si je le fais par le code, cela me génère une erreur 401.

---

Coïncidence, c'est aussi le même numéro chez-moi.

Citation:

---

Envoyé par noftal

Je pense qu'il faut spécifier un cookie mais là je ne sais pas trop comment faire

---

Ce n'est pas à toi de mettre des cookies, ceux-ci sont positionnés par le site web (qui les connait et qui sait lesquels il doit avoir)

Citation:

---

Envoyé par noftal

Bref, si vous pouvez m'aider à trouver la solution, voire mieux, m'orienter vers un tuto qui permette de trouver la solution adaptée à n'importe quelle API, ce serait super.

---

La base: il faut d'abord que ça fonctionne chez-toi, que ça fonctionne sans tout ton historique et cookies mis en cache. Mets toi dans un navigateur en mode "sans echec", ou bien prend un profil vierge ; comme ça tu n'auras pas ton historique, et là tu peux faire tes tests.

Ah ben là je suis sec. Je confirme que l'API marche bien dans mon naivgateur (que ce soit sous Firefox 115.9.1 ESR ou Chrome 109.0.5414.120. Est-ce parce que je n'ai pas les dernières versions (je sais c'est pas bien mais je n'ai pas le choix à cause de Win7)

Je ne vois pas très bien ce que le profil de mon navigateur va jouer dans mon code qui s'affranchit du navigateur. Donc que je vide le cache ou non, ou que je parte sur un nouveau profil de navigateur ou non, quelle influence sur le code ?

Citation:

---

Envoyé par noftal

Je ne vois pas très bien ce que le profil de mon navigateur va jouer dans mon code qui s'affranchit du navigateur. Donc que je vide le cache ou non, ou que je parte sur un nouveau profil de navigateur ou non, quelle influence sur le code ?

---

Cette remarque partait du principe que si ça fonctionne chez-toi et pas chez-moi (et je viens de réessayer depuis un autre ordi), c'est que tu dois avoir une espèce d'historique, de cache ou autre qui font que ça marche dans ton navigateur et seulement dans celui-ci (donc pas dans les autres navigateurs et à fortiori pas dans ton code). Mais quand je l'ai faite, je n'avais pas connaissance que tu avais une version obsolète. Effectivement cette nouvelle information peut rendre cette remarque caduque.

Citation:

---

Envoyé par noftal

Est-ce parce que je n'ai pas les dernières versions (je sais c'est pas bien mais je n'ai pas le choix à cause de Win7)

---

Ca pourrait jouer. En général c'est plutôt l'inverse : ça fonctionne avec les dernières versions et pas avec les précédentes cause dialogue incompatible mais peut-être que là le site n'a pas activé de verrou contre une vieille version et donc là ça fonctionne avec une vieille version et pas avec une récente (et donc pas non plus avec requests).

Ok tu as win7 et tu as tes raisons (que je peux comprendre, moi j'imagine pas passer sous W11 quand W10 ne sera plus maintenu en 2025) mais tu as d'autres façons de tester. Par exemple tu télécharges un Linux (je conseillerais XUbuntu assez complet), tu le mets sur clef, tu démarres dessus et là il te propose "Try or Install" te permettant de tester sans installer. Ca t'amène dans un environnement fenêtré avec divers outils dont un navigateur.
Et là tu peux tester ton site avec une version de navigateur relativement récente
Pièce jointe 653344
Pièce jointe 653345

bonjour

le scraping n'est autorisé que si le site le permet, ici la réponse (401) est claire : ils considèrent que c'est du vol !

Code:

---

1 2 3 4

curl -IL 'https://www.boursorama.com/bourse/action/graph/ws/download?length=1825&period=1&symbol=0P0000VHMO' location: https://api.boursorama.com/services/api/files/download.phtml?token=7fe238d3ab74533dd6933571d148271cd38c4e35e61478e2379bd3bb4cc2d20c   HTTP/1.1 401 V Not Authorized

---

la redirection est claire, il faut un token (clé sécurisée)
Je suppose que tu n'as pas cette erreur dans ton navigateur car tu as un compte chez eux et que tu es loggé ? (voir alors selenium)

A noter que ce site propose des api pour ces clients et existe de nombreuses api (non liées à ce site) pour suivre un produit en bourse (yfinance,...)

@Papajoker : non je n’ai pas de compte quand je lance cette URL dans mon navigateur.

S’ils considéraient cela comme du vol l’URL ne fonctionnerait pas dans mon navigateur

Pour information, première fois que je vais sur Boursorama bidule muche et j'ai récupéré sans soucis le fichier txt.

Sous Windows 10.

mea culpa : après test, il faut juste accepter les cookies
EDIT:
Dans ce cas (pour me faire pardonner), une chose possible :

Code:

---

1 2 3 4 5 6 7 8

import requests   with requests.Session() as session: cookies = requests.utils.cookiejar_from_dict({"x": "_"}) # tout fait le taf session.cookies.update(cookies) url = "https://www.<LESITE>.com/bourse/action/graph/ws/download?length=1825&period=1&symbol=0P0000VHMO" res = session.get(url) print(res.text)

---

Citation:

---

Envoyé par Arioch

Pour information, première fois que je vais sur Boursorama bidule muche et j'ai récupéré sans soucis le fichier txt.

---

Je pige pas

Testé depuis un linux installé ce matin...
Pièce jointe 653350

Citation:

---

Envoyé par Sve@r

Je pige pas

---

Comme dit plus haut c'est ok, avec un navigateur, il faut d'abord aller à la page d'accueil du site pour accepter les cookies
Et en python, avec ce site, créer simplement un cookie 'vide'(contenu aléatoire) suffit pour avoir l'accès
en console:
curl -sL 'https://www.boursorama.com/bourse/action/graph/ws/download?length=1825&period=1&symbol=0P0000VHMO' --cookie 'y=nul'

Citation:

---

Envoyé par papajoker

il faut d'abord aller à la page d'accueil du site pour accepter les cookies

---

J'ai pigé, commencer par la racine du site pour les cookies (ceci dit ça n'a pas été vraiment super bien indiqué plus haut mais j'aurais dû y songer 8-))

Merci :D

Étrange.

Je n'ai pas eu besoin d'accepter le moindre cookie (suis au régime d'façons) et j'ai cliqué directement sur le lien menant au fichier.

Hello,
tu peux essayer ceci :

Code:

---

1 2 3 4 5 6 7

import requests cookie = dict(PHPSESSID='cookie...') url = 'https://www.boursorama.com/bourse/action/graph/ws/download?length=1825&period=1&symbol=0P0000VHMO'   header = {"Content-Type":"application/x-www-form-urlencoded","User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"} response = requests.get(url,cookies=cookie,headers=header) print (response.text)

---

Ami calmant, J.P

@Papajoker et Jurassif Pork.
Vos 2 méthodes marchent très bien. Merci !
Dans le code de Jurassik Pork, on peut enlever les headers, ça marche quand même

Je reste un peu frustré car je suis incapable de comprendre comment vous avez fait.

Est-ce que vous pouvez m'expliquer ? Ou m'orienter vers un tuto qui explique ?

Je passe le sujet en résolu.
Merci encore !

Bonjour,

Citation:

---

Envoyé par noftal

Je reste un peu frustré car je suis incapable de comprendre comment vous avez fait.

---

J'ai pas suivi la conversation, mais il semble qu'ils ont juste ajouter l'information des cookies par rapport à votre code présenté au départ...

Est-ce que le code que vous présentez au départ a été créé par vos soins ? Car le code de @jurassic est très proche du vôtre !

Citation:

---

Envoyé par noftal

Ou m'orienter vers un tuto qui explique ?

---

Regardez le tuto sur le module requests... sur google rien de compliqué, utilisez les mots clés requests python et vous y serez dirigé.

Bonjour,
Oui le code initial est de moi.
La différence apportée par jurassic pork est l'ajout de l'instruction sur les cookies. Ca change tout !
Est-ce que l'instruction pour "accepter les cookies" est toujours du type

Code:

---

cookie = dict(PHPSESSID='blabla...')

---

ou bien cela dépend-il du site ? Et dans ce cas comment savoir ?

Bonjour,

Citation:

---

Envoyé par noftal

ou bien cela dépend-il du site ? Et dans ce cas comment savoir ?

---

Oui les cookies dépendent du site, il faut donc lire la doc sur l'API de Boursorama pour savoir qu'il y a ce besoin.

Concernant le format dict, dans la documentation de requests, vous avez des exemples... Prenez le temps de lire les documentations et faire vos propres tests.

Citation:

---

Envoyé par fred1599

Bonjour,



Oui les cookies dépendent du site, il faut donc lire la doc sur l'API de Boursorama pour savoir qu'il y a ce besoin.
.

---

J'ai souvent lu cela sur internet. Mais justement, et c'est bien le problème, je ne sais plus comment j'ai trouvé cette API. J'ai fait des recherches pour trouver la doc mais je ne l'ai pas trouvée.
Du coup je me demande comment Jurassic Pork a trouvé que cette instruction supplémentaire marcherait.

Citation:

---

Envoyé par noftal

Du coup je me demande comment Jurassic Pork a trouvé que cette instruction supplémentaire marcherait.
...
Est-ce que l'instruction pour "accepter les cookies" est toujours du type

Code:

---

cookie = dict(PHPSESSID='blabla...')

---

ou bien cela dépend-il du site ? Et dans ce cas comment savoir ?

---

Cette instruction ne crée pas un cookie, ça crée juste un dictionnaire Python. Mais comme ce dictionnaire aura pour but d'être traité "comme" un cookie, Jurassic Pork l'a (assez intelligemment) appelé "cookie".

Ensuite il a vu que la doc "request()" contenait un paramètre nommé "cookies". De là, faire une association d'idées...

Le seul truc en fait à connaître, c'est que le cookie du site se nomme "PHPSESSID". Ou peut-être pas (papajoker, lui, crée un cookie nommé "x" et il dit que le nom semble n'avoir pas d'importance). Donc tu peux tenter avec cookie = dict(toto='zero+zero') et tu verras bien si ça fonctionne.

Effectivement, dans le cas présent, je peux remplacer PHPSESSID par n'importe quoi et ça marche quand même
Peut-être une faiblesse du site ?
Et s'il fallait absolument reprendre le bon nom de cookie, est-ce que la méthode consiste bien à utiliser l'outil de développement, réseau, onglet "Cookie" et noter le nom du cookie ?
Quand je fais cela, je trouve ceci

Code:

---

1 2 3 4 5 6

{ "Cookies de la requête": { "cookie_privacy_gdpr": "1", "RT": "\"z=1&dm=boursorama.com&si=dfb1b8fc-429c-4921-bbd4-3527f8183754&ss=lv1zgqoe&sl=i&tt=cxi&bcn=/bucky/v1/send/&obo=1&ld=hql4&ul=j0f5&hd=j0is\"" } }'

---

Est ce que c'est "RT" ou "cookie_privacy_gdpr" ou les deux qu'il faut mettre à la place de PHPSESSID ?