Problème de récupération des prix des jeux [WebScraping]

Version imprimable

08/03/2021, 11h23
ThomaslovFlu

1 pièce(s) jointe(s)

Problème de récupération des prix des jeux [WebScraping]

Bonjour à tous

Je suis nouveau sur le forum. Je ne suis pas du tout un expert en websraping, mais je me débrouille sur python.
J'aimerais avoir votre aide sur un problème que je n'arrive pas du tout à résoudre.

J'essaye de récupérer des informations sur l'évolution des prix des jeux sur plusieurs sites (pour mon fils).
Pour cela j'utilise les librairies requests et BeautifulSoup.

Mon problème se trouve sur le site instant-Gaming, plus particulièrement le jeu Assassin’s Creed Valhalla.
En effet, tous les autres jeux que je souhaite récupérer sur instant-gaming ne posent aucun problème, seul Assassin’s Creed Valhalla ne fonctionne pas.

J'ai essayé avec les liens suivants :
https://www.instant-gaming.com/fr/61...reed-valhalla/
https://www.instant-gaming.com/fr/61...reed-valhalla/
Mais le problème est toujours présent, peu importe le lien utilisé.

Le problème vient de la ligne de code requests.get(URL) qui m'envoie comme message d'erreur TooManyRedirects: Exceeded 30 redirects. (le message d'erreur complet est joint)

J'ai donc conclu que le problème était surement dû à l'apostrophe (') et donc un problème d'encodage que je n'arrive pas du tout à résoudre, alors que j'ai essayé beaucoup de méthodes différentes (plus de redirects, pas du tout de redirects,headers, params, encode,...) sans aucun succès.

J'ai essayé de faire la manipulation sur la dernière version de python, avec Jupyter sur Linux et sur Windows, mais j'ai toujours le même message d'erreur.

Je vous remercie d'avance pour votre aide.
Bonne journée
08/03/2021, 14h12
jurassic pork

hello,
pour faire du webscraping en python tu pourrais utiliser selenium qui utilise un navigateur (qui peut être chrome, firefox, edge chromium, opera, safari) pour automatiser des actions dans des pages web. En utilisant un navigateur cela évite les soucis de gestion de redirection, exécution de code javascript etc ....)

Ami calmant, J.P
08/03/2021, 17h17
Sve@r

Salut

Je suis désolé mais ça ne vient pas de l'apostrophe. J'ai en effet essayé requests.get("https://www.instant-gaming.com/fr/6147-acheter-jeu-uplay-assassins-creed-valhalla") (URL sans apostrophe qui fonctionne depuis mon navigateur) et ça m'a donné le même message d'erreur.
Ensuite j'ai créé sur mon site perso un dossier avec apostrophe nommé "xxx'yyy", y ai mis un fichier index.html à la con et en tapant requests.get("https://... (mon_site).../xxx'yyy") ça a fonctionné.

Désolé je ne vois pas ce qui gène avec Assassin's creed. En tapant requests.get("https://www.instant-gaming.com/fr/442-acheter-jeu-minecraft") ça fonctionne aussi.
09/03/2021, 20h31
ThomaslovFlu

Merci de ta réponse, je viens de tester avec Selenium et ça marche sans problème. J'avais peur que Selenium soit un peu plus long mais non ça fonctionne parfaitement. Encore merci.

Citation:

Envoyé par jurassic pork

hello,
pour faire du webscraping en python tu pourrais utiliser selenium qui utilise un navigateur (qui peut être chrome, firefox, edge chromium, opera, safari) pour automatiser des actions dans des pages web. En utilisant un navigateur cela évite les soucis de gestion de redirection, exécution de code javascript etc ....)

Ami calmant, J.P
09/03/2021, 20h33
ThomaslovFlu

En effet, je ne sais pas du tout pourquoi cela ne fonctionne pas sur Windows et sur Ubuntu.

Par contre, je viens d'essayer cela sur un raspberry pi et cela fonctionne parfaitement.

Citation:

Envoyé par Sve@r

Salut

Je suis désolé mais ça ne vient pas de l'apostrophe. J'ai en effet essayé requests.get("https://www.instant-gaming.com/fr/6147-acheter-jeu-uplay-assassins-creed-valhalla") (URL sans apostrophe qui fonctionne depuis mon navigateur) et ça m'a donné le même message d'erreur.
Ensuite j'ai créé sur mon site perso un dossier avec apostrophe nommé "xxx'yyy", y ai mis un fichier index.html à la con et en tapant requests.get("https://... (mon_site).../xxx'yyy") ça a fonctionné.

Désolé je ne vois pas ce qui gène avec Assassin's creed. En tapant requests.get("https://www.instant-gaming.com/fr/442-acheter-jeu-minecraft") ça fonctionne aussi.