QNetworkAccessManager : URL bloquée

**Dereck07** · 29/11/2018, 19h01

Bonjour,

J'ai fait un programme avec QNetworkAccessManager qui scanne le site suivant

https://www.leboncoin.fr/annonces/of...haute_garonne/

J'arrivais à extraire le HTML de ce site pendant quelques jours puis depuis peu j'ai la page suivante qui s'affiche à la place:

Code HTML :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
<!--
Need permission to access data? Contact: <a href="mailto:DataAccess@datadome.co">DataAccess@datadome.co</a>
-->
<html><head><title>You have been blocked</title><style>#cmsg{animation: A 1.5s;}@keyframes A{0%{opacity:0;}99%{opacity:0;}100%{opacity:1;}}</style></head><body style="margin:0"><p id="cmsg">Please enable JS and disable any ad blocker</p><script>var dd={'cid':'AHrlqAAAAAMAKFRgE36E7RYALphpgQ==','hsh':'05B30BD9055986BD2EE8F5A199D973'}</script><script src="https://ct.datadome.co/c.js"></script></body></html>

La page de l'URL que j'aimerai s'affiche pourtant bien dans chrome ou internet explorer.
Dans internet explorer j'ai eu a un moment une page qui c'est affiché me demandant de cliquer pour vérifier que je ne suis pas un robot mais maintenant elle s'affiche tout de suite. Ce pendant le programme lui n'a plus accès du tout à l'HTML de cette page.

Est ce que quelqu'un connait un moyen de contourner ce problème ?

++
Dereck

**dourouc05** · 29/11/2018, 20h56

J'aurais tendance à dire que tu ne respectes pas les conditions d'utilisation du service et que, en conséquence, tu as été bloqué. N'y a-t-il pas une API que tu pourrais utiliser à la place ?

**Dereck07** · 30/11/2018, 06h50

Salut dourouc05,

Non, malheureusement le boncoin ne fournit pas d'API. Ça aurait été la solution parfaite...

Quand je me suis connecté a internet exploreur j'ai une une page de vérification.
Je ne me souviens plus du wording exact mais en gros il me disait que c’était lié à une de c'est 3 raisons:
-Je surfe a une vitesse sur humain => je ne pense pas que c'est la cause car je récupère et lance la requête toutes les 15 min environs...
-Java script ne s’exécute pas correctement => Je pense que effectivement ça doit être lié à cela
-il y a un robot sur mon réseau

Est ce qu'il est possible de dire à QNetworkAccessManager d’exécuter le code java script de la page que je recupère?
Ou alors autre façon de faire, existe t-il une lib qui permet d'afficher une page normalement dans internet explorateur et récupérer ce qui c'est affiche après ou en même temps ?

++
Dereck

**dourouc05** · 30/11/2018, 16h39

Sûrement pas : QNetworkAccessManager ne fait que récupérer des documents, il ne sait pas qu'il transporte du HTML ou autre chose. Tu peux regarder du côté de Qt WebEngine (ou de Qt WebKit, si tu veux le compiler toi-même) pour exécuter la partie JavaScript, mais le module est surtout prévu pour afficher des pages à l'utilisateur…

Sinon, en termes d'API, il semblerait qu'il existe un truc, au moins de par l'existence d'un paquet JS pour faire ça : https://www.npmjs.com/package/leboncoin-api

QNetworkAccessManager : URL bloquée

Réseau

Discussions similaires

Partager

Partager