Récupérer le texte d'une page web avec QWebEnginePage

Version imprimable

Bonjour,

Travaillant avec Qt 12.6, je souhaite ouvrir une page web et convertir son contenu en texte brut (plain text); le code actuel est le suivant :

En-tête :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 class Serveur : public QObject { Q_OBJECT QWebEngineView *view; public: Serveur() {} ~Serveur(){} void Telecharger_page_web(QUrl const&); protected slots: void Handle_html(QString const&); signals: void Go_html(QString const&); };
et l'implémentation :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 void Serveur::Telecharger_page_web(const QUrl & url) { QNetworkAccessManager *manager = new QNetworkAccessManager; QNetworkReply *reply = manager->get(QNetworkRequest(url)); QEventLoop loop; connect(manager, &QNetworkAccessManager::finished, &loop, &QEventLoop::quit); loop.exec(); view = new QWebEngineView(); view->load(reply->url()); view->show(); QWebEnginePage *page = new QWebEnginePage(view->page()); page->toPlainText([this](const QString& result) mutable {emit Go_html(result);}); connect(this, SIGNAL(Go_html(QString const&)), this, SLOT(Handle_html(QString const&))); delete reply; } void Serveur::Handle_html(QString const& text) { qDebug()<< "mon texte : "<< text; }
Récupérer la page web avec QWebEngineView ne pose pas de problème (view->show() affiche le contenu de la requête dans une fenêtre), mais l'étape d'après, la conversion en texte brut, ne me retourne qu'une chaîne vide (qDebug() << text)...

La documentation n'est pas très disert sur le sujet et je n'ai rient trouvé de convaincant sur les forums. Du coup je bloque... toute idée est la bienvenue.

Bonne journée

Bonsoir,

Pour commencer, s'il s'agit de simplement télécharger le contenu « brut html » d'une page Web (ce que laisserait à penser le nom Handle_html), la partie QNetworkAccessManager + QNetworkReply se suffit à elle-même. Une fois le signal finished() reçu, il te suffit de faire un reply->readAll() pour obtenir le contenu téléchargé.
Note qu'il vaut mieux éviter de rendre l'appel synchrone avec QEventLoop.

Dans le cas contraire elle ne sert strictement à rien, et tu peux remplacer view->load(reply->url()); par view->load(url);.
Et s'il s'agit donc de récupérer le texte… dans le code qui suit, tu as plusieurs problèmes :

QWebEnginePage *page = new QWebEnginePage(view->page()); ne récupère pas la page de la view, mais en crée une autre indépendante, qui est juste enfant de la page que tu cibles ;
tu dois attendre que le chargement de la page (view->load(url);) soit terminé (signal loadFinished(bool)) avant de vouloir récupérer son contenu ;
chaque fois que tu vas appeler la fonction membre Telecharger_page_web(), tu vas allouer un nouveau view = new QWebEngineView(); et tu auras une fuite mémoire.

Enfin, en l'état ton signal Go_html() est quelque peu inutile : tu pourrais très bien remplacer emit Go_html(result); par Handle_html(result);.

Ce qui donnerait au final :
Code:

1 2 3 4 5 6 7 8 9 10 11 connect(view, &QWebEngineView::loadFinished, [this](bool ok) { if (!ok) { // Une erreur est survenue } else { view->page()->toPlainText([this](const QString & result) { Handle_html(result); }); } }); view->load(url); // mieux vaut effectuer la connexion avant

Merci, ça fonctionne nickel ! on peut même passer directement par QWebEnginePage... Une petite synthèse du code :

.h

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
class Serveur : public QObject
{
    Q_OBJECT
 
    QWebEnginePage *page;
 
public:
    Serveur();
    ~Serveur(){}
 
    void Telecharger_page_web(QUrl const&);
 
protected slots:
    void Manipulation_text(QString const&);
 
};

.cpp

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
 
#include "reseau.h"
 
Serveur::Serveur()
{
    page = nullptr;
}
 
void Serveur::Telecharger_page_web(const QUrl & url)
{
    page = new QWebEnginePage;
 
    connect(page, &QWebEnginePage::loadFinished, [this](bool ok)
            {
                    if (!ok)
                        qDebug() << "Une erreur est survenue";
                    else
                        page->toPlainText([this](QString const& result) {Manipulation_text(result);});
 
            });
 
    page->load(url);
}
 
void Serveur::Manipulation_text(QString const& texte)
{
    qDebug() << "Texte : "<< texte;
 
    delete page;
}

Néanmoins, juste une petite question : la conversion en html page->toHtml(...) renvoie une chaîne vide, alors que la définition de la fonction est identique à plaintext ??

Bonne soirée

29/01/2020, 22h53
Invité

Exactement identique ? Ou n’essaierais-tu pas de récupérer la réponse de façon plus ou moins synchrone ?
Il est possible que ce soit un bogue de Qt, je vois ce ticket qui a été ouvert.
31/01/2020, 22h16
dasycarpum

void QWebEnginePage::toHtml(const QWebEngineCallback<const QString &> &resultCallback) const

void QWebEnginePage::toPlainText(const QWebEngineCallback<const QString &> &resultCallback) const

C'est tout pareil, et les 2 sont asynchrones... ça doit être effectivement un bug.