Discussion :

[cyrrulehys]

Salutation à toutes et à tous

Je voudrais comprendre comment procéder pour capturer le contenu total de certaines pages internet qui présentent des parties occultées,
c'est à dire des parties qu'on ne peut voir que si on les fait apparaitre en cliquant sur un texte "réactif".


Je prends l'exemple des pages de news yahoo telles que celle-ci :
https://fr.news.yahoo.com/sanofi-vac...084452404.html

À l'ouverture d'une page de news, les réactions sont occultées.
Elles n'apparaissent que si l'on clique sur le texte "réactif" suivant:

Puis dans la liste des réactions, il y a encore des parties occultées tant qu'on ne clique pas sur les textes "réactifs" suivants :



Ce mode d'affichage rend la lecture des réactions très pénibles.


Je sais fetcher le contenu d'une page internet mais dans le code de page que je capture d'une news yahoo, je ne trouve pas les réactions.

Je sollicite de l'aide pour:

1) savoir quel est le processus sous-jacent aux textes réactifs qui font apparaître les parties occultées.
Je suppose sans grande certitude qu'il y a du Javascript là-dessous.
Mais ne maîtrisant un tant soit peu que Python, je ne veux pas me lancer dans l'étude d'un domaine sans avoir été conseillé

2) être mis sur la piste des outils Python qui pourraient effectuer programmatiquement les mêmes effets que les clics sur textes réactifs,
afin de pouvoir télécharger un contenu de page qui contienne tout du premier coup

Merci pour votre attention

[wiztricks]

Salut,

Pour faire çà, il faut exécuter le javascript dans la page DOM. Ce que fait assez bien un navigateur Web. Donc l'idée est de contrôler "programmatiquement" un navigateur Web pour lui faire faire les clicks où il faut, charger les informations et les récupérer pour les analyser.

Techniquement Selenium fait çà assez bien mais vous avez besoin d'outils annexes pour le reste.
Chercher sur Internet avec les mots clefs "python scraping selenium", vous permettra (sans doute) d'avancer.

- W