Discussion :

[x-lours]

Bonjour,
je suis sous UBUNTU18.04 donc avec un Perl 5.26
je cherche à récupérer le contenu d'un tableau rempli par JavaScript. Les données changent quotidiennement et j'ai besoin d'avoir leur somme en fin de mois.

Pour m’entraîner, j'ai construit la page suivante test_recup_javascript.html et je tente de lire la page finale (post JavaScript).
j'ai essayé :
LWP::UserAgent; (pas de gestion du JavaScript)
WWW::Mechanize (); (pas de gestion du JavaScript)
WWW::Mechanize::Firefox; (mais il manque MozRepl plugin de Firefox qui n'existe plus)
WWW::Mechanize::Chrome; (mais il manque des bibliothèque qui ne fonctionnent qu'à partir de Perl 5.30)
Web::Scraper; (qui me donne un contenu avant ajout par JavaScript)
WWW::Scripter; (qui me dit qu'il y a une erreur de syntaxe dans la page

couldn't get script https://s.gstat.orange.fr/lib/gs.js?12126: 500 Can't connect to s.gstat.orange.fr:443 (certificate verify failed) at https://x_lours.pagesperso-orange.fr...avascript.html (generated HTML) at /usr/local/share/perl/5.26.1/HTML/DOM.pm line 496.
SyntaxError: Expected semicolon, '}' or end of line but found ' bouton = ' at https://x_lours.pagesperso-orange.fr...avascript.html, line 38.

pas compris)
Scrappy; (qui me donne un contenu avant ajout par JavaScript)

j'ai besoin d'aide pour trouver une librairie qui me donne la page affichée à l'écran utilisateur et pas son code source ...

toute idée sera grandement appréciée

cordialement

[Puppet_Master]

Bonjour.

Quel est le lien de la page que vous souhaitez parser ?

Souvent, le JS fait une requête (POST par exemple) pour récupérer les données formatées (en JSON par exemple) puis l’ajoute au DOM de la page HTML.

Dans votre page de test, vous utilisez JS pour produire des nombres aléatoires, ce qui implique de « jouer » le JS pour obtenir les datas. Votre page cible fonctionne-t-elle réellement comme cela ?