IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Web Perl Discussion :

tentatives de web scrapping sur page avec javascript


Sujet :

Web Perl

  1. #1
    Futur Membre du Club
    Homme Profil pro
    Consultant informatique
    Inscrit en
    décembre 2011
    Messages
    9
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Hauts de Seine (Île de France)

    Informations professionnelles :
    Activité : Consultant informatique
    Secteur : Conseil

    Informations forums :
    Inscription : décembre 2011
    Messages : 9
    Points : 9
    Points
    9
    Par défaut tentatives de web scrapping sur page avec javascript
    Bonjour,
    je suis sous UBUNTU18.04 donc avec un Perl 5.26
    je cherche à récupérer le contenu d'un tableau rempli par JavaScript. Les données changent quotidiennement et j'ai besoin d'avoir leur somme en fin de mois.

    Pour m’entraîner, j'ai construit la page suivante test_recup_javascript.html et je tente de lire la page finale (post JavaScript).
    j'ai essayé :
    LWP::UserAgent; (pas de gestion du JavaScript)
    WWW::Mechanize (); (pas de gestion du JavaScript)
    WWW::Mechanize::Firefox; (mais il manque MozRepl plugin de Firefox qui n'existe plus)
    WWW::Mechanize::Chrome; (mais il manque des bibliothèque qui ne fonctionnent qu'à partir de Perl 5.30)
    Web::Scraper; (qui me donne un contenu avant ajout par JavaScript)
    WWW::Scripter; (qui me dit qu'il y a une erreur de syntaxe dans la page
    couldn't get script https://s.gstat.orange.fr/lib/gs.js?12126: 500 Can't connect to s.gstat.orange.fr:443 (certificate verify failed) at https://x_lours.pagesperso-orange.fr...avascript.html (generated HTML) at /usr/local/share/perl/5.26.1/HTML/DOM.pm line 496.
    SyntaxError: Expected semicolon, '}' or end of line but found ' bouton = ' at https://x_lours.pagesperso-orange.fr...avascript.html, line 38.
    pas compris)
    Scrappy; (qui me donne un contenu avant ajout par JavaScript)

    j'ai besoin d'aide pour trouver une librairie qui me donne la page affichée à l'écran utilisateur et pas son code source ...

    toute idée sera grandement appréciée

    cordialement

  2. #2
    Membre habitué
    Homme Profil pro
    Master Data Manager
    Inscrit en
    février 2017
    Messages
    100
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Cher (Centre)

    Informations professionnelles :
    Activité : Master Data Manager
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : février 2017
    Messages : 100
    Points : 140
    Points
    140
    Par défaut
    Bonjour.

    Quel est le lien de la page que vous souhaitez parser ?

    Souvent, le JS fait une requête (POST par exemple) pour récupérer les données formatées (en JSON par exemple) puis l’ajoute au DOM de la page HTML.

    Dans votre page de test, vous utilisez JS pour produire des nombres aléatoires, ce qui implique de « jouer » le JS pour obtenir les datas. Votre page cible fonctionne-t-elle réellement comme cela ?

Discussions similaires

  1. [Visual Web] Filtres sur pages avec 1 exclusion
    Par flotho dans le forum NetBeans
    Réponses: 0
    Dernier message: 28/09/2009, 09h08
  2. [MySQL] Passer un paramètre à une autre page avec JavaScript
    Par optimistique dans le forum PHP & Base de données
    Réponses: 7
    Dernier message: 08/05/2009, 16h14
  3. Web Query sur page web protégée
    Par zoidy dans le forum Macros et VBA Excel
    Réponses: 0
    Dernier message: 18/02/2008, 09h13
  4. cacher une partie de page avec javascript
    Par Nemesys dans le forum Général JavaScript
    Réponses: 10
    Dernier message: 27/03/2007, 21h24
  5. [Axis]dépoiement web service sur tomcat avec axis
    Par lili2704 dans le forum Tomcat et TomEE
    Réponses: 7
    Dernier message: 02/02/2005, 13h44

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo