Scraping : Attendre avant de récupérer la requête

**Anonyme1784** · 21/01/2018, 00h59

Bonjour,

Je tente de récupérer des informations sur un site internet mais il y a un spinner avant que le contenu s'affiche...

On peut pas le faire avec requests ? Je sais que je peux utliser Selenium ou ScrapyJS, mais il n'y a pas plus simple ?
J'ai essayé verify=False et timeout=3 dans le session.get() mais ça affiche direct le résultat avec le spinner donc...
Il faudrait mettre un timer de 3 secondes pour que le contenu s'affiche (il apparaît en 2sec) ! Quelqu'un sait comment faire svp ? Merci

Voici le spinner qui apparaît dès que j'ouvre la page :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
<!DOCTYPE HTML>
 
<html>
<head>
    <meta http-equiv="X-UA-Compatible" content="IE=edge" />
    <meta http-equiv="content-type" content="text/html; charset=utf-8" />
    <meta http-equiv="content-language" content="fr-FR" />
 
    <base href="/extranet/" />
 
    <title>ecole</title>
 
    <meta name="viewport" content="width=device-width, initial-scale=1" />
    <meta name="Description" content="ecole Extranet ecole Paris" />
    <meta name="Keywords" content="ecole" />
    <meta name="Copyright" content="ecole Paris" />
    <meta name="language" content="fr-FR" />
 
    <link rel="icon" type="image/png" href="assets/img/icons/favicon.png" />
 
    <!-- Material Design fonts -->
    <link rel="stylesheet" type="text/css" href="//fonts.googleapis.com/css?family=Roboto:300,400,500,700" />
    <link rel="stylesheet" type="text/css" href="//fonts.googleapis.com/icon?family=Material+Icons" />
 
    <link rel="stylesheet" type="text/css" href="assets/min/app.css" />
 
    <script type="text/javascript">var moduleName = 'extranet';var moduleParameters = {};var appParameters = {logoutUrl : 'https://auth.ecole.fr/uaa/logout'};</script>
</head>
<body ng-app="extranet" ng-controller="AppCtrl as app">
 
<!-- nav -->
<div ng-include="'app/components/app-core/nav/navbar.html'" ng-controller="NavCtrl as nav" ng-cloak="" class="ng-cloak"></div>
 
<!-- main view -->
<div class="container-fluid ng-cloak no-padding" ng-cloak="">
    <div class="view-container">
        <div ng-view="" class="view-fade"></div>
    </div>
</div>
 
<!-- loading -->
<div ng-show="::false" class="loading-container">
    <div>
        <div class="wave-spinner">
            <div class="rect1"></div>
            <div class="rect2"></div>
            <div class="rect3"></div>
            <div class="rect4"></div>
            <div class="rect5"></div>
        </div>
    </div>
</div>
 
<script src="assets/min/app.js"></script>
</body>
</html>

**wiztricks** · 21/01/2018, 11h04

Salut,

Envoyé par Anonyme1784

Je tente de récupérer des informations sur un site internet mais il y a un spinner avant que le contenu s'affiche...

Il y a surtout un interpréteur Javascript dans votre navigateur Web/browser qui exécute le code contenu dans la page, mécanique qui n'existe pas dans requests.

- W

Scraping : Attendre avant de récupérer la requête

Python

Vue hybride

Discussions similaires

Partager

Partager