Discussion :

[artazis]

Bonjour

Je tente de scraper avec scrapy un site web pour mon activité afin de mettre à jour mes tarifs rapidement.
J'avais un peu d'expérience en C++ il y a 25 ans alors, je me lance.
Je découvre python et sa puissance. C'est exceptionnel ce que l'on peut faire avec 3 lignes de codes.
Bref, voici mon problème
Je n'arrive pas à extraire l'adresse mail de la page suivante. Je galère avec la syntaxe.

Voici l'extrait du code source du site web que je veux scraper

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
<div class="pagination">
   <ul>
     <ul aria-labelledby="paging-label">
         <li><strong>1</strong></li>
         <li><a href="https://www.123elec.com/photovoltaique.html?p=1">1</a></li>
         <li><a href="https://www.123elec.com/photovoltaique.html?p=2">2</a></li>
         <li><a href="https://www.123elec.com/photovoltaique.html?p=3">3</a></li>
         <li><a href="https://www.123elec.com/photovoltaique.html?p=4">4</a></li>
         <li><a href="https://www.123elec.com/photovoltaique.html?p=5">5</a></li>
         <li>
            <a href="https://www.123elec.com/photovoltaique.html?p=4">
                <i class="icon icon_button_arrow-1-right mobile-only"></i>
                <span class="no-mobile">Suivant</span>
            </a>
         </li>
      </ul>
   </ul>
</div>

Je voudrais récupérer le lien associé du bouton suivant (https://www.123elec.com/photovoltaique.html?p=4). Si vous avec une astuce, je suis preneur.

[Beginner.]

Salut,

Je voudrais récupérer le lien associé du bouton suivant (https://www.123elec.com/photovoltaique.html?p=4). Si vous avec une astuce, je suis preneur.

Ben il suffit d’incrémenter le numéro, ici remplacer p=4 par p=5 ...

Mais peut-être que je n'ai pas bien compris la question ?

[artazis]

Salut,
Ben il suffit d’incrémenter le numéro, ici remplacer p=4 par p=5 ...

Mais peut-être que je n'ai pas bien compris la question ?

Merci pour cette suggestion.

Oui, c'est ce que je viens de faire. Je trouvais ça plus classe de prendre l'url dans href du code source du site.
Je fais un test pour vérifier que le bouton suivant existe pour continuer à scraper les pages. Il peut y en avoir un paquet et c'est évolutif.