Discussion :

[animalx123]

Bonjour a tous
je souhaite récupérer des des données depuis un site web en le parcourant avec la pagination, jusqu'ici tout va bien , mais après 2 pages le site affiche des popups de pub google et autres qui bloquent mon scripte, j'utilise la librairie selinium pour parcourir les pages, voici mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
options = Options()
options.add_argument("--disable-notifications")
 
driver = webdriver.Chrome('C:\\Users\\Animalx\\Desktop\\Scrapping-oued\\chromedriver.exe',chrome_options=options)
 
driver.get('https://www.ouedkniss.com/automobiles')
cond = True
urls = []
 
while cond:
 
    annonces=driver.find_elements_by_class_name('annonce_titre')
    for i in annonces:
        urls.append(i.find_element_by_tag_name('a').get_property('href'))
    try:
        driver.find_element_by_class_name('page_arrow').click()
        if driver.find_element_by_xpath('//*[@id="creative-content"]/canvas'):
            #ici j'ai recupéré les xPath de la iframe et le boutton dimiss mais ca ne marche pas
            driver.find_element_by_xpath('//*[@id="dismiss-button"]/div/svg/path[1]').click()
            print('ads Bloked .................................')
 
    except:
        cond =False
 
print (len(urls))

j'ai beau cherché dans la documentations et les forums mais je ne trouve pas de solution;
Merci d'avance de votres aide.

[wiztricks]

Salut,

j'ai beau cherché dans la documentations et les forums mais je ne trouve pas de solution

SI je cherche avec les mots clefs "selenium handle popup", on trouve des tutos comme celui-ci (et d'autres).

Après si vous voulez qu'on vous les traduise en français... c'est pas moi qui va le faire.

- W

[jurassic pork]

hello,
si tu accèdes aux autres pages de ton site non pas en cliquant sur le bouton suivant mais en chargeant la page concernée, il n'y a pas de pubs bloquantes.
Et pour accélérer le chargement des pages, il faut créer un profil dans un répertoire accessible en écriture (option --user-data-dir). Cela va permettre de gérer le cache, les cookies etc ...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# coding=utf-8
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument("--user-data-dir=D:\\Temp\\chrome") #Path to your chrome profile
driver = webdriver.Chrome(options=options,service_args=["--verbose", "--log-path=D:\\temp\chrome.log"])
driver.set_window_size(640, 640)
cond = True
urls = []
j=1
while cond:
    driver.get('https://www.ouedkniss.com/automobiles/' + str(j))
    annonces=driver.find_elements_by_class_name('annonce_titre')
    for i in annonces:
        urls.append(i.find_element_by_tag_name('a').get_property('href'))
    j +=1
    if j == 10: # à modifier suivant le nombre de pages désirées
        cond = False
 
 
print (len(urls))

Ami calmant, J.P

[animalx123]

ça vraiment réglé mon problème , merci @jurassic pork