Bonjour a tous
je souhaite récupérer des des données depuis un site web en le parcourant avec la pagination, jusqu'ici tout va bien , mais après 2 pages le site affiche des popups de pub google et autres qui bloquent mon scripte, j'utilise la librairie selinium pour parcourir les pages, voici mon code :
Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
options = Options()
options.add_argument("--disable-notifications")
 
driver = webdriver.Chrome('C:\\Users\\Animalx\\Desktop\\Scrapping-oued\\chromedriver.exe',chrome_options=options)
 
driver.get('https://www.ouedkniss.com/automobiles')
cond = True
urls = []
 
while cond:
 
    annonces=driver.find_elements_by_class_name('annonce_titre')
    for i in annonces:
        urls.append(i.find_element_by_tag_name('a').get_property('href'))
    try:
        driver.find_element_by_class_name('page_arrow').click()
        if driver.find_element_by_xpath('//*[@id="creative-content"]/canvas'):
            #ici j'ai recupéré les xPath de la iframe et le boutton dimiss mais ca ne marche pas
            driver.find_element_by_xpath('//*[@id="dismiss-button"]/div/svg/path[1]').click()
            print('ads Bloked .................................')
 
    except:
        cond =False
 
print (len(urls))
j'ai beau cherché dans la documentations et les forums mais je ne trouve pas de solution;
Merci d'avance de votres aide.