Fermer les popups de pub avec Selenium

Version imprimable

Bonjour a tous
je souhaite récupérer des des données depuis un site web en le parcourant avec la pagination, jusqu'ici tout va bien , mais après 2 pages le site affiche des popups de pub google et autres qui bloquent mon scripte, j'utilise la librairie selinium pour parcourir les pages, voici mon code :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
options = Options()
options.add_argument("--disable-notifications")
 
driver = webdriver.Chrome('C:\\Users\\Animalx\\Desktop\\Scrapping-oued\\chromedriver.exe',chrome_options=options)
 
driver.get('https://www.ouedkniss.com/automobiles')
cond = True
urls = []
 
while cond:
 
    annonces=driver.find_elements_by_class_name('annonce_titre')
    for i in annonces:
        urls.append(i.find_element_by_tag_name('a').get_property('href'))
    try:
        driver.find_element_by_class_name('page_arrow').click()
        if driver.find_element_by_xpath('//*[@id="creative-content"]/canvas'):
            #ici j'ai recupéré les xPath de la iframe et le boutton dimiss mais ca ne marche pas
            driver.find_element_by_xpath('//*[@id="dismiss-button"]/div/svg/path[1]').click()
            print('ads Bloked .................................')
 
    except:
        cond =False
 
print (len(urls))

j'ai beau cherché dans la documentations et les forums mais je ne trouve pas de solution;
Merci d'avance de votres aide.

14/09/2021, 22h38
wiztricks

Salut,

Citation:

Envoyé par animalx123

j'ai beau cherché dans la documentations et les forums mais je ne trouve pas de solution

SI je cherche avec les mots clefs "selenium handle popup", on trouve des tutos comme celui-ci (et d'autres).

Après si vous voulez qu'on vous les traduise en français... c'est pas moi qui va le faire.

- W

hello,
si tu accèdes aux autres pages de ton site non pas en cliquant sur le bouton suivant mais en chargeant la page concernée, il n'y a pas de pubs bloquantes.
Et pour accélérer le chargement des pages, il faut créer un profil dans un répertoire accessible en écriture (option --user-data-dir). Cela va permettre de gérer le cache, les cookies etc ...
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 # coding=utf-8 from selenium import webdriver from selenium.webdriver.chrome.options import Options options = Options() options.add_argument("--user-data-dir=D:\\Temp\\chrome") #Path to your chrome profile driver = webdriver.Chrome(options=options,service_args=["--verbose", "--log-path=D:\\temp\chrome.log"]) driver.set_window_size(640, 640) cond = True urls = [] j=1 while cond: driver.get('https://www.ouedkniss.com/automobiles/' + str(j)) annonces=driver.find_elements_by_class_name('annonce_titre') for i in annonces: urls.append(i.find_element_by_tag_name('a').get_property('href')) j +=1 if j == 10: # à modifier suivant le nombre de pages désirées cond = False print (len(urls))
Ami calmant, J.P

17/09/2021, 16h49
animalx123

ça vraiment réglé mon problème , merci @jurassic pork