Discussion :

[thais781]

Salut le Forum,

Sur certains sites, j'ai des difficultés à utiliser Requests (blocage de sécurité ?) et je dois passer par Selenium et donc ouvrir un Webdriver ce qui prend plus de temps et de charge.

Est ce que j'aurais oublié quelque chose dans mon utilisation de requests pour obtenir la bonne page et passer le soucis de verification/securité ?

Par exemple - Avec Selenium

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
my_search = "bonjour python"
page_url = "https://www.startpage.com/do/search?q=" + my_search
browser = webdriver.Chrome('/usr/local/bin/chromedriver')
browser.get(page_url)

Par exemple - Avec Requests

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
my_search = "bonjour python"
page_url = "https://www.startpage.com/do/search?q=" + my_search
page = requests.get(page_url, stream = True)

Merci pour votre aide

Thais

[wiztricks]

Salut,

Est ce que j'aurais oublié quelque chose dans mon utilisation de requests pour obtenir la bonne page et passer le soucis de verification/securité ?

Tout dépend de la fabrication du contenu de la page.

Vous avez des tas de sites Web dont le contenu est "dynamique" via du javascript qui sera exécuté dans le navigateur pour en charger différents morceaux...

Le plus simple pour faire le boulot d'un browser est de le faire faire par un browser. D'où Selenium qui a été à l'origine conçu pour tester des applications Web (depuis un navigateur donc) et pas pour faire du "scrapping".

Et si on utilise requests dans ce cas là, la page ne contient pas ce qu'on cherche (et c'est pas un problème de sécurité).

- W