Selenium vs Requests

Salut le Forum,

Sur certains sites, j'ai des difficultés à utiliser Requests (blocage de sécurité ?) et je dois passer par Selenium et donc ouvrir un Webdriver ce qui prend plus de temps et de charge.

Est ce que j'aurais oublié quelque chose dans mon utilisation de requests pour obtenir la bonne page et passer le soucis de verification/securité ?

Par exemple - Avec Selenium

Code:

---

1 2 3 4 5

my_search = "bonjour python" page_url = "https://www.startpage.com/do/search?q=" + my_search browser = webdriver.Chrome('/usr/local/bin/chromedriver') browser.get(page_url)

---

Par exemple - Avec Requests

Code:

---

1 2 3 4

my_search = "bonjour python" page_url = "https://www.startpage.com/do/search?q=" + my_search page = requests.get(page_url, stream = True)

---

Merci pour votre aide

Thais

Salut,

Citation:

---

Envoyé par thais781

Est ce que j'aurais oublié quelque chose dans mon utilisation de requests pour obtenir la bonne page et passer le soucis de verification/securité ?

---

Tout dépend de la fabrication du contenu de la page.

Vous avez des tas de sites Web dont le contenu est "dynamique" via du javascript qui sera exécuté dans le navigateur pour en charger différents morceaux...

Le plus simple pour faire le boulot d'un browser est de le faire faire par un browser. D'où Selenium qui a été à l'origine conçu pour tester des applications Web (depuis un navigateur donc) et pas pour faire du "scrapping".

Et si on utilise requests dans ce cas là, la page ne contient pas ce qu'on cherche (et c'est pas un problème de sécurité).

- W