Accéder à une 2ème page web

Bonjour,

j'ai un code qui copie le code source d'une page web.

Code:

---

1 2 3 4 5 6 7

import requests   requete = requests.get("https://www.xxxx.com") page = requete.content f1=open("maPage.txt","w",encoding="utf-8-sig") f1.write(str(page)) f1.close()

---

j'ai une page web N°1 qui donne accés à une page web N°2 en tapant un mot dans un champs de texte et en cliquant sur un bouton OK.

Je dispose du mot qu'il faut taper et je voudrais copier le code source de la page web N°2 avec python.

Sauriez-vous comment faire, svp?

Merci d'avance.
Arsène.

Pour ce genre de choses, j'utilise selenium.

Salut,

Citation:

---

Envoyé par Arsene12

Je dispose du mot qu'il faut taper et je voudrais copier le code source de la page web N°2 avec python.

---

Pour récupérer une page Web, il faut connaître son URL (http://....) et si cette URL doit être extraite d'une autre page, il faut apprendre à y naviguer dedans avec des outils comme BeautifulSoup (ou plus simple, çà dépend de son contenu).

- W

Salut,

S'il suffit de faire une première requête pour obtenir la première page, analyser le contenu de celle-ci pour connaître l'url de la 2e, je recommande l'utilisation beautifulsoup comme Wiztricks.
Si tu dois interagir avec la page (remplir un formulaire, cliquer sur des bouton), j'avais utilisé avec succès MechanicalSoup.

- F

Merci pour vos réponses. J'ai essayé d'utiliser Selenium (livre). Je l'ai fait à l'aide de ce lien. Malheureusement, j'ai obtenu cette erreur :

Code:

---

Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead

---

Voici le code utilisé :

Code:

---

1 2 3 4 5 6 7 8 9 10

from selenium import webdriver driver = webdriver.PhantomJS() driver.set_window_size(1120, 550) driver.get("https://www.google.fr/") driver.find_element_by_class_name("gsfi").send_keys("campus booster") driver.find_element_by_class_name("sbico").click() # je comprends pas cette ligne driver.find_element_by_css_selector(".r:first-child").click() print(" Vous etes bien connectes à Campus Booster. Voici l URL de la page : ' + driver.current_url'") driver.save_screenshot("screenshot.png") driver.quit()

---

Je vais devoir utiliser Firefox in headless mode

Ce code permet de se connecter à une page web et de faire une copie écran. Il faut auparavant avoir installer Selenium et, pour pouvoir utiliser Chrome, avoir inséré l'exécutable chromedriver.exe dans le dossier selenium\webdriver\chrome.

Code:

---

1 2 3 4 5 6 7 8 9 10 11

from selenium import webdriver path=r"C:\Users\myUserName\AppData\Local\Programs\Python\Python36-32\Lib\site-packages\selenium\webdriver\chrome\chromedriver.exe" driver=webdriver.Chrome(path) driver.get("http://www.google.com") html = driver.page_source print(html)   driver.save_screenshot("screenshot.png")   driver.close() driver.quit()

---

J'ai voulu utiliser GeckoDriver qui permet d'utiliser différents navigateurs dont Firefox.
J'ai déposé geckodriver.exe dans le dossier firefox mais ça marche pas.

Code:

---

1 2	path=r"C:\Users\myUserName\AppData\Local\Programs\Python\Python36-32\Lib\site-packages\selenium\webdriver\firefox\geckodriver.exe" driver=webdriver.Firefox(path)

---

Puisque chrome fonctionne, je voudrais à partir de google aller sur la page de wikipédia.
Si je rajoute la ligne de code suivante :

Code:

---

driver.find_element_by_class_name("gsfi").send_keys("wikipedia")

---

J'obtiens :

Code:

---

selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"class name","selector":"gsfi"}

---

Je pense qu'il faut peut-être taper un autre nom que "gsfi". En inspectant l'élément dans Chrome, je suis pas arrivé à voir le nom de la class_name.

J'ai aussi essayé sans succès ce code :

Code:

---

1 2	input = driver.find_element_by_name("Rechercher") input.send_keys("wikipedia")

---

Voici la solution qui nécessite donc d'avoir installé selenium et rajouté l’exécutable chromedriver.exe dans le dossier selenium\webdriver\chrome :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

import time   from selenium import webdriver path=r"C:\Users\arsen\AppData\Local\Programs\Python\Python36-32\Lib\site-packages\selenium\webdriver\chrome\chromedriver.exe" driver=webdriver.Chrome(path) driver.get("http://www.google.com")   element = driver.find_element_by_name("q")   element.send_keys("wikipedia") element.submit()   driver.find_element_by_css_selector(".r:first-child").click()   driver.save_screenshot("screenshot.png")   time.sleep(5)   driver.close() driver.quit()

---

Ce code ouvre le navigateur Chrome, va sur la page d’accueil de Google, tape Wikipédia, effectue la recherche et clique sur le premier lien trouvé qui nous amène sur la page d'accueil de Wikipédia.