Discussion :

[Arsene12]

Bonjour,

j'ai un code qui copie le code source d'une page web.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
import requests
 
requete = requests.get("https://www.xxxx.com")
page = requete.content
f1=open("maPage.txt","w",encoding="utf-8-sig")
f1.write(str(page))
f1.close()

j'ai une page web N°1 qui donne accés à une page web N°2 en tapant un mot dans un champs de texte et en cliquant sur un bouton OK.

Je dispose du mot qu'il faut taper et je voudrais copier le code source de la page web N°2 avec python.

Sauriez-vous comment faire, svp?

Merci d'avance.
Arsène.

[marco056]

Pour ce genre de choses, j'utilise selenium.

[wiztricks]

Salut,

Je dispose du mot qu'il faut taper et je voudrais copier le code source de la page web N°2 avec python.

Pour récupérer une page Web, il faut connaître son URL (http://....) et si cette URL doit être extraite d'une autre page, il faut apprendre à y naviguer dedans avec des outils comme BeautifulSoup (ou plus simple, çà dépend de son contenu).

- W

[Fifan31]

Salut,

S'il suffit de faire une première requête pour obtenir la première page, analyser le contenu de celle-ci pour connaître l'url de la 2e, je recommande l'utilisation beautifulsoup comme Wiztricks.
Si tu dois interagir avec la page (remplir un formulaire, cliquer sur des bouton), j'avais utilisé avec succès MechanicalSoup.

- F

[Arsene12]

Merci pour vos réponses. J'ai essayé d'utiliser Selenium (livre). Je l'ai fait à l'aide de ce lien. Malheureusement, j'ai obtenu cette erreur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead

Voici le code utilisé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
from selenium import webdriver
driver = webdriver.PhantomJS()
driver.set_window_size(1120, 550)
driver.get("https://www.google.fr/")
driver.find_element_by_class_name("gsfi").send_keys("campus booster")
driver.find_element_by_class_name("sbico").click()  # je comprends pas cette ligne
driver.find_element_by_css_selector(".r:first-child").click()
print(" Vous etes bien connectes à Campus Booster. Voici l URL de la page : ' + driver.current_url'")
driver.save_screenshot("screenshot.png")
driver.quit()

Je vais devoir utiliser Firefox in headless mode

[Arsene12]

Ce code permet de se connecter à une page web et de faire une copie écran. Il faut auparavant avoir installer Selenium et, pour pouvoir utiliser Chrome, avoir inséré l'exécutable chromedriver.exe dans le dossier selenium\webdriver\chrome.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
from selenium import webdriver
path=r"C:\Users\myUserName\AppData\Local\Programs\Python\Python36-32\Lib\site-packages\selenium\webdriver\chrome\chromedriver.exe"
driver=webdriver.Chrome(path)
driver.get("http://www.google.com")
html = driver.page_source
print(html)
 
driver.save_screenshot("screenshot.png")
 
driver.close()
driver.quit()

J'ai voulu utiliser GeckoDriver qui permet d'utiliser différents navigateurs dont Firefox.
J'ai déposé geckodriver.exe dans le dossier firefox mais ça marche pas.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
path=r"C:\Users\myUserName\AppData\Local\Programs\Python\Python36-32\Lib\site-packages\selenium\webdriver\firefox\geckodriver.exe"
driver=webdriver.Firefox(path)

Puisque chrome fonctionne, je voudrais à partir de google aller sur la page de wikipédia.
Si je rajoute la ligne de code suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

driver.find_element_by_class_name("gsfi").send_keys("wikipedia")

J'obtiens :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"class name","selector":"gsfi"}

Je pense qu'il faut peut-être taper un autre nom que "gsfi". En inspectant l'élément dans Chrome, je suis pas arrivé à voir le nom de la class_name.

J'ai aussi essayé sans succès ce code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
input = driver.find_element_by_name("Rechercher")
input.send_keys("wikipedia")

[Arsene12]

Voici la solution qui nécessite donc d'avoir installé selenium et rajouté l’exécutable chromedriver.exe dans le dossier selenium\webdriver\chrome :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
import time
 
from selenium import webdriver
path=r"C:\Users\arsen\AppData\Local\Programs\Python\Python36-32\Lib\site-packages\selenium\webdriver\chrome\chromedriver.exe"
driver=webdriver.Chrome(path)
driver.get("http://www.google.com")
 
element = driver.find_element_by_name("q")
 
element.send_keys("wikipedia")
element.submit()
 
driver.find_element_by_css_selector(".r:first-child").click()
 
driver.save_screenshot("screenshot.png")
 
time.sleep(5)
 
driver.close()
driver.quit()

Ce code ouvre le navigateur Chrome, va sur la page d’accueil de Google, tape Wikipédia, effectue la recherche et clique sur le premier lien trouvé qui nous amène sur la page d'accueil de Wikipédia.