Scrapping web dans un navigateur déjà ouvert

Bonjour a toutes et a tous,
je vous explique ...
J'occupe actuellement un poste dans un service informatique et on as des outils qui nous permettent d'aller chercher des infos diverses et variés . Ces outils sont dans une page web et j'aimerais recuperer toutes les infos automatiquement et toutes les obtenir dans une seule page ou interface que j'aurais creer et qui seras beaucoup plus simple d'utilisation et qui m'eviteras de devoir jongler entre les differents outils pour aller chercher les infos a droite a gauche . J'ai deja fait du scrapping avec BS et Selenium le probleme c'est que je dois entrer l'url a chaque fois et que je dois me reconnecter a chaque fois. Hors mon mdp change toutes les 30secondes donc impossible de l'inscrire en dure ni de le recuperer et de le transferer directement dans python( et puis pas sur que ça plaise a mes sups de voir 3000 reconnection par jour) fin bref j'aimerais trouver une solution pour faire du scrapping dans une page web deja ouverte dans un navigateur chrome ou internet explorer(Tres mal foutu les outils, il e faut une solution pour les 2) . Peut etre une extension sur chrome?? Aucune idée pour Internet Explorer en tout cas fin si on arrive deja sur chrome c'est pas mal . Aucune idée de si c'est possible de faire une extension sur chrome en python et ni meme si ça marcheras .
Merci a tous pour toute l'aide que vous pourrez m'apporter
Bonne soirée/ Bonne journée

Salut,

Se reconnecter à une session de navigateur existante pourrait être une fonctionnalité de Selenium. Si elle existe, il devrait y en avoir des traces sur Internet...

- W

Citation:

---

Envoyé par wiztricks

Salut,

Se reconnecter à une session de navigateur existante pourrait être une fonctionnalité de Selenium. Si elle existe, il devrait y en avoir des traces sur Internet...

- W

---

Alors de ce que j'ai vu dans la documentation sélénium on ne peut pas faire ça même avec un navigateur déjà ouvert par sélénium il faut que ça soit dans le même code lancé .Si j'arrive à faire une interface et à garder le même navigateur pour toute les recherches et faire apparaître les résultats dans l'interface ça pourrait être une solution .J'ai passer ma nuit a faire des recherches et quand j'ai enfin trouvé le sommeil illumination 😂,
Merci de ton aide en tout cas

hello,
pour pouvoir mémoriser les cookies, l'historique, les mots de passe enregistrés etc... dans selenium, il faut utiliser un profil. Dans les options il faut indiquer là où l'on veut que le profil soit stocké.
exemple pour chrome :

Code:

---

1 2 3

options = Options() options.add_argument("--user-data-dir=D:\\Temp\\chrome") driver = webdriver.Chrome('chromedriver.exe',options=options)

---

Ami calmant, J.P

Bonjour J-P,
Merci pour ces infos effectivement quand j'avais voulu modifier mon agenda Google j'avais utiliser cette fonctionnalité car je n'arrivais pas à utiliser l'API Google mais la ça ne fonctionnera pas car même si j'enregistre le mot de passe il change toutes les 30 secondes donc impossible de le sauvegarder dans un profil
Bonne journée ,merci du temps que vous m'accordez

Citation:

---

Envoyé par NIX3S

Alors de ce que j'ai vu dans la documentation sélénium on ne peut pas faire ça même avec un navigateur déjà ouvert par sélénium il faut que ça soit dans le même code lancé

---

Si je cherche, je trouve ceci qui me semble testable (et que je ne testerai pas pour vous).

- W

Citation:

---

Envoyé par NIX3S

c'est que je dois entrer l'url a chaque fois et que je dois me reconnecter a chaque fois. Hors mon mdp change toutes les 30secondes donc impossible de l'inscrire en dure ni de le recuperer et de le transferer directement dans python( et puis pas sur que ça plaise a mes sups de voir 3000 reconnection par jour)

---

Normalement avec Selenium + profil cela doit fonctionner comme un navigateur standard --> Si l'on s'est connecté il y a le cookie de connexion qui est mémorisé (si le site cible le permet) et donc on reste connecté tant que le cookie est pris en compte.

Citation:

---

Envoyé par wiztricks

Si je cherche, je trouve ceci qui me semble testable (et que je ne testerai pas pour vous).

- W

---

Bonjour ,
Ah carrément bien vu pourtant c'est pas faute d'avoir chercher ,mais j'avais pas vu ça de ce que j'ai compris on ouvre un navigateur avec sélénium et on récupère les données de ce navigateur pour faire les recherches .Ça a l'air de fonctionner à peu près j'ai la page pendant quelques secondes mais après il me dit que j'utilise un robot et il bloque la page .Il y a moyen de faire en sorte que ça soit pas détecter ?
Merci en tout cas un grand pas en avant dans mon projet
Comment t'as trouver cette réponse ?

Citation:

---

Envoyé par jurassic pork

Normalement avec Selenium + profil cela doit fonctionner comme un navigateur standard --> Si l'on s'est connecté il y a le cookie de connexion qui est mémorisé (si le site cible le permet) et donc on reste connecté tant que le cookie est pris en compte.

---

Oui effectivement en théorie oui mais là déjà je sais pas ce qu'ils font avec les cookies ni où ils les stockent je les trouvent pas dans le cache et puis le probleme c'est que sélénium quand il lance le navigateur il le prend à l'instant t mais le tant que ça se lance et que j'arrive sur la page ils ont déjà supprimer ce cookie et en on recréer un autre

Citation:

---

Envoyé par NIX3S

Comment t'as trouver cette réponse ?

---

En lisant votre sujet, j'en ai sorti les mots clefs "selenium connect browser session" et le reste vient tout seul.

notes: j'avais trouvé ces pistes avant ma première réponse.... et je me demande si nous ne sommes pas juste des sortes d'écrivains publics sachant chercher sur Internet.

- W