Navigation web automatique avec login

Bonjour,

Je cherche la meilleure solution pour un projet personnel, et j'aurai besoin de votre aide.

L'idée serait d'avoir un programme C# (Java n'est pas mon ami) qui s'authentifie sur une page web, puis va sur une autre pour récupérer des informations (chargées en JavaScript) et en fonction des liens et libellés de ceux-ci, continuer sa navigation. L'idéal étant que ce programme puisse tourner en tache de fond toutes les 5 minutes, en consommant le moins de ressources possibles.

J'ai d'abord penser à Selenium, mais ça ne gère pas les conditions.
J'ai tenté avec XML Agility pack, mais trop compliqué de passer la connexion (qui n'accepte pas les connexions de robots).

Sans autre idée, je vais tenter avec Web Browser. Cela me permettra de passer l'authentification, et normalement de pouvoir tester les liens. Quand pensez-vous? D'autres idées pour me simplifier la tâche et ne pas ré inventez la roue? Des idées de tutoriels à suivre?

Merci pour vos pistes.

Citation:

---

Envoyé par crommm

J'ai d'abord penser à Selenium, mais ça ne gère pas les conditions.

---

Peux-tu preciser a quel genre de conditions tu fais reference ?

Citation:

---

Envoyé par crommm

J'ai tenté avec XML Agility pack, mais trop compliqué de passer la connexion (qui n'accepte pas les connexions de robots).

---

Tu dois surement faire reference a HTML Agility Pack. As-tu essaye de modifier le User Agent pour ne pas etre identifie comme in robot ?

Citation:

---

Envoyé par crommm

Sans autre idée, je vais tenter avec Web Browser. Cela me permettra de passer l'authentification, et normalement de pouvoir tester les liens. Quand pensez-vous? D'autres idées pour me simplifier la tâche et ne pas ré inventez la roue? Des idées de tutoriels à suivre?

---

Selenium est probablement la meilleure solution. HTML Agility Pack est sans aucun doute la seconde.

Tout d'abord merci pour ta réponse

Citation:

---

Envoyé par DotNetMatt

Peux-tu preciser a quel genre de conditions tu fais reference ?

---

Par exemple connaitre les différents objets envoyés par Amazon dans une liste de commande (javascript), et récupérer les liens de ces objets pour ensuite vérifier les prix

Citation:

---

Envoyé par DotNetMatt

Tu dois surement faire reference a HTML Agility Pack. As-tu essaye de modifier le User Agent pour ne pas etre identifie comme in robot ?

---

Oui pardon, HTML Agility Pack afin de ne pas avoir à parser tout le xml. Au delà de l'user Agent, il semble que des cookies différents soient envoyés à chaque fois pour éviter la connexion (le site c'est Amazon)

Citation:

---

Envoyé par DotNetMatt

Selenium est probablement la meilleure solution. HTML Agility Pack est sans aucun doute la seconde.

---

Selenium, sauf erreur de ma part, ne gère pas les conditions et boucles. HTML Agility Pack n'arrive pas à se connecter. En faisant tout depuis un web browser, ça serait vraiment moins bon?

Citation:

---

Envoyé par crommm

En faisant tout depuis un web browser, ça serait vraiment moins bon?

---

Ben tu vas devoir tout reinventer et ca ne sera pas une mince affaire...
Je suis sur que Selenium gere tout ca, mais il doit y avoir une syntaxe particuliere. Si j'ai le temps j'essaierai de pondre un bout de code, mais je ne garantis pas quand (si quelqu'un passe entre temps, n'hesitez pas !).

Quand a HTML Agility Pack il est aussi possible de gerer les cookies. Apres pour etre honete je ne sais pas precisement comment reagit le site d'Amazon...

D'après ce que j'ai pu trouver, Amazon tente de bloquer en envoyant différents cookies.

Pour Selenium, j'arrive bien à me connecter, mais une fois sur la page voulue je récupère tous les liens (des commandes délivrée par le Javascript + tous ceux présents sur la page Amazon) mais je n'arrive pas ensuite à ne choisir que les liens voulus pour les ouvrir.

Amazon fournis des API pour les vendeurs, mais ce n'est pas mon cas