Discussion :

[FLYeRNeT]

Bonjour,

J'aurais besoins de conseils, j'aimerai automatiser l'analyse de page web depuis une application C# client lourd afin de faire des statistiques par exemple, et aussi pouvoir interagir avec des sites web, par exemple en fonction de mes statistiques cliquer sur un bouton dans la page web.

J'ai essayé le pilotage de Firefox avec Selenium WebDriver, mais ça ne semble pas bien fonctionner avec les dernières versions de Firefox...

Je souhaiterai donc connaitre les meilleurs Nuget Packages ou autres moyens à utiliser ?

Merci d'avance pour vos réponses,

[Max]

Salut

Deux possibilités :

• soit tu as accès légalement à ces sites (ils sont ta propriété, celle de ta boîte, celle de ton ou tes clients, etc.) et la solution combo crawling/simulation de clics sur des sites web est foireuse (parce que dans ce contexte tu as accès aux backends, à des webservices, des bases de données, etc. te permettant de faire des stats ; parce que si le bouton bouge de trois pixels ta solution peut s'arrêter de fonctionner ; etc. etc.) ;
• soit c'est illégal auquel cas on ne peut pas en parler ici .

[FLYeRNeT]

Salut

Deux possibilités :

• soit tu as accès légalement à ces sites (ils sont ta propriété, celle de ta boîte, celle de ton ou tes clients, etc.) et la solution combo crawling/simulation de clics sur des sites web est foireuse (parce que dans ce contexte tu as accès aux backends, à des webservices, des bases de données, etc. te permettant de faire des stats ; parce que si le bouton bouge de trois pixels ta solution peut s'arrêter de fonctionner ; etc. etc.) ;
• soit c'est illégal auquel cas on ne peut pas en parler ici .

Merci pour ta réponse max
Je viens de faire un essai avec HTMLAgilityPack, ça fonctionne bien pour lire des pages sans aller plus loin, mais pour certaines pages j'ai besoin de me logguer c'est pour ça que je demande des conseils pour gagner du temps.
Je ne demande pas de code mais juste des noms de bibliothèques, où de librairies du Framework .Net à utiliser pour lire des pages web en étant loggué.

[François DORIN]

Salut

Deux possibilités :

• soit tu as accès légalement à ces sites (ils sont ta propriété, celle de ta boîte, celle de ton ou tes clients, etc.) et la solution combo crawling/simulation de clics sur des sites web est foireuse (parce que dans ce contexte tu as accès aux backends, à des webservices, des bases de données, etc. te permettant de faire des stats ; parce que si le bouton bouge de trois pixels ta solution peut s'arrêter de fonctionner ; etc. etc.) ;
• soit c'est illégal auquel cas on ne peut pas en parler ici .

Ce n'est pas aussi manichéen dans la vraie vie

Il existe de nombreuses raisons qui peuvent pousser à faire cela sans être "propriétaire" (au sens large) d'un site sans pour autant que cela sois illégal. On peut vouloir se connecter au site de son opérateur pour récupérer automatiquement sa dernière facture, récupérer automatiquement son relevé de compte, etc.

Bref, une autre possibilité (histoire de revenir au sujet initial). Tu peux utiliser Chromium. CEFChromium sera ton ami en C#. Il te permet de charger des sites et d’interagir avec eux. Tu peux le faire soit avec un visuel (il y a un widget WinFrom et WPF) soit sans visuel (OffScreen).

[FLYeRNeT]

Merci pour ce retour François DORIN

Je regarde CEFChromium