Discussion :

[Xelland]

bonjour

je cherche à récupérer le contenu html d'un site
or la page n'est accessible qu'après un login/password (que j'ai)

je me suis dit que libcurl répondrait à mon besoin


les sites sont en https (je ne sais pas si ça change quelque chose ?)
pour le moment, j'arrive à récupérer la page d'accueil

mais ensuite, je ne sais pas comment fournir mes login et mot de passe au site et valider

mes problèmes :
- certains sites ont plusieurs boutons et je n'ai pas de champ "ID" juste "name" qui change (donc l'affichage) => comment dire quel bouton cliquer ?
- certains sites ont une redirection après validation du login/mot de passe => la page de login et la page qui m'intéresse sont différentes


s'il y a d'autres solutions possibles, autres que libcurl, ou en php (si on m'explique) ou autre, je prend aussi

merci

[foetus]

Pour réponde vite fait parce que ce n'est pas du C

En regardant vite fait sur les Internets, https change des choses : c'est le serveur qui t'envoie 1 clef publique pour que tu chiffres les messages.
Mais je sais pas si c'est le comportement standard des serveurs https ou s'il y a d'autres comportements.

Et au delà de l'interface, lorsque tu cliques sur 1 bouton tu envoies 1 requête. Donc soit tu regardes le code source (html), soit tu sniffes la connexion.
Mais si c'est en https, tu ne verras rien si tu sniffes.

[-Eks-]

libcurl gère https avec les bibliothèques OpenSSL.

Tu ne t'en sert pas pour "cliquer sur un bouton", mais pour gérer des requêtes http et récupérer le résultat de ces requêtes.

Il faut regarder le code html de la page pour savoir quelles requêtes sont faites et le cheminement pour arriver à la page souhaitée.

La plupart du temps une authentification est faite avec un formulaire (balise <form>) et une requête POST avec les données encodées en multipart/form-data vers une adresse du serveur et suppose aussi de récupérer et renvoyer le cookie de session. Curl sait faire tout cela.

Pour savoir quoi faire, outre l'inspection du code source, et plutôt que de sniffer le trafic réseau, tu peux utiliser les "developper tools" du navigateur pour observer les requêtes et réponses dans l'onglet "network" de ces outils.

Chrome permet même, en faisant un clic droit sur une requête donnée, de copier le contenu de la requête au format de ligne de commande Curl.

Curl est, en effet, aussi un outil de ligne de commande. Une fois que tu disposes de la succession de commandes Curl, tu disposes d'éléments de compréhension pour les transposer sous la forme de code C utilisant la bibliothèque libcurl (c'est particulièrement utile pour les requêtes Ajax que tu peux filtrer en cliquant sur "XHR" dans Chrome).

https://curl.se/libcurl/c/https.html (désactive la vérification du certificat et du nom d'hôte si tu as confiance dans les adresses utilisées, cela te simplifiera la vie)
https://curl.se/libcurl/c/http-post.html
https://curl.se/libcurl/c/cookie_interface.html

Utilise les exemples de code C là : https://curl.se/libcurl/c/example.html mais vu tes questions, tu as plus besoin de te renseigner sur html et le fonctionnement du protocole http et d'un serveur Web.

[Xelland]

Pour réponde vite fait parce que ce n'est pas du C

libcurl c'est du C
d'où ma question ici
je pensais interfacer avec un programme C plutôt qu'appeler curl en ligne de commande

Pour savoir quoi faire, outre l'inspection du code source, et plutôt que de sniffer le trafic réseau, tu peux utiliser les "developper tools" du navigateur pour observer les requêtes et réponses dans l'onglet "network" de ces outils.

j'avais déjà regardé cette zone

Une fois que tu disposes de la succession de commandes Curl, tu disposes d'éléments de compréhension pour les transposer sous la forme de code C utilisant la bibliothèque libcurl

ok, donc il faut que je vois comment convertir la ligne curl en libcurl

je vais regarder

merci

[ternel]

Petite précision pour la postérité:

En fait curl, l'outil, est une très très petite interface ligne de commande autour de libcurl.
chaque fonction de libcurl est représentée par une commande.

Du coup, les deux vont de paire.