Soucis avec CURL

**thais781** · 26/03/2013, 11h19

Bonjour,

J'ai un petit soucis avec CURL.
J'essaye de récupérer le code source d'une page.

Par exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

http://fr.viadeo.com/recherche/resultat_membres/?fullName=toto+jjhjjhjhjhjhjhjh&ga_from=Tfrom%3Ageneral%3BBfrom%3Asearch-topright-submit%3BEfrom%3Aex-sugg%3B

Avec le code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
set MyURL to "http://fr.viadeo.com/recherche/resultat_membres/?fullName=toto+jjhjjhjhjhjhjhjh&ga_from=Tfrom%3Ageneral%3BBfrom%3Asearch-topright-submit%3BEfrom%3Aex-sugg%3B"
set the_page to do shell script "curl " & MyURL

SI l'on regarde le code source de cette page avec firefox, on verra le <title> avec une valeur "Aucun membre ..."
Hors avec le resultat du CURL, je ne retrouve pas cette valeur dans le <Title>

Quelqu'un aurait une solution ?

Thais

**N_BaH** · 26/03/2013, 11h28

Bonjour,

modifie le --user-agent...
?

Envoyé par thais781

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
set MyURL to "http://fr.viadeo.com/recherche/resultat_membres/?fullName=toto+jjhjjhjhjhjhjhjh&ga_from=Tfrom%3Ageneral%3BBfrom%3Asearch-topright-submit%3BEfrom%3Aex-sugg%3B"
set the_page to do shell script "curl " & MyURL

quel est ce langage ?

**thais781** · 26/03/2013, 11h54

Bonjour,

Merci pour ton aide.

C'est de l'AppleScript.
On peut executer du shell script à partir de l'applescript ....

J'ai essayé donc

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
set MyURL to "http://fr.viadeo.com/recherche/resultat_membres/?fullName=toto+jjhjjhjhjhjhjhjh&ga_from=Tfrom%3Ageneral%3BBfrom%3Asearch-topright-submit%3BEfrom%3Aex-sugg%3B"
set the_page to do shell script "curl --user -agent " & MyURL

Mais le resultat est le meme ...
La valeur du <Title> n'est pas la bonne

Une autre idée, ou peut être que je n'utilise pas la syntaxe comme il faut ?

Thais

**N_BaH** · 26/03/2013, 12h12

bah ? il faut donner les renseignements concernant le navigateur que curl prétendra être !
curl --user-agent 'Mozilla/5.0'[...]

**thais781** · 26/03/2013, 12h39

Désolé, mais je suis vraiment débutante en CURL, AppleScript je maitrise bien, mais pas CURL

J'ai donc essayé

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

set the_page to do shell script "curl --user-agent 'Mozilla/5.0' fr.viadeo.com/recherche/resultat_membres/?fullName=toto+jjhjjhjhjhjhjhjh&ga_from=Tfrom%3Ageneral%3BBfrom%3Asearch-topright-submit%3BEfrom%3Aex-sugg%3B"

Même résultat ... même si je fais le curl directement depuis mon terminal, meme resultat.

Est ce que quand tu fais cette manip chez toi tu as bien une valeur "Aucun membre ..." juste après <title> ?

Merci pour ton aide précieuse.

Thais

**jack-ft** · 26/03/2013, 12h49

Envoyé par thais781

Est ce que quand tu fais cette manip chez toi tu as bien une valeur "Aucun membre ..." juste après <title> ?

Je n'ai pas curl installé, mais comme la chaîne passée contient le caractère '&', il lance (une partie seulement de) la commande en bg. Je suggèrerais bien de la mettre entre quotes (simple quotes si pas de variable, double sinon):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

curl --user-agent 'Mozilla/5.0' 'fr.viadeo.com/recherche/resultat_membres/?fullName=toto+jjhjjhjhjhjhjhjh&ga_from=Tfrom%3Ageneral%3BBfrom%3Asearch-topright-submit%3BEfrom%3Aex-sugg%3B'

**thais781** · 26/03/2013, 14h57

Bonjour,

Je viens de tester (même résultat)
Ci-joint le résultat dans le fichier txt si tu n'as pas CURL.
Et il y a une différence avec le fichier sur internet (même URL)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

fr.viadeo.com/recherche/resultat_membres/?fullName=toto+jjhjjhjhjhjhjhjh&ga_from=Tfrom%3Ageneral%3BBfrom%3Asearch-topright-submit%3BEfrom%3Aex-sugg%3B

Avez-vous une idée ?

Thais

**zipe31** · 26/03/2013, 15h17

Salut,

Est-ce que la même URL depuis un navigateur (avec les bons pseudo et mot de passe) te renvoie le résultat désiré ?

Sinon, peut être te faudra-t-il passer par une authentification avec récupération du cookie et ensuite ta requête avec un paramètre supplémentaire pour le cookie...

**thais781** · 26/03/2013, 15h59

ahhhh

Je crois que tu es sur la bonne voie ...
Oui en effet, viadeo est un site ou il faut être identifié et oui quand je suis identifié et que je regarde le fichier source sur firefox c'est bon.

Le pb est donc que Curl va chercher la page web sans authentification ....

Tu sais comment je peux récupérer mes cookies d'authentification et les reinjecté dans curl ?

Merci pour ton aide

Thais

**zipe31** · 26/03/2013, 16h14

Récupération du cookie (la syntaxe des data est en fonction du POST du site) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

curl -s --cookie-jar cookie.txt --data 'data_de_connexion_avec_pseudo_et_password' -L 'URL_du_site'

Requête avec cookie :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

curl -s -b cookie.txt -L 'URL+requête'

**thais781** · 26/03/2013, 16h23

Merci pour ton aide, mais je suis vraiment nulle en CURL

Donc URL_du_site : http://www.viadeo.com/?actionId=0..... ma page perso
et data_de_connexion_avec_pseudo_et_password ????

En fait je ne sais pas comment on récupère ces cookie ...

Thais

**jack-ft** · 26/03/2013, 16h42

Envoyé par thais781

En fait je ne sais pas comment on récupère ces cookie ...

Thais

menu Firefox -> Options -> Options
onglet Vie privée
clic lien "supprimer des cookies spécifiques"
Rechercher: "viadeo" RETURN
=> environ 6 cookies (affiliate __utma __utmb ...)
en cliquant une fois pour sélectionner un cookie, tu peux récupérer son nom et sa valeur dans la partie basse de la fenêtre.
Attention! il y a des dates d'expiration...

**zipe31** · 26/03/2013, 16h46

Je viens d'y jeter un oeil et je ne sais pas si ça va être possible

Il y a un truc qui me gène dans la requête, c'est le "formRandKey=f3sxdpqioeoix51f". Je n'ai aucune idée de comment c'est généré et si ça sert vraiment pour l'authentification

Essaie un truc comme ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

curl --cookie-jar cookie.txt --data 'formKey=com.viaduc.forms.signin.SignInForm&formRandKey=f3sxdpqioeoix51f&lang=&email=USER%40FAI.tld&password=PASS&monthAutoConnect=on&connexion=' -L 'https://secure.viadeo.com/r/account/authentication/signin'

Puis :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

curl -s -b cookie.txt -L 'fr.viadeo.com/recherche/resultat_membres/?fullName=toto+jjhjjhjhjhjhjhjh&ga_from=Tfrom%3Ageneral%3BBfrom%3Asearch-topright-submit%3BEfrom%3Aex-sugg%3B'

N'ayant pas les moyens de tester je ne te garantie aucune réussite

**thais781** · 26/03/2013, 16h59

Zipe31 : Meme resultat ...

Jack : J'ai réussit à trouver la liste des cookies.
Pour Viadeo, j'ai 10 tableaux avec Nom, Valeur, Domaine ....

Maintenant comment je fais pour le mettre dans cookie.txt ? c'est quoi le format de ce fichier ?

On va y arriver ...

Thais

**zipe31** · 26/03/2013, 17h02

Envoyé par thais781

Zipe31 : Meme resultat ...

T'avais bien changé "USER%40FAI.tld" par ton adresse mail et "PASS" par ton mot de passe dans les "data" ?

**thais781** · 26/03/2013, 17h18

Yessss

Ca marche Zip tout etait bon mais comme une gourde je n'avais pas mis le bon chemin du fichier cookie.txt dans le deuxième curl

merci beaucoup pour votre aide.

A bientôt

Thais