Soucis avec CURL

Version imprimable

Soucis avec CURL

Bonjour,

J'ai un petit soucis avec CURL.
J'essaye de récupérer le code source d'une page.

Par exemple :

Code:

http://fr.viadeo.com/recherche/resultat_membres/?fullName=toto+jjhjjhjhjhjhjhjh&ga_from=Tfrom%3Ageneral%3BBfrom%3Asearch-topright-submit%3BEfrom%3Aex-sugg%3B

Avec le code :
Code:

1 2 set MyURL to "http://fr.viadeo.com/recherche/resultat_membres/?fullName=toto+jjhjjhjhjhjhjhjh&ga_from=Tfrom%3Ageneral%3BBfrom%3Asearch-topright-submit%3BEfrom%3Aex-sugg%3B" set the_page to do shell script "curl " & MyURL
SI l'on regarde le code source de cette page avec firefox, on verra le <title> avec une valeur "Aucun membre ..."
Hors avec le resultat du CURL, je ne retrouve pas cette valeur dans le <Title>

Quelqu'un aurait une solution ?

Thais

Bonjour,

modifie le --user-agent...
?

Citation:

Envoyé par thais781

Code:

1
2
set MyURL to "http://fr.viadeo.com/recherche/resultat_membres/?fullName=toto+jjhjjhjhjhjhjhjh&ga_from=Tfrom%3Ageneral%3BBfrom%3Asearch-topright-submit%3BEfrom%3Aex-sugg%3B"
set the_page to do shell script "curl " & MyURL

quel est ce langage ?

Bonjour,

Merci pour ton aide.

C'est de l'AppleScript.
On peut executer du shell script à partir de l'applescript ....

J'ai essayé donc
Code:

1 2 set MyURL to "http://fr.viadeo.com/recherche/resultat_membres/?fullName=toto+jjhjjhjhjhjhjhjh&ga_from=Tfrom%3Ageneral%3BBfrom%3Asearch-topright-submit%3BEfrom%3Aex-sugg%3B" set the_page to do shell script "curl --user -agent " & MyURL
Mais le resultat est le meme ...
La valeur du <Title> n'est pas la bonne :cry:

Une autre idée, ou peut être que je n'utilise pas la syntaxe comme il faut ?

Thais

26/03/2013, 12h12
N_BaH

bah ? il faut donner les renseignements concernant le navigateur que curl prétendra être !
curl --user-agent 'Mozilla/5.0'[...]
26/03/2013, 12h39
thais781

Désolé, mais je suis vraiment débutante en CURL, AppleScript je maitrise bien, mais pas CURL :oops:

J'ai donc essayé

Code:

set the_page to do shell script "curl --user-agent 'Mozilla/5.0' fr.viadeo.com/recherche/resultat_membres/?fullName=toto+jjhjjhjhjhjhjhjh&ga_from=Tfrom%3Ageneral%3BBfrom%3Asearch-topright-submit%3BEfrom%3Aex-sugg%3B"

Même résultat ... même si je fais le curl directement depuis mon terminal, meme resultat.

Est ce que quand tu fais cette manip chez toi tu as bien une valeur "Aucun membre ..." juste après <title> ?

Merci pour ton aide précieuse.

Thais
26/03/2013, 12h49
jack-ft

Citation:

Envoyé par thais781

Est ce que quand tu fais cette manip chez toi tu as bien une valeur "Aucun membre ..." juste après <title> ?

Je n'ai pas curl installé, mais comme la chaîne passée contient le caractère '&', il lance (une partie seulement de) la commande en bg. Je suggèrerais bien de la mettre entre quotes (simple quotes si pas de variable, double sinon):

Code:

curl --user-agent 'Mozilla/5.0' 'fr.viadeo.com/recherche/resultat_membres/?fullName=toto+jjhjjhjhjhjhjhjh&ga_from=Tfrom%3Ageneral%3BBfrom%3Asearch-topright-submit%3BEfrom%3Aex-sugg%3B'
26/03/2013, 14h57
thais781

1 pièce(s) jointe(s)

Bonjour,

Je viens de tester (même résultat)
Ci-joint le résultat dans le fichier txt si tu n'as pas CURL.
Et il y a une différence avec le fichier sur internet (même URL)

Code:

fr.viadeo.com/recherche/resultat_membres/?fullName=toto+jjhjjhjhjhjhjhjh&ga_from=Tfrom%3Ageneral%3BBfrom%3Asearch-topright-submit%3BEfrom%3Aex-sugg%3B

Avez-vous une idée ?

Thais
26/03/2013, 15h17
zipe31

Salut,

Est-ce que la même URL depuis un navigateur (avec les bons pseudo et mot de passe) te renvoie le résultat désiré ?

Sinon, peut être te faudra-t-il passer par une authentification avec récupération du cookie et ensuite ta requête avec un paramètre supplémentaire pour le cookie...
26/03/2013, 15h59
thais781

ahhhh

Je crois que tu es sur la bonne voie ...
Oui en effet, viadeo est un site ou il faut être identifié et oui quand je suis identifié et que je regarde le fichier source sur firefox c'est bon.

Le pb est donc que Curl va chercher la page web sans authentification ....

Tu sais comment je peux récupérer mes cookies d'authentification et les reinjecté dans curl ?

Merci pour ton aide

Thais
26/03/2013, 16h14
zipe31

Récupération du cookie (la syntaxe des data est en fonction du POST du site) :

Code:

curl -s --cookie-jar cookie.txt --data 'data_de_connexion_avec_pseudo_et_password' -L 'URL_du_site'

Requête avec cookie :

Code:

curl -s -b cookie.txt -L 'URL+requête'
26/03/2013, 16h23
thais781

Merci pour ton aide, mais je suis vraiment nulle en CURL :oops:

Donc URL_du_site : http://www.viadeo.com/?actionId=0..... ma page perso
et data_de_connexion_avec_pseudo_et_password ????

En fait je ne sais pas comment on récupère ces cookie ...

Thais
26/03/2013, 16h42
jack-ft

Citation:

Envoyé par thais781

En fait je ne sais pas comment on récupère ces cookie ...

Thais

menu Firefox -> Options -> Options
onglet Vie privée
clic lien "supprimer des cookies spécifiques"
Rechercher: "viadeo" RETURN
=> environ 6 cookies (affiliate __utma __utmb ...)
en cliquant une fois pour sélectionner un cookie, tu peux récupérer son nom et sa valeur dans la partie basse de la fenêtre.
Attention! il y a des dates d'expiration...
26/03/2013, 16h46
zipe31

Je viens d'y jeter un oeil et je ne sais pas si ça va être possible :(

Il y a un truc qui me gène dans la requête, c'est le "formRandKey=f3sxdpqioeoix51f". Je n'ai aucune idée de comment c'est généré et si ça sert vraiment pour l'authentification :?

Essaie un truc comme ça :

Code:

curl --cookie-jar cookie.txt --data 'formKey=com.viaduc.forms.signin.SignInForm&formRandKey=f3sxdpqioeoix51f&lang=&email=USER%40FAI.tld&password=PASS&monthAutoConnect=on&connexion=' -L 'https://secure.viadeo.com/r/account/authentication/signin'

Puis :

Code:

curl -s -b cookie.txt -L 'fr.viadeo.com/recherche/resultat_membres/?fullName=toto+jjhjjhjhjhjhjhjh&ga_from=Tfrom%3Ageneral%3BBfrom%3Asearch-topright-submit%3BEfrom%3Aex-sugg%3B'

N'ayant pas les moyens de tester je ne te garantie aucune réussite :aie:
26/03/2013, 16h59
thais781

Zipe31 : Meme resultat ...:(

Jack : J'ai réussit à trouver la liste des cookies.
Pour Viadeo, j'ai 10 tableaux avec Nom, Valeur, Domaine ....

Maintenant comment je fais pour le mettre dans cookie.txt ? c'est quoi le format de ce fichier ?

On va y arriver ...

Thais
26/03/2013, 17h02
zipe31

Citation:

Envoyé par thais781

Zipe31 : Meme resultat ...:(

T'avais bien changé "USER%40FAI.tld" par ton adresse mail et "PASS" par ton mot de passe dans les "data" ?
26/03/2013, 17h18
thais781

Yessss

Ca marche Zip tout etait bon mais comme une gourde je n'avais pas mis le bon chemin du fichier cookie.txt dans le deuxième curl

merci beaucoup pour votre aide.

A bientôt

Thais
26/03/2013, 17h56
thais781

Je vais juste abuser de votre temps
Je sais je suis chiante ....

Mais pour LinkedIn, ca serait quoi le code pour récupérer le cookie.txt ??

Thais
27/03/2013, 13h34
thais781

Up

Un dernier petit coup de main :D

Thais