Connexion/login sur un site via Jsoup

Version imprimable

Bonjour, je suis nouveau sur le forum, n'hésitez pas à me dire si j'ai mal fait quelque-chose.

J'ai comme projet de récupérer des informations sur un forums (pas celui-ci), mais pour cela je dois me connecter pour pouvoir avoir accéder aux informations. Voilà mon problème, je n'arrive pas à décoller de cette première page de connexion/login. Je voudrais votre aide dans ce domaine, c'est la première fois que je touche à Jsoup, si vous avez de conseils, des autres outils, je prends tout.

Exemples de codes que j'ai tenté en vain :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
 
// #1
 
org.jsoup.Connection.Response loginForm = Jsoup.connect("http://www.monsite.com")
                .method(Method.GET)
                .execute();
 
 
        Document document = Jsoup.connect("http://www.monsite.com")
                        .data("pseudo", "monpseudo")
                        .data("password", "monmotdepasse").method(Method.POST)
                        .cookies(loginForm.cookies())
                        .post();
 
 
        System.out.println(document);
 
// #2       
 
        org.jsoup.Connection.Response loginForm = Jsoup.connect("http://www.monsite.com")
                .ignoreContentType(true)
                .userAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0")
                .referrer("http://www.google.com")
                .timeout(12000)
                .followRedirects(true)
                .method(Method.GET)
                .execute();
 
 
        org.jsoup.Connection.Response loginFormFilled = Jsoup.connect("http://www.monsite.com")
            .ignoreContentType(true)
            .userAgent("Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/25.0")
            .followRedirects(true)
            .referrer("http://www.monsite.com")
            .data("pseudo", "monpseudo")//check the form to find field name for user name
            .data("password", "monmotdepasse")//check the form to find field name for user password
            .cookies(loginForm.cookies())
            .method(Method.POST)
            .execute();
            int statusCode = loginFormFilled.statusCode();
            Map<String, String> cookies = loginFormFilled.cookies();
 
        Document doc = Jsoup.connect("http://www.monsite.com").get();
 
        System.out.println(doc);

Salut,

Si je reprend ton premier cas (#1) :

Tu charges la page index de ton site, puis bizarrement tu considères que la réponse est un "loginForm".
Ta deuxième instruction envoie une requête POST sur ton index... ça ne te parait pas étrange d'envoyer sur l'index ? Et pourquoi pas sur quelque chose qui ressemble à "http://www.monsite.com/authentification" plutôt ?

Je n'ai pas testé mais ceci devrait OK :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 // Authentification Connection.Response res = Jsoup.connect("http://www.monsite.com/authentification") .data("pseudo", "monpseudo") .data("password", "monmotdepasse") .method(Method.POST) .execute(); Map<String, String> mesCookies = res.cookies(); // Je suis libre sur le site : Document document = Jsoup.connect("http://www.monsite.com/autre-page-accessible-une-fois-connectee") .cookies(mesCookies) .get();

Salut, et merci pour ta réponse !

J'ai donc vu mes erreurs, et j'ai repris ton code en remplaçant cette fois avec le site auquel je veux me connecter.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
org.jsoup.Connection.Response res = Jsoup.connect("http://www.safeboy.net/club/index.php") // C'est la page où je me connecte.
    .data("pseudo", "EDDFSB")
    .data("password", "monmotdepasse")
    .method(Method.POST)
    .execute();
 
    Map<String, String> mesCookies = res.cookies();
 
    // Je suis libre sur le site :
    Document docum = Jsoup.connect("http://www.safeboy.net/club/club.php?") // Et là, c'est ma page où j'arrive quand je me connecte actuellement. 
    .cookies(mesCookies)
    .get();
 
    System.out.println(docum);

Mais j'arrive toujours à la même chose qu'avant.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Frameset//EN" "http://www.w3.org/TR/html4/frameset.dtd">
<html>
 <head> 
  <title>SMBOY, Réseau social GAY BDSM</title> 
  <meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1"> 
  <meta name="description" content="SMBOY, le Réseau social GAY et BDSM francophone. Tchat, webcam-chat, Forum BDSM, Hard Safer-Sexe et conseils en santé, agenda et du guide gays en France, boutiques et promotion des enquêtes Net Gay Baromètre."> 
  <meta name="keywords" content="rencontre gay, webcam chat, tchat gay, gay, Sm, bdsm, sadomaso, sneakers, scat, bears, bear, tatou, bareback, tatouage, dialogues, webcamchat, chat, annonces, petites annonces, rencontre, pied, bondage, cuir, latex, galerie, gallery, maitre, esclave, lope, uniforme, batard, tonte, fist, fucking, sodo, menotte, sado, maso, incorpo, full, metal, amour, dressage, flic, crs, interrogatoire, uro, scato, sperme, sm, douche, boue, skin, punk, militaire, pompier, education, anglaise, bottes, rangers, bdsm, exhib, hard, france, quebec, belgique, luxembourg, suisse, soumis, slave, slut, boy, images, photos, soiree, erotique, sequestration, fetichiste, fetish, fetichisme, eros, rose, travesti, androgyne, rubber, leather"> 
  <meta name="publisher" content="association Com on west"> 
  <meta name="author" content="Com On West"> 
  <script type="text/javascript">
var IS_main=false;
var IS_nav =false;
var SID = 's7ovahc9pfu6nk6ahjqnvgqjq6';
var oldnav;
 
function loadNav() {
	IS_nav = true;
	if (IS_main) main.loadNav();
}
function login(id) {
   if (id=='0') top.document.location.href='/club/index.php'+(false?'?PHPSESSID='+id:'');
   else if (SID!=id) {
	 //main.document.location.href='/club/index.php?PHPSESSID='+id;
	 document.nav.document.location.href='/club/nav.php'+(false?'?PHPSESSID='+id:'');
   }
}
function closeNav(i,j) {
	if (typeof i == 'undefined') { i=250; j=0; }
	i=i-j++;
	if (i>0) {
		document.getElementById('mainframe').cols=(i)+',*';
		setTimeout('closeNav('+i+','+j+')',20);
	}
	else {
		top.document.getElementById('mainframe').cols='0,*';
		oldnav.document.location.href='about:blank';
		popupNav();
	}
}
function popupNav() {
	document.getElementById('innerNav').name = 'oldnav';
}
function openNav(i,j) {
	if (typeof i == 'undefined') {
		nav.close();
		document.getElementById('innerNav').name = 'nav';
		nav = oldnav;
		nav.document.location.href='/club/inbox/popinbox.php'+(false?'?PHPSESSID='+SID:'');
		i=0; j=0;
	}
	i=i+j++;
	if (i<250) {
		document.getElementById('mainframe').cols=(i)+',*';
		setTimeout('openNav('+i+','+j+')',20);
	}
	else {
		document.getElementById('mainframe').cols='250,*';
	}
}
</script>
 </head> 
 <frameset rows="*" cols="250,*" framespacing="0" border="0" id="mainframe"> 
  <frame src="/club/inbox/popinbox.php" id="nav" name="nav" noresize frameborder="0" marginwidth="0" marginheight="0" scrolling="auto"> 
  <frame src="http://www.safeboy.net/club/index.php?" name="main" frameborder="0" marginheight="0" marginwidth="0"> 
 </frameset>
 <noframes>
  &lt;body&gt;Noframe support&lt;/body&gt;
 </noframes> 
</html>

Je m'attends à un résultat de type tout le code html de http://www.safeboy.net/club/club.php? pour ensuite me "balader" dans les différents forums.
Si t'as des questions sur le pourquoi du site, je fais un projet sur des questions médicales.

Et encore merci de ta réponse !

02/03/2016, 18h11
Gugelhupf

Salut,

Il est fort probable que tu sois confronté à un problème de post-traitement du DOM. Qu'est-ce que cela signifie ? Quand tu charges ta page avec Jsoup, tu obtiens le flux que le serveur t'envoie... mais Jsoup ne traite pas le JS, donc pas d'appel Ajax ou autre traitement influant sur le DOM après récupération du flux.

Quelle solution pourrais-je te proposer ? Un Headless Browser (ou "un navigateur sans interface graphique" en français, en gros c'est une librairie) qui effectue ce traitement que Jsoup ne fait pas, pour cela tu as Selenium WebDriver (avec le driver de ton choix : Firefox etc) par exemple. Si cela peut te rassurer tout ce que tu as fait avec Jsoup n'est pas perdu, tu reprendras les grandes idées mais l'implémentation sera différente.

Au passage fait attention avec ce que tu récupères comme info, pour des raisons légales il est interdit d'aller aspirer des données à droite/gauche (surtout si tu comptes les revendre par la suite :aie: ).

Bon courage,
07/03/2016, 15h19
lRedOx

Salut,

Désolé de répondre si tard. Encore merci de ta réponse.

Alors j'ai essayé de me connecter sur le site en question avec un wget, après quelques essais, j'ai réussi avec cette commande :

Code:

wget --keep-session-cookies --cookies=on --save-cookies cookies.tmp --user-agent="Firefox/10.0.2" --post-data 'pseudo=monlogin&password=monpassword&auth=submit&club=smboy&request_identification=1' http://www.safeboy.net/club/

Alors, je voulais savoir, s'il était possible de le faire avec Jsoup, car j'ai des nouvelles informations à envoyer :
club=smboy
request_identification=1
auth=submit

Après, je sais pas si c'est possible, sinon je vais tenter ce que tu m'as proposé !

Pour ce qui des infos récupérées, elles resterons anonymes, et il est en aucun cas prévu des les vendre. Je fais un projet qui a pour but d'analyser les nouvelles pratiques à risques pour les IST.
09/03/2016, 11h23
Gugelhupf

Salut,

Je me suis uniquement servi de wget pour récupérer des fichiers en mode console, je pense que tu peux faire à peu près les même choses avec Jsoup.
Pour les informations à envoyer, utilise la méthode data() comme tu l'as déjà fait avant avec Jsoup.