Discussion :

[Alkhan]

Bonjour,
Je tente de parcourir un site web dont l'accès est protégé par un login / mot de passe.
Je tente donc d'établir la connexion et de récupérer le contenu de la page qui doit s'afficher juste après avoir saisie les informations de connexion.

j'ai donc commencé par écrire ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
		try {
			URL url = new URL("http://....");
			HttpURLConnection connection = (HttpURLConnection) url.openConnection();
			connection.setRequestProperty("Authorization", "Basic " + Base64.encodeBase64("MonLogin:MonPass".getBytes()));
			connection.connect();
			BufferedReader in = new BufferedReader(new InputStreamReader(connection.getInputStream()));
			String line;
			while ((line = in.readLine()) != null) {
				System.out.println(line);
			}
		} catch (IOException e) {
			e.printStackTrace();
		}

Cependant cela m'affiche le contenu de la page de login. J'imagine que j'ai soit oublié quelque chose ou tout simplement que je n'ai pas compris comment je devais m'y prendre !

Mais ou est donc mon erreur ?

Merci d'avance

[tchize_]

Cependant cela m'affiche le contenu de la page de login.

Ce qui me laisse à penser que c'est une authentification par formulaire. Êtes vous sur que le site en question utilise un authentification HTTP Basic?

[Alkhan]

je dois avoué avoir quelques lacunes dans le domaine du web

j'ai trouvé ceci dans la page de login concernant l'autentification :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
<div class="formBloc">
				<fieldset>
					<legend>Identification</legend>
 
					<p class="signUp">Accès membre</p>
						<p><input name="txtEmail" type="text" id="txtEmail" class="pEmail" /><span class="labelEmail">Email</span></p>
						<p><input name="txtPassword" type="password" id="txtPassword" class="pPass" /><span class="labelPass">Mot de passe</span></p>
				</fieldset> 
				<input type="submit" name="btSubmit" value="OK" id="btSubmit" title="OK" class="logIn" />
 
 
 
			</div>

J'avoue ne pas savoir comment je dois m'y prendre pour que cela fonctionne.

[tchize_]

tu dois faire un POST des données du formulaire, rien à voir avec l'authentification http. C'est un formulaire comme un autre (mis à part que pour le serveur ça sert à t'authentifier). Il y a des documents dans la FAQ sur comment soumettre un formulaire avec urlconnection.

[Alkhan]

super merci beaucoup !

Je vais regarder tout cela et si tout marche je passerais en résolu le sujet

[Alkhan]

J'ai donc récupéré le code suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
 
		OutputStreamWriter writer = null;
		BufferedReader reader = null;
 
		try {
			String donnees = URLEncoder.encode("clef", "UTF-8") + "=" + URLEncoder.encode("login", "UTF-8");
			donnees += "&" + URLEncoder.encode("autreClef", "UTF-8") + "=" + URLEncoder.encode("motdepass", "UTF-8");
 
			// création de la connection
			URL url = new URL("http://...");
			URLConnection conn = url.openConnection();
			conn.setDoOutput(true);
 
			// envoi de la requête
			writer = new OutputStreamWriter(conn.getOutputStream());
			writer.write(donnees);
			writer.flush();
 
			// lecture de la réponse
			reader = new BufferedReader(new InputStreamReader(conn.getInputStream()));
			String ligne;
			while ((ligne = reader.readLine()) != null) {
				System.out.println(ligne);
			}
		} catch (Exception ex) {
			ex.printStackTrace();
		} finally {
			try {
				writer.close();
			} catch (Exception e) {
			}
			try {
				reader.close();
			} catch (Exception e) {
			}
		}

Mais je ne sais pas comment connaitre les clés à mettre pour le POST ?
Comment je peux les trouver ? y il a peut être d'autres clé à mettre en plus du login et du mot de pass !

Comment savoir l'encodage à utiliser ?

[tchize_]

Mais je ne sais pas comment connaitre les clés à mettre pour le POST ?

Elle sont dans le forumulaire, suffit de le lire.

Comment savoir l'encodage à utiliser ?

Si il y a un accept-charset dans le <form> ou dans les header http du formulaire, les utiliser, sinon au libre choix.

[Alkhan]

bien visiblement je suis dans le c...

je n'arrive pas à obtenir ce que je souhaite .... c'est à dire la page juste après la connexion.
J'ai bien renseigné les clé de login et de mot de passe, mais je bute toujours.
C'est de l'asp, il y a surement quelque chose que je rate, mais quoi !

voila le formulaire complet que j'ai pris sur le site :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
<form method="post" action="Portal_FR.aspx" id="aspnet_form">
<div>
<input type="hidden" name="__VIEWSTATE" id="__VIEWSTATE" value="/wEPDwUJMTY4OTQxODQ2ZGT6Nl39YMmlljz4i2TJVk5ABuyoFw==" />
</div>
<div>
	<input type="hidden" name="__EVENTVALIDATION" id="__EVENTVALIDATION" value="/wEWBALzooXfDAKE8/26DAK1qbSRCwLoqK/YBz97dqM3f+n5ZZJLEEbqbw9WgNuQ" />
</div>
<div class="formBloc">
	<fieldset>
		<legend>Identification</legend>
 
		<p class="signUp">Accès membre</p>
			<p><input name="txtEmail" type="text" id="txtEmail" class="pEmail" /><span class="labelEmail">Email</span></p>
			<p><input name="txtPassword" type="password" id="txtPassword" class="pPass" /><span class="labelPass">Mot de passe</span></p>
	</fieldset> 
	<input type="submit" name="btSubmit" value="OK" id="btSubmit" title="OK" class="logIn" />
</div>			
</form>

Toute mes tentatives, sont des echecs..... une idée ?

[tchize_]

tu dois injecter je suppose aussi les avaleur des deux champs hidden, valeurs qui changent à chaque fois donc tu dois aussi les récupérer au préalable du site.

[Alkhan]

tu dois injecter je suppose aussi les avaleur des deux champs hidden, valeurs qui changent à chaque fois donc tu dois aussi les récupérer au préalable du site.

les récupérer ... hum ... la je suis dans les choux !
C'est la première fois que je tente d'accéder à un site par programmation alors j'avoue que certaines choses sont pas évidente pour moi.

comment je peux récupérer ces valeurs ?

[tchize_]

avec de l'huile de coude, va falloir parser la page de login d'une manière ou d'une autre

Le plus simple étant à mes yeux :

serveur --httpclient--> page de login --nekohtml--> arbre DOM --xpath--> valeur

[Alkhan]

bien, j'ai donc tenté la chose et j'ai un problème avec nekohtml !

J'ai monté un exemple pour bien comprendre le problème.
Cette exemple se base sur un xml qui est simple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="fr" lang="fr">
	<body>
		<div id="MonID">
			<div class="BB">
				<form>
					<input type="hidden" name="__VIEWSTATE" id="__VIEWSTATE"
						value="ZZZZ" />
					<input type="hidden" name="__EVENTVALIDATION" id="__EVENTVALIDATION"
						value="AAAA" />
				</form>
			</div>
		</div>
	</body>
</html>

maintenant le code de traitement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 
	public static void main(String[] args) {
		try {
			DOMParser parser = new DOMParser();
			parser.parse(new InputSource(new FileInputStream(new File("config/mondoc.xml"))));
			Document doc = parser.getDocument();
 
			XPathFactory factory = XPathFactory.newInstance();
			XPath xpath = factory.newXPath();
			XPathExpression expr = xpath.compile("//*[name()='input' and (@id='__VIEWSTATE' or @id='__EVENTVALIDATION')]");
 
			Object result = expr.evaluate(doc, XPathConstants.NODESET);
			NodeList nodes = (NodeList) result;
			for (int i = 0; i < nodes.getLength(); i++) {
				System.out.println(nodes.item(i).getAttributes().getNamedItem("value"));
			}
 
		} catch (Exception e) {
			e.printStackTrace();
		}
	}

Et la, je ne comprend pas pourquoi il ne me trouve pas mes attributs "value" !
J'ai donc decidé de ne pas utiliser nekohtml pour verifier que mon xPath était bien correcte et au miracle le code suivant fonctionne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
 
	public static void main(String[] args) {
		try {
			DocumentBuilderFactory domFactory = DocumentBuilderFactory.newInstance();
			domFactory.setNamespaceAware(true); 
			DocumentBuilder builder = domFactory.newDocumentBuilder();
			Document doc = builder.parse("config/mondoc.xml");
 
			XPathFactory factory = XPathFactory.newInstance();
			XPath xpath = factory.newXPath();
			XPathExpression expr = xpath.compile("//*[name()='input' and (@id='__VIEWSTATE' or @id='__EVENTVALIDATION')]");
 
			Object result = expr.evaluate(doc, XPathConstants.NODESET);
			NodeList nodes = (NodeList) result;
			for (int i = 0; i < nodes.getLength(); i++) {
				System.out.println(nodes.item(i).getAttributes().getNamedItem("value"));
			}
 
		} catch (Exception e) {
			e.printStackTrace();
		}
	}

J'ai donc inspecté le contenu de mon document lorsqu'il est parser avec nekohtml et tous semble correcte, je trouve bien mes "value".
Je ne comprend donc pas pourquoi avec nekohtml cela ne fonctionne pas !
Quelqu'un aurrait il une explication ?
Ai je mal utilisé l'api de nekohtml ?

[tchize_]

petite subtilité. nekohtml respecte les convention HTML4 par défaut, convention qui disent que les noms des balises sont en majuscules. Le xml (et donc xpath) dit que les noms des balises sont en minuscule. Donc ton xpath trouve simplement pas la balise . Pour corriger le code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
// import org.apache.xerces.parsers.DOMParser;
// import org.cyberneko.html.HTMLConfiguration;
DOMParser parser = new DOMParser(new HTMLConfiguration());
parser.parse(new InputSource(new FileInputStream(new File("config/mondoc.xml"))));
Document doc = parser.getDocument();

Et là tu aura au final un document xml et non plus HTML, puisque c'est xerces qui va parser, avec neko comme "soutiens" Les importe ont de l'importance, c'est bien le DOMParser de xerces et non pas celui de neko qu'il faut utiliser!

[Alkhan]

super ! Mais c'est le genre de chose qui ne se devine pas .

J'en profite, car j'ai une autre question concernant l'utilisation de httpclient.

L'objectif de mon code est donc de me connecter avec mon login et ensuite de parcourir les liens et récupérer certaine page pour en évaluer le contenu.

Etant donné que j'ai très peux d'expérience sur le développement axé HTTP, je ne suis pas sur de la façon dont tout cela fonctionne, et donc de comment je doit travailler avec httpclient.

je me demande donc :
- je commence par récupérer les identifients hidden.
- je ne ferme pas la connexion
- j'effectue un POST avec les identifiants hidden et le login / mot de passe
- J'identifie les liens vers les autres pages
- j'effectue un get (la je suis pas sûr) sur chacune affin de les évaluer
- je ferme ma connexion

Mon interrogation principal est du fait que j'ai garder la connexion ouverte, le serveur du site considère que je suis dans la même session ?
Je n'ai plus besoin de retransférer les identifiants hidden, même si j'ai d'autre poste à faire dans le cas d'action particulière ?

[tchize_]

super ! Mais c'est le genre de chose qui ne se devine pas .

j'admet, mais ça saute aux yeux quand tu affiche l'arbre neko (tiens, des majuscules?)
Pour la soluce, c'est indiqué dans la FAQ de nekohtml

je me demande donc :
- je commence par récupérer les identifients hidden.
- je ne ferme pas la connexion
- j'effectue un POST avec les identifiants hidden et le login / mot de passe
- J'identifie les liens vers les autres pages
- j'effectue un get (la je suis pas sûr) sur chacune affin de les évaluer
- je ferme ma connexion

Mon interrogation principal est du fait que j'ai garder la connexion ouverte, le serveur du site considère que je suis dans la même session ?

HttpClient gère automatiquement les cookies. Tant que tu utilise donc la même instance de HttpClient, le serveur devrait te considérer comme dans la même session, sauf si il utilises des techniques particulières

[Alkhan]

ok merci de ton aide, je passe donc en résolu !