Récupérer code html page web

**saturn1** · 12/07/2009, 17h51

Bonjour, j'essaie de récupérer le code html d'un page web..

Le seul problème c'est qu'il me récupère une page web yahoo

.

Donc voici le code utile de mon appli :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
 
public StringBuffer getWebPage()
	{
		URL url = null;
		try 
		{
			url = new URL(this.url);
		} 
		catch (MalformedURLException e1) 
		{
			// TODO Auto-generated catch block
			e1.printStackTrace();
		}
 
        URLConnection uc = null;
		try 
		{
			uc = url.openConnection();
		} 
		catch (IOException e1) 
		{
			// TODO Auto-generated catch block
			e1.printStackTrace();
		}
        BufferedReader in = null;
		try 
		{
			in = new BufferedReader(new InputStreamReader(uc.getInputStream()));
		} 
		catch (IOException e1) 
		{
			// TODO Auto-generated catch block
			e1.printStackTrace();
		}
 
 
 
		String line = null;
		StringBuffer buffer = new StringBuffer();
		try 
		{
			while ((line = in.readLine()) != null) 
			{
				buffer.append(line).append('\n');
			}
			in.close();
		}
		catch (IOException e) 
		{
			e.printStackTrace();
		} 
 
		return buffer;
	}

Voila et quand j'affiche le buffer j'ai le droit à une page Yahoo.

Dans une autre partie du code j'ai setter l'url au site wordreference.

Pouvez vous me dire ce qui cloche??

Merci

**tchize_** · 12/07/2009, 18h10

t'as du te planter dans l'url.

**saturn1** · 12/07/2009, 18h22

Pourtant il me semble que non ...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
 
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;
 
 
public class RetrieveWebPage {
	String url;
	String languageOriginal;
	String languageDestination;
	String motSearched;
 
	public RetrieveWebPage(String motSearched, String languageO, String languageD)
	{
		this.motSearched = motSearched;
		this.languageOriginal = languageO;
		this.languageDestination = languageD;
 
		if(this.languageOriginal.equals("en") && this.languageDestination.equals("fr"))
		{
			this.url = Constant.urlEnToFr+""+this.motSearched;
		}
		else
		{
			System.out.println("Erreur dans les langages.");
		}
	}
 
	public StringBuffer getWebPage()
	{
		URL url = null;
		try 
		{
			url = new URL(this.url);
		} 
		catch (MalformedURLException e1) 
		{
			// TODO Auto-generated catch block
			e1.printStackTrace();
		}
 
        URLConnection uc = null;
		try 
		{
			uc = url.openConnection();
		} 
		catch (IOException e1) 
		{
			// TODO Auto-generated catch block
			e1.printStackTrace();
		}
        BufferedReader in = null;
		try 
		{
			in = new BufferedReader(new InputStreamReader(uc.getInputStream()));
		} 
		catch (IOException e1) 
		{
			// TODO Auto-generated catch block
			e1.printStackTrace();
		}
 
 
 
		String line = null;
		StringBuffer buffer = new StringBuffer();
		try 
		{
			while ((line = in.readLine()) != null) 
			{
				buffer.append(line).append('\n');
			}
			in.close();
		}
		catch (IOException e) 
		{
			e.printStackTrace();
		} 
 
		return buffer;
	}
}

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
 
public class Constant 
{
	public static final  String urlEnToFr = "http://www.wordreference.com/enfr/";
}

et le main

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
 
 
public class main 
{
 
	/**
         * @param args
         */
	public static void main(String[] args) 
	{
		// TODO Auto-generated method stub
		if(args.length == 3)
		{
			/*System.out.println(args[0]);
			System.out.println(args[1]);
			System.out.println(args[2]);*/
			RetrieveWebPage retrieve = new RetrieveWebPage(args[0],args[1],args[2]);
			System.out.println(retrieve.getWebPage());
		}
		else
		{
			System.out.println("Erreur dans le nombre d'arguments.");
		}
	}
 
}

Merci de ton aide...

**tchize_** · 12/07/2009, 18h29

peux tu afficher ton url avant de la télécharger? Au dernière nouvelles, sun n'a pas d'accord avec yahoo, donc sit tu recois un page de yahoo, c'est que tu a demandé une page chez yahoo. Et vérifie que l'url fonctionne dans ton navigateur.

**saturn1** · 12/07/2009, 18h34

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
saturn1@saturn1-desktop:~/workspace/translator$ java main hello en fr
http://www.wordreference.com/enfr/hello
<html>
<head>
<title>Yahoo!</title>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<meta name="robots" content="noindex, nofollow">

Tu comprends?? Moi je ne comprend pas.. :S

**tchize_** · 12/07/2009, 19h02

et ca donne quoi quand tu fait un wget de cette url? ca sent l'entrée dns corrompue, ca m'est déjà arrivé, tu tappe l'url d'un site et t'en a un autre à la place

Rien d'autre a faire qu'à attendre la correction dans ces cas là.

**saturn1** · 12/07/2009, 19h07

Oui le wget me donna la page yahoo.

Mais quand je vais sur le site par mon navigateur j'ai le bon site...

La correction prend combien de temps??

**tchize_** · 12/07/2009, 19h54

les dns sont généralement mis à jour toutes les 24 heures. tu peux toujours essayer de rebooter ta machine si c'est elle qui a la mauvaise entrée.

**saturn1** · 12/07/2009, 20h01

Merci bien pour ces informations !!!

**tchize_** · 12/07/2009, 20h02

je viens de faire un test avec wget:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
wget 'http://www.wordreference.com/enfr/hello'
--2009-07-12 19:58:38--  http://www.wordreference.com/enfr/hello
Résolution de www.wordreference.com... 208.43.111.195, 208.43.111.197
Connexion vers www.wordreference.com|208.43.111.195|:80... connecté.
requête HTTP transmise, en attente de la réponse... 302 Found
Emplacement: http://yahoo.com [suivant]

C'est le serveur wordreference.com qui t'envoie sur yahoo. Il se base sur le user agent

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
wget 'http://www.wordreference.com/enfr/hello' --user-agent=mozilla
--2009-07-12 20:01:09--  http://www.wordreference.com/enfr/hello
Résolution de www.wordreference.com... 208.43.111.197, 208.43.111.195
Connexion vers www.wordreference.com|208.43.111.197|:80... connecté.
requête HTTP transmise, en attente de la réponse... 200 OK
Longueur: 18280 (18K) [text/html]
Saving to: `hello'

Donc tu va devoir lui fournir un user agent autre que "java" qui est celui par défaut de url connection. Je ne pense pas qu'on puisse changer le useragent sur url connection, tu risque donc de devoir passer par une librairie comme common http-client par exemple.

**saturn1** · 12/07/2009, 20h43

Nan mais avec Java ça déconne mais aussi avec wget..

Le wget se base pas sur l'user agent?si?

Merci de m'expliquer un peu ... =)

**tchize_** · 12/07/2009, 22h02

c'est leur serveur qui se base sur le user agent. Si c'est un browser il renvoient la réponse, si c'est un robot (comme le user-agent "wget" ou "java") ils renvoient vers yahoo. Comme tu peux le voir sur mon exemple, en changeant le user agent de wget j'obtiens la page.

**saturn1** · 13/07/2009, 19h26

Très bien merci, j'avais mal lu ton exemple...

Je vais donc faire des recherches sur

une librairie comme common http-client

Mais si tu as des exemples d'utilisations ou un bon site et que tu repasses par là n'hésite pas à me les fournir.. (oui mâche moi le boulot.. :p)

Merci à toi

Récupérer code html page web

Java

Discussions similaires

Partager

Partager