Problème avec un url.openStream

Version imprimable

Bonjour
L'appel à url.openStream() a un comportement bizarre : il change le contenu de l'url et plante, car l'url modifiée n'existe pas ; je n'ai pas ce problème pour d'autres url

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
  public static void main(String[] argv){ 
    String adresse = "1rPALU";
    URL url = null;
 
    try{
        url = new URL("http://www.boursorama.com/infos/consensus/consensus_previsions.phtml?symbole="+adresse);
        //url = new URL("http://www.boursorama.com/cours.phtml?symbole="+adresse);
 
        System.out.println(url.toString());
 
        System.out.println(url.openStream().toString());
 
        InputStream is = url.openStream();
    }
    catch(MalformedURLException e){
       System.out.println("Error 1 : url incorrecte");
       e.printStackTrace();
    }    
    catch (FileNotFoundException e) {
        e.printStackTrace();       
        System.out.println("Error Test FNF1");
        System.out.println(e.getMessage());
    }        
    catch (IOException e) {
        e.printStackTrace();
        System.out.println("Error Test IO1");
    }  
  }

Cela donne :
http://www.boursorama.com/infos/cons...symbole=1rPALU
Error Test FNF1
http://www.boursorama.com/cours/cons...symbole=1rPALU

.../infos/... est remplacé par .../cours/...

Merci d'avance

04/10/2011, 16h18
yoyopi

Bonjour,

Ça ne serais pas du à une redirection de la part de boursorama, car quand j'essaye d'accéder à ton lien j'arrive sur la page d'accueil du site?
05/10/2011, 20h29
danieloo

Oui, ça y ressemble en tout cas. Je suppose que Boursorama repère qu'il s'agit d'un programme, et non d'un accès par navigateur.
Il semble qu'on peut modifier l'entête Http pour simuler un navigateur, mais je ne sais pas comment faire. J'ai un peu cherché, mais je n'ai pas encore trouvé. Si tu as une idée ...
06/10/2011, 10h46
yoyopi

Quand tu colles ton url dans ton navigateur tu arrive à accéder à la page voulue ou pas, car moi j'arrive sur la page d'accueil?

Pour simuler l'appel via un navigateur dans ton programme tu peux utiliser la ligne suivante, je pense que ça suffit :

Code:

connect.setRequestProperty("User-Agent", "Mozilla/5.0");
06/10/2011, 22h04
danieloo

Oui, avec l'adresse de départ (http://www.boursorama.com/infos/cons...symbole=1rPALU)

Sinon avec l'adresse redirigée (http://www.boursorama.com/cours/cons...symbole=1rPALU), j'arrive aussi sur la page d'accueil du site.

J'ai essayé la méthode que tu proposes, mais ça ne marche pas mieux :

URLConnection connexion = null;
try {
URL monURL = new URL("http://www.boursorama.com/infos/consensus/consensus_previsions.phtml?symbole=1rPALU");
connexion = monURL.openConnection();
System.out.println(connexion.getRequestProperty("User-Agent"));
connexion.setRequestProperty("User-Agent", "Mozilla/5.0");
System.out.println(connexion.getRequestProperty("User-Agent"));
System.out.println("Avant exception : "+connexion.toString());

//La commande qui déclenche l'exception :
InputStream flux = connexion.getInputStream();

} catch (Exception e) {
e.printStackTrace();
System.out.println("Apres exception : "+connexion.toString());
}

Ca donne :
null
Mozilla/5.0
Avant exception : sun.net.http://www.protocol.http.HttpURLConn...symbole=1rPALU
Apres exception : sun.net.http://www.protocol.http.HttpURLConn...symbole=1rPALU
06/10/2011, 22h12
danieloo

Mince, le résultat est tronqué ; mais on retrouve le même problème (info remplacé par cours !!
mais peut-être que je ne m'y prends pas correctement ?

Salut,

Essaye le code suivant, j'ai changé le type de la connexion et casté le openConnection en HttpURLConnection:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
 
try {
    HttpURLConnection connect;
    URL monURL = new URL("http://www.boursorama.com/infos/consensus/consensus_previsions.phtml?symbole=1rPALU");
 
    connect = (HttpURLConnection)monURL.openConnection();
 
    // On authorise la lecture et l'écriture sur le serveur
    connect.setUseCaches(false);
    connect.setDoOutput(true);
 
    // Get the response.
    System.setProperty("http.keepAlive", "false");
    connect.connect();			
    InputStream iStream = connect.getInputStream();
} catch (Exception e) {
    e.printStackTrace();
    System.out.println("Apres exception : "+connexion.toString());
}

07/10/2011, 17h38
danieloo

Non, malheureusement, ça ne marche toujours pas :

java.io.FileNotFoundException: http://www.boursorama.com/cours/cons...symbole=1rPALU
at sun.net.http://www.protocol.http.HttpURLConn...tion.java:1439)
at TestUrl.main(TestUrl.java:28)
at __SHELL4.run(__SHELL4.java:6)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at bluej.runtime.ExecServer$3.run(ExecServer.java:774)

Tu as essayé de le faire tourner ? ça a marché chez toi ?
07/10/2011, 18h22
yoyopi

Je viens de tester ton code chez moi et j'ai l'erreur :

Code:

java.net.ProtocolException: Server redirected too many times (20)

Ce qui est normal car quand on appel ton lien ça redirige plein de fois avant de renvoyer la page d'accueil.

1- Pourquoi veux tu accéder à cette URL alors que ça dirige vers la pages d'accueil?
2- Passes tu par un proxy pour aller sur internet?si oui est-il correctement configuré?
07/10/2011, 18h57
danieloo

1 - Ca marchait impeccable jusque fin septembre et depuis, ça plante ; je récupère des infos dans le source de la page (BNA, CA, etc.) et je les mets dans une base de données.
2 - Non, je n'utilise pas de proxy.

Je crois que je vais essayer de trouver les infos ailleurs, sur un autre site. C'est dommage, car c'est la seule url avec laquelle j'ai des problèmes. Par exemple, avec :
URL monURL = new URL("http://www.boursorama.com/cours.phtml?symbole=1rPALU");
Je n'ai pas de souci
12/10/2011, 16h22
yoyopi

Oui effectivement avec cette page ça fonctionne bien, le problème doit venir de Boursorama qui n'affiche plus cette page.

Bon courage :ccool:
12/10/2011, 19h59
danieloo

Merci pour ton aide ; je continue mes recherches :pc:
19/10/2011, 22h10
danieloo

C'était bien ça ; Boursorama avait bougé la page ; maintenant, les infos correspondantes se trouvent sous :
http://www.boursorama.com/bourse/act...symbole=1rPALU
En plus, ils n'ont pas modifié le code source, donc ça remarche sans rien modifier d'autre que l'url

En tout cas, merci pour ton aide :ccool:
20/10/2011, 11h37
yoyopi

Tant mieux si ça marche maintenant.

De rien, je n'ai pas fait grand chose!! :mrgreen: