Discussion :

[Ceubex]

Bonjour,

J'ai un problème vraiment bizarre. Je lance la fonction ci-dessous sur un grand nombre de pages pour récupérer le code source.
Mais j'ai remarqué qu'à un moment aléatoire du programme il s'arrêtait... Enfin il ne plante pas mais il n'avance plus.
C'est toujours soit sur new BufferedReader(new InputStreamReader(conn.getInputStream() )); soit sur len = reader.read(cbuf)

Je le vois car en mode Debug sous eclipse je mets en pause, puis je vois où il est arrêté, je mets des points d'arrêt sur la ligne en dessous et ça ne l'atteint jamais. Qu'est ce qui se passe ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
    	  BufferedReader reader = null;
    	  String text = new String();
    	    try {
 
    	      URL url2 = new URL(url.getUrlString().replace(" ", "%20")); //.replace("|", "%7C").replace("{", "%7B").replace("{", "%7D")
    	      URLConnection conn = url2.openConnection();
    	      conn.setRequestProperty( "Host", url2.getHost() );
    	      conn.setConnectTimeout(60 * 1000);
    	      conn.setRequestProperty( "Accept", "text/javascript, text/html, application/xml, text/xml, */*" );//text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
    	      conn.setRequestProperty( "Accept-Language", "fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3" );
    	      conn.setRequestProperty( "Connection", "keep-alive" );
    	      conn.setRequestProperty( "X-Requested-With", "XMLHttpRequest" );
    	      conn.setRequestProperty( "X-Prototype-Version", "1.7" );
    	      conn.setRequestProperty( "User-Agent", this.userAgent );
    	      if(Fc.cookieValue!=null) conn.setRequestProperty("Cookie", Fc.cookieValue);
    	      if(Fc.CSRFToken!=null) conn.setRequestProperty("X-CSRFToken",Fc.CSRFToken);
    	      //conn.setDoOutput(true); //mode POST
 
 
    	      //lecture de la réponse
    	      reader = new BufferedReader(new InputStreamReader(conn.getInputStream() )); //ARRET ICI
 
    		  StringBuilder sb = new StringBuilder();
    		  char[] cbuf = new char[8192];
    		  int len;
    		  while ( (len = reader.read(cbuf)) >= 0 ) {  //ARRET ICI
    				sb.append(cbuf, 0, len);
    			}
    		  text = sb.toString();
    	    }catch (Exception e) {
    	    	System.out.println("Echec du chargement de "+url.getUrlString()+" "+e.toString());
    	    }finally{
    		      try{ if(reader!=null) reader.close(); }catch(Exception e){
    		    	  Applet_VeilleConcurentielle.erreur(e);
    		      }
    		   }

[rg77140]

Bonjour,

Après avoir utilisé une ressource il faut penser à la libérer par un appel à la méthode "close()" (dans un bloc finally de préférence pour être sûr de toujours la fermer). En java 7 Tu peux utiliser la nouvelle syntaxe "try-with-resources" qui provoque un appel automatique à la méthode "close()" : http://docs.oracle.com/javase/tutori...urceClose.html

C'est pas garanti que ça soit la source de ton erreur mais ça ne peut pas faire de mal...

Tu peux aussi essayer d'augmenter la mémoire alloué à ton programme via l'option -Xmx au lancement de ton application : http://docs.oracle.com/cd/E13150_01/...n/optionX.html

Romain.

[thelvin]

Euh, sinon, si vraiment c'est un grand nombre de pages, le serveur accepte peut-être pas ta tentative de consommer toutes ses ressources et cesse juste de te répondre.
Un navigateur a typiquement tendance à attendre pas mal de temps entre plusieurs requêtes, tout simplement parce qu'il attend que son utilisateur fasse quelque chose qui nécessite une requête.

[Ceubex]

@rg77140, je sais et si tu regardes bien il y a déjà un finally avec un close
@thelvin, c'est avec mon propre serveur que je fais ça et oui il y a un grand nombre de pages. Par contre si une page ne répond pas, ne peut-on pas mettre un timeout ? N'est ce pas déjà le cas ?

[tchize_]

Pour pouvoir éliminer le serveur de l'équation, commence par tenter lire ce même paquet de page avec un script simple. Par exemple une grosse boucle en bash avec wget.

Ensuite, on ne sait rien de ce que fait ton serveur, c'est peut être lui qui bloque. Enfin, on ne vois pas du tout non plus comment tu invoque ton bout de code en boucle.

[Ceubex]

OK c'est fait et ça ne vient pas du serveur. Ca tourne avec la boucle wget