Programme a mettre dans une boucle

Version imprimable

Voir 40 message(s) de cette discussion en une page

Bonjour,

Mon programme me renvoi tout les URL du site mis en paramètre.

Je voudrais mettre mon programme dans une boucle, afin qu'il me liste toutes les URL du site en paramètre, puis qu'il reface le traitement pour chacun des sites trouvé, etc...

Voici mon programme :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.Reader;
import java.net.URL;
import java.net.URLConnection;
import java.util.logging.Level;
import java.util.logging.Logger;
import javax.swing.text.BadLocationException;
import javax.swing.text.EditorKit;
import javax.swing.text.SimpleAttributeSet;
import javax.swing.text.html.HTML;
import javax.swing.text.html.HTMLDocument;
import javax.swing.text.html.HTMLEditorKit;
 
 
public class LinkExtract {
 
    public static void main(String[] args) {
        try {
            // Pour charger la page
            URL url = new URL("http://www.bde-ges.com");
            URLConnection uconnection = url.openConnection();
            Reader rd = new InputStreamReader(uconnection.getInputStream());
            // On lit le document
            EditorKit kit = new HTMLEditorKit();
            HTMLDocument doc = (HTMLDocument) kit.createDefaultDocument();
            doc.putProperty("IgnoreCharsetDirective", new Boolean(true));
            kit.read(rd, doc, 0);
            // Parcour des balises de lien
            HTMLDocument.Iterator it = doc.getIterator(HTML.Tag.A);
            while (it.isValid()) {
                SimpleAttributeSet s = (SimpleAttributeSet) it.getAttributes();
                String link = (String) s.getAttribute(HTML.Attribute.HREF);
                if (link != null) {
                    // Affichage des liens trouvé
                    System.out.println(link);
                }
                it.next();
            }
        } catch (BadLocationException ex) {
            Logger.getLogger(LinkExtract.class.getName()).log(Level.SEVERE, null, ex);
        } catch (IOException ex) {
            Logger.getLogger(LinkExtract.class.getName()).log(Level.SEVERE, null, ex);
        }
    }
}

Comment faire svp ?

Merci d'avance.

22/07/2011, 09h44
nretrain

Salut, je ne suis pas sur d'avoir compris mais je te propose de :
-mettre tout ton code dans une nouvelle méthode qui renvoie une list de String;
-remplacer ton System.out.println(link) par un taList.add(link);
-et dans ton main tu pourra faire ta boucle sur la liste retourné.

Ca répond à la question? :?
22/07/2011, 09h50
oliviernouhi

salut,

merci pour ta réponse rapide.

Oui c'est exacte.

Peux tu m'aider stp ?

J'ai vraiment du mal en java, je débute.. :s

Si je reprend ton code, ça devrai faire (si je ne me trompe pas :p)

Code:

1
2
3
4
5
6
7
8
9
10
 
 
    public static void main(String[] args) {
         List urlList = new List();
         urlList = collectURL();
         For(String url : urlList)
         {
          //ton traitement sur les URL
          }
     }

Et pour ta méthode que j'ai appelé collectURL :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
 
private List<String>collectURL(){
List urlList =new List();
 try {
            // Pour charger la page
            URL url = new URL("http://www.bde-ges.com");
            URLConnection uconnection = url.openConnection();
            Reader rd = new InputStreamReader(uconnection.getInputStream());
            // On lit le document
            EditorKit kit = new HTMLEditorKit();
            HTMLDocument doc = (HTMLDocument) kit.createDefaultDocument();
            doc.putProperty("IgnoreCharsetDirective", new Boolean(true));
            kit.read(rd, doc, 0);
            // Parcour des balises de lien
            HTMLDocument.Iterator it = doc.getIterator(HTML.Tag.A);
            while (it.isValid()) {
                SimpleAttributeSet s = (SimpleAttributeSet) it.getAttributes();
                String link = (String) s.getAttribute(HTML.Attribute.HREF);
                if (link != null) {
                    // ajout des liens trouvés à la List
                    urlList.add(link);
                }
                it.next();
            }
        } catch (BadLocationException ex) {
            Logger.getLogger(LinkExtract.class.getName()).log(Level.SEVERE, null, ex);
        } catch (IOException ex) {
            Logger.getLogger(LinkExtract.class.getName()).log(Level.SEVERE, null, ex);
return urlList;
        }
}

Je crois que ça doit être ça a peut pret.. j'ai supprimé les imports pour gagner de la place.

22/07/2011, 10h11
oliviernouhi

merci je te suis bien sur la méthode collectURL

mais dans le main tu as écris //ton traitement sur les URL
c'est a dire ?
que dois je mettre dedans ?
22/07/2011, 10h15
nretrain

Citation:

Envoyé par oliviernouhi

merci je te suis bien sur la méthode collectURL

mais dans le main tu as écris //ton traitement sur les URL
c'est a dire ?
que dois je mettre dedans ?

A toi de voir, tu voulais faire une boucle sur tes url non? :aie:
Reexplique le but de boucler sur les url stp ^^
22/07/2011, 10h18
oliviernouhi

Je voudrais juste afficher toutes les url trouver pour le moment.

comment faire ?
22/07/2011, 10h24
nretrain

Ba ton premier code les affichait déjà non?
Ton problème est peut petre plus pour trouver les url que pour les afficher?

Voila le code actuel que j'ai

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
import java.awt.List;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.Reader;
import java.net.URL;
import java.net.URLConnection;
import java.util.logging.Level;
import java.util.logging.Logger;
import javax.swing.text.BadLocationException;
import javax.swing.text.EditorKit;
import javax.swing.text.SimpleAttributeSet;
import javax.swing.text.html.HTML;
import javax.swing.text.html.HTMLDocument;
import javax.swing.text.html.HTMLEditorKit;
 
/**
 * Réaliser un robot qui récupère des emails sur internet et y associe les mots clés de la page
 *  - le robot doit extraire lees URL qu'il trouve et parcourir chacune d'elle
 *  - le robot doit extraire les mots clés ainsi que les emails et les stocker en BDD
 *  
 */
public class robot {
 
	public static void main(String[] args) {
        List urlList = new List();
        urlList = collectURL();
        For(String url : urlList)
        {
         // traitement sur les URL
         }
    }
 
    private List<String>collectURL(){
    	List urlList =new List();
    	 try {
            // Pour charger la page
            URL url = new URL("http://www.bde-ges.com");
            URLConnection uconnection = url.openConnection();
            Reader rd = new InputStreamReader(uconnection.getInputStream());
            // On lit le document
            EditorKit kit = new HTMLEditorKit();
            HTMLDocument doc = (HTMLDocument) kit.createDefaultDocument();
            doc.putProperty("IgnoreCharsetDirective", new Boolean(true));
            kit.read(rd, doc, 0);
            // Parcour des balises de lien
            HTMLDocument.Iterator it = doc.getIterator(HTML.Tag.A);
            while (it.isValid()) {
                SimpleAttributeSet s = (SimpleAttributeSet) it.getAttributes();
                String link = (String) s.getAttribute(HTML.Attribute.HREF);
                if (link != null) {
                    // ajout des liens trouvés à ma List
                    urlList.add(link);
                }
                it.next();
            }
        } catch (BadLocationException ex) {
            Logger.getLogger(robot.class.getName()).log(Level.SEVERE, null, ex);
        } catch (IOException ex) {
            Logger.getLogger(robot.class.getName()).log(Level.SEVERE, null, ex);
    	return urlList;
    	}
    }
}

Je pars d'une URL de base, mais après celle ci doit changer par celles trouver.
1ère url trouver => je vais avoir X résultats et après il faut relancer ce traitement sur les X resultats et ainsi de suite. Cela va faire une énorme araignée

Avec le code au dessus, qu'est ce que je dois rajouter pour que ça marche ?

Mon ancien traitement sur les URL c'était :

// Affichage des liens trouvés
System.out.println(link);

du coup comment afficher la list ?

ps : j'ai aussi des erreurs, le compilateur aime pas trop " private List<String>collectURL(){ " et le " For(String url : urlList) "

Ok, en gros tu veux parcourir l'arborescence du site. Je te conseille de découper ton code en plusieurs méthodes pour gagner en lisibilité.
Réfléchis sans penser en java, juste en pensant algorithmique (ça fait lgt pour moi :p) :

Tu as une fonction qui lance la première recherche, elle prend une url et en retourne plusieurs;
Elle est relancé pour chaque nouvelles url;
On arrete le processus quand il n'y a plus d'url.

Donc en rechangeant ton code ça fait :

Code:

1
2
3
4
5
 
 public static void main(String[] args) {
        collectURL("http://www.bde-ges.com");
 
     }

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
private void collectURL(String urlString){
 try {
            // Pour charger la page
            URL url = new URL(urlString);
            URLConnection uconnection = url.openConnection();
            Reader rd = new InputStreamReader(uconnection.getInputStream());
            // On lit le document
            EditorKit kit = new HTMLEditorKit();
            HTMLDocument doc = (HTMLDocument) kit.createDefaultDocument();
            doc.putProperty("IgnoreCharsetDirective", new Boolean(true));
            kit.read(rd, doc, 0);
            // Parcour des balises de lien
            HTMLDocument.Iterator it = doc.getIterator(HTML.Tag.A);
            while (it.isValid()) {
                SimpleAttributeSet s = (SimpleAttributeSet) it.getAttributes();
                String link = (String) s.getAttribute(HTML.Attribute.HREF);
                if (link != null) {
                    // ajout des liens trouvés à la List
                	System.out.println(link);
                	collecURL(link);
                }
                it.next();
            }
        } catch (BadLocationException ex) {
            Logger.getLogger(LinkExtract.class.getName()).log(Level.SEVERE, null, ex);
        } catch (IOException ex) {
            Logger.getLogger(LinkExtract.class.getName()).log(Level.SEVERE, null, ex);
        }
}

Il y a ptet un problème avec la condition d'arret, j'ai un peu de mal ce matin

ok merci super mais ça marche pas :s

il me met des erreurs sur :

URL url = new URL(url);
il me dit : change type of 'url' to String

et

return urlList;
il me dit : change method return type to 'List '

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
import java.awt.List;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.Reader;
import java.net.URL;
import java.net.URLConnection;
import java.util.logging.Level;
import java.util.logging.Logger;
import javax.swing.text.BadLocationException;
import javax.swing.text.EditorKit;
import javax.swing.text.SimpleAttributeSet;
import javax.swing.text.html.HTML;
import javax.swing.text.html.HTMLDocument;
import javax.swing.text.html.HTMLEditorKit;
 
/**
 * Réaliser un robot qui récupère des emails sur internet et y associe les mots clés de la page
 *  - le robot doit extraire lees URL qu'il trouve et parcourir chacune d'elle
 *  - le robot doit extraire les mots clés ainsi que les emails et les stocker en BDD
 *  
 */
public class robot {
 
	 public static void main(String[] args) {
	        collectURL("http://www.bde-ges.com");
	 }
 
	 private static void collectURL(String url){
		 List urlList =new List();
		  try {
             // Pour charger la page
             URL url = new URL(url);
             URLConnection uconnection = url.openConnection();
             Reader rd = new InputStreamReader(uconnection.getInputStream());
             // On lit le document
             EditorKit kit = new HTMLEditorKit();
             HTMLDocument doc = (HTMLDocument) kit.createDefaultDocument();
             doc.putProperty("IgnoreCharsetDirective", new Boolean(true));
             kit.read(rd, doc, 0);
             // Parcour des balises de lien
             HTMLDocument.Iterator it = doc.getIterator(HTML.Tag.A);
             while (it.isValid()) {
                 SimpleAttributeSet s = (SimpleAttributeSet) it.getAttributes();
                 String link = (String) s.getAttribute(HTML.Attribute.HREF);
                 if (link != null) {
                     // ajout des liens trouvés à la List
                 	System.out.println(link);
                 	collectURL(link);
                 }
                 it.next();
             }
		 } catch (BadLocationException ex) {
             Logger.getLogger(robot.class.getName()).log(Level.SEVERE, null, ex);
         } catch (IOException ex) {
             Logger.getLogger(robot.class.getName()).log(Level.SEVERE, null, ex);
		 return urlList;
		 }
	 }
}

que faire ? si tu le met dans Eclipse le erreurs apparaissent

22/07/2011, 11h07
nretrain

OUps, change le nom de la ton paramettre dans la méthode collectURL, sinon tu as deux variables avec le même nom.
Et il faut retirer le return du collectURL vu que maintenant c'est un void.
(J'ai édité mon code au dessus avec les changements)

ok c'est fait mais j'ai toujours deux erreurs que je n'arrive pas à resoudre.. :s

voici le code actuel :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
import java.awt.List;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.Reader;
import java.net.URL;
import java.net.URLConnection;
import java.util.logging.Level;
import java.util.logging.Logger;
import javax.swing.text.BadLocationException;
import javax.swing.text.EditorKit;
import javax.swing.text.SimpleAttributeSet;
import javax.swing.text.html.HTML;
import javax.swing.text.html.HTMLDocument;
import javax.swing.text.html.HTMLEditorKit;
 
/**
 * Réaliser un robot qui récupère des emails sur internet et y associe les mots clés de la page
 *  - le robot doit extraire lees URL qu'il trouve et parcourir chacune d'elle
 *  - le robot doit extraire les mots clés ainsi que les emails et les stocker en BDD
 *  
 */
public class robot {
 
	 public static void main(String[] args) {
	        collectURL("http://www.bde-ges.com");
	 }
 
	 private static void collectURL(String myurl){
		 List urlList =new List();
		  try {
             // Pour charger la page
             URL url = new URL(url);
             URLConnection uconnection = url.openConnection();
             Reader rd = new InputStreamReader(uconnection.getInputStream());
             // On lit le document
             EditorKit kit = new HTMLEditorKit();
             HTMLDocument doc = (HTMLDocument) kit.createDefaultDocument();
             doc.putProperty("IgnoreCharsetDirective", new Boolean(true));
             kit.read(rd, doc, 0);
             // Parcour des balises de lien
             HTMLDocument.Iterator it = doc.getIterator(HTML.Tag.A);
             while (it.isValid()) {
                 SimpleAttributeSet s = (SimpleAttributeSet) it.getAttributes();
                 String link = (String) s.getAttribute(HTML.Attribute.HREF);
                 if (link != null) {
                     // ajout des liens trouvés à la List
                 	System.out.println(link);
                 	collectURL(link);
                 }
                 it.next();
             }
		 } catch (BadLocationException ex) {
             Logger.getLogger(robot.class.getName()).log(Level.SEVERE, null, ex);
         } catch (IOException ex) {
             Logger.getLogger(robot.class.getName()).log(Level.SEVERE, null, ex);
		 return urlList;
		 }
	 }
}

pourrais tu m'aider pour la correction stp ?

22/07/2011, 11h15
nretrain

retire le return à la fin et la déclaration de la list au début.
et fais le changement :

Code:

URL url = new URL(url);

en

Code:

URL url = new URL(myurl);

ok c'est bon.

voici le code :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
import java.awt.List;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.Reader;
import java.net.URL;
import java.net.URLConnection;
import java.util.logging.Level;
import java.util.logging.Logger;
import javax.swing.text.BadLocationException;
import javax.swing.text.EditorKit;
import javax.swing.text.SimpleAttributeSet;
import javax.swing.text.html.HTML;
import javax.swing.text.html.HTMLDocument;
import javax.swing.text.html.HTMLEditorKit;
 
/**
 * Réaliser un robot qui récupère des emails sur internet et y associe les mots clés de la page
 *  - le robot doit extraire lees URL qu'il trouve et parcourir chacune d'elle
 *  - le robot doit extraire les mots clés ainsi que les emails et les stocker en BDD
 *  
 */
public class robot {
 
	 public static void main(String[] args) {
	        collectURL("http://www.bde-ges.com");
	 }
 
	 private static void collectURL(String myurl){
		  try {
             // Pour charger la page
             URL url = new URL(myurl);
             URLConnection uconnection = url.openConnection();
             Reader rd = new InputStreamReader(uconnection.getInputStream());
             // On lit le document
             EditorKit kit = new HTMLEditorKit();
             HTMLDocument doc = (HTMLDocument) kit.createDefaultDocument();
             doc.putProperty("IgnoreCharsetDirective", new Boolean(true));
             kit.read(rd, doc, 0);
             // Parcour des balises de lien
             HTMLDocument.Iterator it = doc.getIterator(HTML.Tag.A);
             while (it.isValid()) {
                 SimpleAttributeSet s = (SimpleAttributeSet) it.getAttributes();
                 String link = (String) s.getAttribute(HTML.Attribute.HREF);
                 if (link != null) {
                     // ajout des liens trouvés à la List
                 	System.out.println(link);
                 	collectURL(link);
                 }
                 it.next();
             }
		 } catch (BadLocationException ex) {
             Logger.getLogger(robot.class.getName()).log(Level.SEVERE, null, ex);
         } catch (IOException ex) {
             Logger.getLogger(robot.class.getName()).log(Level.SEVERE, null, ex);
		 }
	 }
}

mais j'ai l'impression que je programme tourne en rond et reste sur la meme adresse.

tu as une idée?

22/07/2011, 11h24
nretrain

Citation:

Envoyé par nretrain

et fais le changement :

Code:

URL url = new URL(url);

en

Code:

URL url = new URL(myurl);

Tu as fait ça?
22/07/2011, 11h25
oliviernouhi

oui mais ça tourne en rond toujours
22/07/2011, 11h39
Rei Ichido

Citation:

Envoyé par oliviernouhi

mais j'ai l'impression que je programme tourne en rond et reste sur la meme adresse.

tu as une idée?

Normal : quant tu trouves un lien, tu fais immédiatement un appel récursif à collectUrl.
Or il y a bien des chances que le site se référence lui-même (et donc tu peux tomber dans une boucle page1 -> page2 -> page1, voire même pour un HREF=# avoir du page1->page1 ...) ! Je te conseille donc de :
1. Avant d'aller collecter les URL d'un site, vérifier que tu ne l'as pas déjà visité.
2. Pour avoir une progression "en toile", faire la liste de tous les liens d'un site avant d'aller au niveau suivant.
22/07/2011, 11h40
oliviernouhi

ok merci, comment faire svp en java ?
je suis vraiment débutant en java..
j'ai vraiment besoin de vous..
22/07/2011, 11h52
nretrain

Je ne sais pas si c'est très propre mais je te propose :
avant le main

Code:

private List<String> visitedURL

dans le main avant d'appeler collectURL tu initialises ta list

Code:

List = new List()

et dans ta méthode, dans le if tu rajoutes la condition :

Code:

if ((link != null)&&(!this.visitedURL.contains(link)) {

puis dans les instructions du if :

Code:

this.visitedURL.add(link);

J'ose pas me relire..:oops:

Voir 40 message(s) de cette discussion en une page