extraction de données d'une page web en exploitant les RSS

Version imprimable

17/02/2007, 20h27
rose_des_sables

extraction de données d'une page web en exploitant les RSS

Bonsoir cher développeurs, mon problème est le suivant, en réalité je suis à la recherche d'une technique qui me permettrait d'éxtraire des news à partir de sites bien définis par exemple cnn, et cela en exploitant les fichiers RSS publiés par ces derniers, c'est trés urgent, car je suis en plein PFE, et je dois concevoir une application en jsp, en utilisant les système multi agents, donc j'aurai des agents ressources qui auront comme tache l'extraction de l'info, afin d'éxploiter ce texte et classer les news par la suite pour pouvoir les proposer à des utilisateurs suivant un profil bien défini, j'éspère avoir était claire, je vous remercie d'avance pour l'interet que vous portez à ma demande, je vous en serez trés reconnaissante pour une quelconque information, please help me:(
18/02/2007, 00h48
*alexandre*

Pour la lecture d'un flux RSS http://today.java.net/pub/a/today/20...utilities.html

Tes agents tu veux les définir comment ? En utilisant "simplement" des processus
qui seront utilisé parallellement ? utilisé un framework multi agent
http://www.recursionsw.com/ ?
18/02/2007, 10h07
rose_des_sables

merci enormément pour ta reponse, mais d'aprés ce que j'ai compris, le code proposé dans la page que tu m'as envoyé nous permet d'afficher le contenu des nouvelles extraites des rss d'un site de news dans ma propore page web, si c'est le cas cela m'intéresse, mais serais ce possible d'extraire carrément le texte et l'enregistrer dans une base de donées, et pour les multi agents, c'est jade que j'utiliserai comme plate forme de developpement de sma, merci encore pour votre reponse.

Avec ce code

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
 
public void readRSSDocument() throws Exception{
 
    RssParser parser = RssParserFactory.createDefault();
    Rss rss = parser.parse(
            new URL("http://rss.cnn.com/rss/cnn_world.rss"));
    //Get all XML elements in the feed
     Collection items = rss.getChannel().getItems();
        if(items != null && !items.isEmpty())
        {
        //Iterate over our main elements. Should have one for each article
            for(Iterator i = items.iterator();
                i.hasNext();
                System.out.println())
            {
                Item item = (Item)i.next();
                System.out.println("Title: " + item.getTitle());
                System.out.println("Link: " + item.getLink());
                System.out.println("Description: " + item.getDescription());
            }
 
        }
    //Iterate over categories if we are provided with any
        Collection categories = rss.getChannel().getCategories();
        if(categories != null && !categories.isEmpty())
        {
            Category cat;
            for(Iterator i = categories.iterator();
                i.hasNext();
                System.out.println("Category Domain: " + cat.getDomain()))
            {
                cat = (Category)i.next();
                System.out.println("Category: " + cat);
            }

Ce code récupère une collection qui est contenu dans un flux XML c'est le principe du RSS

Si tu veux récupérer le texte complet de la page tu dois utilisé URLConnection, tu ouvres le document que tu auras récupérer avec item.getLink()) et tu insères le texte dans ta bd.

18/02/2007, 11h50
rose_des_sables

merci alexandre pour ta reponse,
mais pour un début j'aimerai bien exploiter les fichiers RSS en offrant à mes utilisateurs qui accéderont à mon application en première page les news( RSS d'un site d'actualité) en intégrant carrément la liste de lien qu'offre ces sites dans ma page d'acceuil, qui représentera l'interface(en jsp) entre l'utilisateur et mon système. thank's encore une fois pour tes reponses.:roll: