IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Servlets/JSP Java Discussion :

extraction de données d'une page web en exploitant les RSS


Sujet :

Servlets/JSP Java

  1. #1
    Nouveau membre du Club
    Profil pro
    Inscrit en
    Janvier 2006
    Messages
    29
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Janvier 2006
    Messages : 29
    Points : 32
    Points
    32
    Par défaut extraction de données d'une page web en exploitant les RSS
    Bonsoir cher développeurs, mon problème est le suivant, en réalité je suis à la recherche d'une technique qui me permettrait d'éxtraire des news à partir de sites bien définis par exemple cnn, et cela en exploitant les fichiers RSS publiés par ces derniers, c'est trés urgent, car je suis en plein PFE, et je dois concevoir une application en jsp, en utilisant les système multi agents, donc j'aurai des agents ressources qui auront comme tache l'extraction de l'info, afin d'éxploiter ce texte et classer les news par la suite pour pouvoir les proposer à des utilisateurs suivant un profil bien défini, j'éspère avoir était claire, je vous remercie d'avance pour l'interet que vous portez à ma demande, je vous en serez trés reconnaissante pour une quelconque information, please help me

  2. #2
    Inactif  
    Profil pro
    Inscrit en
    Mai 2006
    Messages
    2 189
    Détails du profil
    Informations personnelles :
    Âge : 43
    Localisation : Suisse

    Informations forums :
    Inscription : Mai 2006
    Messages : 2 189
    Points : 2 336
    Points
    2 336
    Par défaut
    Pour la lecture d'un flux RSS http://today.java.net/pub/a/today/20...utilities.html

    Tes agents tu veux les définir comment ? En utilisant "simplement" des processus
    qui seront utilisé parallellement ? utilisé un framework multi agent
    http://www.recursionsw.com/ ?

  3. #3
    Nouveau membre du Club
    Profil pro
    Inscrit en
    Janvier 2006
    Messages
    29
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Janvier 2006
    Messages : 29
    Points : 32
    Points
    32
    Par défaut
    merci enormément pour ta reponse, mais d'aprés ce que j'ai compris, le code proposé dans la page que tu m'as envoyé nous permet d'afficher le contenu des nouvelles extraites des rss d'un site de news dans ma propore page web, si c'est le cas cela m'intéresse, mais serais ce possible d'extraire carrément le texte et l'enregistrer dans une base de donées, et pour les multi agents, c'est jade que j'utiliserai comme plate forme de developpement de sma, merci encore pour votre reponse.

  4. #4
    Inactif  
    Profil pro
    Inscrit en
    Mai 2006
    Messages
    2 189
    Détails du profil
    Informations personnelles :
    Âge : 43
    Localisation : Suisse

    Informations forums :
    Inscription : Mai 2006
    Messages : 2 189
    Points : 2 336
    Points
    2 336
    Par défaut
    Avec ce code

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
     
    public void readRSSDocument() throws Exception{
     
        RssParser parser = RssParserFactory.createDefault();
        Rss rss = parser.parse(
                new URL("http://rss.cnn.com/rss/cnn_world.rss"));
        //Get all XML elements in the feed
         Collection items = rss.getChannel().getItems();
            if(items != null && !items.isEmpty())
            {
            //Iterate over our main elements. Should have one for each article
                for(Iterator i = items.iterator();
                    i.hasNext();
                    System.out.println())
                {
                    Item item = (Item)i.next();
                    System.out.println("Title: " + item.getTitle());
                    System.out.println("Link: " + item.getLink());
                    System.out.println("Description: " + item.getDescription());
                }
     
            }
        //Iterate over categories if we are provided with any
            Collection categories = rss.getChannel().getCategories();
            if(categories != null && !categories.isEmpty())
            {
                Category cat;
                for(Iterator i = categories.iterator();
                    i.hasNext();
                    System.out.println("Category Domain: " + cat.getDomain()))
                {
                    cat = (Category)i.next();
                    System.out.println("Category: " + cat);
                }
    Ce code récupère une collection qui est contenu dans un flux XML c'est le principe du RSS

    Si tu veux récupérer le texte complet de la page tu dois utilisé URLConnection, tu ouvres le document que tu auras récupérer avec item.getLink()) et tu insères le texte dans ta bd.

  5. #5
    Nouveau membre du Club
    Profil pro
    Inscrit en
    Janvier 2006
    Messages
    29
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Janvier 2006
    Messages : 29
    Points : 32
    Points
    32
    Par défaut
    merci alexandre pour ta reponse,
    mais pour un début j'aimerai bien exploiter les fichiers RSS en offrant à mes utilisateurs qui accéderont à mon application en première page les news( RSS d'un site d'actualité) en intégrant carrément la liste de lien qu'offre ces sites dans ma page d'acceuil, qui représentera l'interface(en jsp) entre l'utilisateur et mon système. thank's encore une fois pour tes reponses.

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. [RegEx] Extraction de données d'une page web
    Par tito26 dans le forum Langage
    Réponses: 3
    Dernier message: 27/08/2011, 17h30
  2. Extraction données dans une page WEB
    Par phibrunet dans le forum Excel
    Réponses: 1
    Dernier message: 19/02/2008, 11h26
  3. Extraction de données d'une page web
    Par morgan47 dans le forum VB 6 et antérieur
    Réponses: 5
    Dernier message: 02/03/2007, 01h19
  4. bug dans programme d'extraction de données d'une page web
    Par youpimevla dans le forum Web & réseau
    Réponses: 11
    Dernier message: 31/08/2006, 10h02
  5. [Système] Extraire des données d'une page web
    Par nazoreen dans le forum Langage
    Réponses: 17
    Dernier message: 22/03/2006, 21h38

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo