Traitement des pages web avec java

Version imprimable

15/06/2009, 15h19
samorra

Traitement des pages web avec java

Salut tout le monde
bon, j'ai un projet qui consiste à développer un systéme pour la recherche d'information dans des pages web avec le langage java.
Alors pour débuter, et avant de commencer le développement des grands algorithmes, il me faut savoir comment afficher, lire et récupérer le contenu d'une page web avec java, svp veuillez m'aider avec des tutos, des idées qui explique comment le faire( et les outils à utiliser).
Merci d'avance
15/06/2009, 16h06
jolatouf

Bonjour,

un minimum d'explication du projet serait le bienvenue.
A savoir : - dois tu recuperer le contenu texte, image, code source de pages web.
- dois tu faire une recherche basique genre le mot ou la balise est présente.
- tous ce qui peux aider à t'aider ...
16/06/2009, 12h09
samorra

Traitement des pages web avec java

salut tout le monde
Merci jalatouf, oui vous avez raison j'ai pas bien préciser ce que je veux traiter ou récuperer, alors à savoir je doit récuperer le contenu texte de la page web et pour certain cas je doit le convertir en code ASCII.
MERCI D'AVANCE
16/06/2009, 14h10
jolatouf

Bonjour,

A première vu, il te faudra un parser de HTML. voici un lien qui peut te donner une piste.

http://htmlparser.sourceforge.net/

Il va falloir que tu regardes javax.swing.text.html dans l'api
http://java.sun.com/j2se/1.5.0/docs/api/

Si tu expliques un peu plus ton but final cela sera plus simple. (du genre une seule page html, ou plusieurs, les pages sont rafraichies ou statiques) (le texte que tu veux récupérer est entre 2 balises spécifiques ou pas, ...
16/06/2009, 15h58
samorra

Traitement des pages web avec java

Bonjour,
merci encore une fois, alors pour mon but final c'est pas trés claire pour moi à ce moment mais grosso modo je doit à la fin réaliser un systéme qui fait la recherche d'information textuelle dans les pages web.
Mais au début je doit tout simplement réaliser un simple programme que je lui donne un url, et il m'affiche la page correspondante et transformer son contenu en code ASCII.
Merci

Bonjour,

Je ne sais pas a quel point tu en ai donc démarrons par le commencement.

Le package java.net a une classe URL qui te permet de recuperer un fichier depuis une URL

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
URL url = new URL("http://www.tonsite.com");
InputStreamReader ipsr = new InputStreamReader(url.openStream());
BufferedReader br = new BufferedReader(ipsr);
String line = null;
StringBuffer buffer = new StringBuffer();
 
try {
 
     while ((line = br.readLine()) != null) {
             buffer.append(line).append('\n');
      }
      br.close();
 
}catch (IOException e) {e.printStackTrace();}

Traitement des pages web avec java

Bonjour,
merci je vais essayer de bien comprendre le code que vous avez envoyer, moi depuis hier j ai pu tourner le code suivante:
code:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
import java.io.IOException;
import java.net.MalformedURLException;
import java.net.URL;
import javax.swing.*;
import javax.swing.text.StyledDocument;
 
 
 
public class Test {
 
	public Test() throws MalformedURLException{
 
           JFrame fenetre = new JFrame();
           JPanel  pan1=new JPanel();
           JEditorPane editorPane = new JEditorPane(); 
           editorPane.setEditable(false); 
//crée un objet URL :
           String s="http://www.yahoo.com/";
           URL helpURL = new URL(s); 
           try { 
              /*s = "file:" + System.getProperty("user.dir") 
                           + System.getProperty("file.separator") 
                           + "URL1.html";*/
               helpURL = new URL(s); 
 
               /* ... utilise l'URL pour initialiser l'editor pane ... */ 
           } catch (Exception e) { 
               System.err.println("Couldn't create help URL: " + s); 
           }
 
 
           try { 
               editorPane.setPage(helpURL); 
           } catch (IOException e) { 
               System.err.println("Attempted to read a bad URL: " + helpURL); 
           }
 
           pan1.add( editorPane);
           fenetre.setTitle("Ma première fenêtre java");
           fenetre.setSize(400, 500);
           //Nous allons maintenant dire à notre objet de se positionner au centre
           fenetre.setLocationRelativeTo(null);
           fenetre.add(pan1);
           //Terminer le processus lorsqu'on clique sur "Fermer"
           fenetre.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
           fenetre.setVisible(true);
 
	}
 
        public static void main(String[] args) throws MalformedURLException{
        	Test objet1= new Test();
 
        }       
}

il me permet d'affiche une page web en changanl l'url dans le code, mais c est pas encore bien fait, je doit récupérer le contenu texte de la page web et le convertir en code ASCII et l'enregistrer dans un fichier texte.
Merci:ccool: