Recupération de données XML depuis une URL

Bonjour!

Je dois faire un projet en java, permettant de traiter des données au format RSS, que je dois récuperer à partir d'une URL (a chaque fois que je lancerais l'application, celle-ci traitera environ 500 URL).

Et pour chaque URL, je souhaiterais créer un fichier XML contenant les données de cette URL.. Merci de m'éclairer un peu sur la méthode a adopter (en me précisant les bibliotheques a importer, etc..)

PS: Voici un exemple d'URL : http://news.google.com/news?hl=en&ned=us&ie=UTF-8&scoring=d&q=Ryanair&output=rss

Salut,


La classe java.net.URL contient tout ce qu'il te faut, en particulier la méthode openStream() qui gère le protocole HTTP....

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12

InputStream input = null; try { URL url = new URL("http://news.google.com/news?hl=en&ned=us&ie=UTF-8&scoring=d&q=Ryanair&output=rss"); input = url.openConnection();   // lecture sur le input   } finally { if (input!=null) { input.close(); } }

---

a++

Citation:

---

Envoyé par adiGuba

Salut,


La classe java.net.URL contient tout ce qu'il te faut, en particulier la méthode openStream() qui gère le protocole HTTP....

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12

InputStream input = null; try { URL url = new URL("http://news.google.com/news?hl=en&ned=us&ie=UTF-8&scoring=d&q=Ryanair&output=rss"); input = url.openConnection();   // lecture sur le input   } finally { if (input!=null) { input.close(); } }

---

a++

---

Merci pour ton aide :wink:

J'ai repris exactement le code que tu as écrit, et en essayant de compiler j'ai l'erreur suivante :


--------------------Configuration: JDK version 1.5.0_04 <Default>--------------------
C:\PR\JAVA_HICHAM\HLCrawler\HLCrawler.java:179: incompatible types
found : java.net.URLConnection
required: java.io.InputStream
input = adr.openConnection();
^
1 error

Process completed.


PS/1 : Je précise que je fais un import java.io.InputStream; au début de mon code source...

PS/2 : le adr correspond à la variable url de ton code. je l'ai remplacé car j'avais deja la variable url

Salut,
Il me semble que url.openConnection renvoie un objet de type URLConnection sur le quel tu peux recuperer un inputStream !

Citation:

---

Envoyé par FreshVic

Salut,
Il me semble que url.openConnection renvoie un objet de type URLConnection sur le quel tu peux recuperer un inputStream !

---

Dans ce cas, qu'est ce que je dois ajouter dans mon code afin de pouvoir enregistrer les données de l'URL dans un fichier XML vierge ?

Essaye openStream :

http://java.sun.com/j2se/1.4.2/docs/api/java/net/URL.html#openStream()

Salut,


Exact je me suis trompé dans mon code : il n'est pas cohérent avec ce que je dis puisque j'utile openConnection() à la place de openStream()...

openStream() est équivalent à openConnection().getInputStream() (cf javadoc) et permet d'accéder à une ressource sans se soucier du protocol exacte ni de son emplacement réel (les protocole http, file et jar sont gérés, et peut-être ftp mais c'est à vérifier)...

Alors que l'objet URLConnection renvoyé par openConnection() permet d'obtenir plus d'infos sur la resources avant de la lire (date, taille, etc... selon le protocole).


a++

Bon, en changeant le code précédent par celui ci :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

InputStream input;   try { URL adr = new URL("http://news.google.com/news?hl=en&ned=us&ie=UTF-8&scoring=d&q=Ryanair&output=rss"); input = adr.openStream(); PrintStream data = new PrintStream( new FileOutputStream("LOG/test.xml") ); data.println(input);   }   catch(Exception e) { System.err.println(e); }

---

La compilation fonctionne, par contre il me sort l'erreur suivante lors de l'execution :

java.io.IOException: Server returned HTTP response code: 403 for URL: http://news.google.com/news?hl=en&ned=us&ie=UTF-8&scoring=d&q=Ryanair&output=rss

J'attend votre aide ..

Le code 403 signifie que tu n'as pas le droit d'acceder a la page !!
Reste a savoir pourquoi !! :wink:

Citation:

---

Envoyé par FreshVic

Le code 403 signifie que tu n'as pas le droit d'acceder a la page !!
Reste a savoir pourquoi !! :wink:

---

Oui je sais.. mais il doit bien y avoir une solution, puisque j'arrive à accéder à la page depuis l'explorateur ... :roll:

tu as peut etre un firewall qui empeche ton programme de sortir .

Citation:

---

Envoyé par FreshVic

tu as peut etre un firewall qui empeche ton programme de sortir .

---

Je viens de verifier, je n'ai aucun firewall ...
SVP AIDEZ MOIIIIIII :cry:

Tu essayes de ton domicile ou du travail ?

Citation:

---

Envoyé par adiGuba

Tu essayes de ton domicile ou du travail ?

---

du travail ..

Citation:

---

Envoyé par tonymo

du travail ..

---

:arrow: Demande à ton administrateur système. C'est le seul qui pourra te répondre...

a++

Citation:

---

Envoyé par adiGuba

Citation:

---

Envoyé par tonymo

du travail ..

---

:arrow: Demande à ton administrateur système. C'est le seul qui pourra te répondre...

a++

---

mais t sur ke ca doit etre un probleme de firewall ? car meme en desactivant celui ke j'avais, le programme ne marche pas..

Je suis aussi au travail , j'ai essayé ton bout de code et meme pour acceder à http://www.google.com" j'ai une :

Code:

---

java.net.UnknownHostException: www.google.com

---

Ca m'etonnerais pas que le proxy ou le firewall m'empeche de sortir via autre chose qu'un browser, ceci dit nous n'avons pas la meme erreur !!
essaye avec http://www.google.com et dit nous si tu as tjrs la meme chose??

Citation:

---

Envoyé par tonymo

mais t sur ke ca doit etre un probleme de firewall ? car meme en desactivant celui ke j'avais, le programme ne marche pas..

---

Je n'ai pas dit que c'était obligatoirement le firewall, cela peut venir de plein d'élément selon la configuration de ton réseau... mais seul ton admin pourra te répondre...

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12

try { URL adr = new URL("http://www.chu-stlouis.fr/imgsls1/UserSelections.txt"); input = adr.openStream(); PrintStream data = new PrintStream( new FileOutputStream("LOG/test.txt") ); data.println(input);   }   catch(Exception e) { System.err.println(e); }

---

Voila, avec ce bout de code, il ne me sort plus aucune erreur, mais il écrit dans le fichier texte: sun.net.www.protocol.http.HttpURLConnection$HttpInputStream@72ffb, ce qui n'a rien a voir avec ce qu'il devrait m'afficher ..

Citation:

---

Envoyé par tonymo

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12

try { URL adr = new URL("http://www.chu-stlouis.fr/imgsls1/UserSelections.txt"); input = adr.openStream(); PrintStream data = new PrintStream( new FileOutputStream("LOG/test.txt") ); data.println(input);   }   catch(Exception e) { System.err.println(e); }

---

Voila, avec ce bout de code, il ne me sort plus aucune erreur, mais il écrit dans le fichier texte: sun.net.www.protocol.http.HttpURLConnection$HttpInputStream@72ffb, ce qui n'a rien a voir avec ce qu'il devrait m'afficher ..

---

Ca c'est un autre probleme , ca vient du fait que tu fait un toString sur ton INput , c'est pas comme ca que tu dois recuperer le contenue de la stream.
Mais bon si pour cette url ca passe , j'imagine que ca doit vouloir dire que le probleme ne vient pas du reseau !! mais bon je suis pas un expert reseau ( j'en suis meme tres loin :wink: )

Citation:

---

Envoyé par tonymo

Voila, avec ce bout de code, il ne me sort plus aucune erreur, mais il écrit dans le fichier texte: sun.net.www.protocol.http.HttpURLConnection$HttpInputStream@72ffb, ce qui n'a rien a voir avec ce qu'il devrait m'afficher ..

---

C'est normal, tu lui demandes de t'écrire ton objet input qui est un InputStream. Pour ce faire il fait appele à la méthode toString de ton instance et celle-ci n'ayant pas été surchargée, il fait appel à l'implémentation de base de toString qui te retourne <nom de la classe>@<position en mémoire>

Ton data.println() écrit les données reçus par un appel à toString si c'est un objet. De ce fait tu ne dois pas lui passer un inputStream en paramètre mais directement les données lues.

donc en gros qu'est ce ke je dois changer, enlever ou rajouter dans mon code?

alors.. ? :roll:

Citation:

---

Envoyé par tonymo

alors.. ? :roll:

---

Merci de consulter la documentation... dans la classe InputStream tu as une méthode read()...

En cherchant dans les cours et tutoriels du site tu trouvera surement plein d'exemple pour lire un flux...

a++

TU peux creer un BufferedReader sur un InputStreamReader lui meme créer sur ton input, l'instance du bufferedReader te premettra alors de lire le flux ligne par ligne
EDIT : J'avais proposer un bout de code en tant que solution mais celle d'AdiGuba me semble bien meilleur et plus pedagogique !! :wink:

Citation:

---

Envoyé par FreshVic

TU peux creer un BufferedReader sur un InputStreamReader lui meme créer sur ton input, l'instance du bufferedReader te premettra alors de lire le flux ligne par ligne
EDIT : J'avais proposer un bout de code en tant que solution mais celle d'AdiGuba me semble bien meilleur et plus pedagogique !! :wink:

---

C'est vrai que les gens sont là pour donner des solutions et non pas pour les faire. Sans compter que le meilleur moyen pour apprendre c'est de fouiller par soi même :wink:

Citation:

---

Envoyé par xxaragornxx

Citation:

---

Envoyé par FreshVic

TU peux creer un BufferedReader sur un InputStreamReader lui meme créer sur ton input, l'instance du bufferedReader te premettra alors de lire le flux ligne par ligne
EDIT : J'avais proposer un bout de code en tant que solution mais celle d'AdiGuba me semble bien meilleur et plus pedagogique !! :wink:

---

C'est vrai que les gens sont là pour donner des solutions et non pas pour les faire. Sans compter que le meilleur moyen pour apprendre c'est de fouiller par soi même :wink:

---

tant que la solution qui est donnée prend quelques secondes pour être écrite, et tant qu'un expert en JAVA peut transmettre ses connaissances à un débutant, je ne vois pas où est le mal .. :?

Citation:

---

Envoyé par tonymo

tant que la solution qui est donnée prend quelques secondes pour être écrite, et tant qu'un expert en JAVA peut transmettre ses connaissances à un débutant, je ne vois pas où est le mal .. :?

---

On n'apprend pas en recopiant du code.
Les "experts" en Java sont là pour te dire ce qui ne va pas et vers quoi tu devrais te tourner. Le gain de temps est déjà là considérable et c'est en soi instructif. Mais pour appliquer ces solutions, rien ne vaut de le faire par soi-même.

Puis le

Citation:

---

..alors ?

---

c'est pas top pour demander un coup de main :wink: