Récupérer données Web

Version imprimable

01/08/2009, 23h38
Nicotendo

Récupérer données Web

Bonjour,
Je réalise un programme Java et je souhaiterai savoir s'il est possible de récupéré par l'intermédiaire de ce programme ou d'un autre du contenu dans une page internet.

Exemple : Météo, ...

Merci.

3 pièce(s) jointe(s)

une des solutions

Bonjour Nicotendo,

Une des solutions est d'aller sur ce site de météo :
http://french.wunderground.com
Tu choisis ton continent (select a Region), et le pays.
(copie d'écran : pageContinent.jpg)
En bas de page, clique sur ta ville.
Tu es dirigé vers une nouvelle page avec les infos sur ta ville.
Recherche en bas à gauche "Get Your Weather Sticker!" .
(GetYWS.jpg)
Tu as alors une page avec plusieurs bannières météo sur ta ville.
Tu peux alors soit afficher le code source et rechercher ta bannière, soit si tu as installé fire-bug, faire un clic droit sur ta bannière, puis "inspecter un élément'. Clique droit "Editer code HTML", copier et coller dans ta page HTML.
En y incluant la balise <href> qui l'entoure. (EditerHTML.jpg)
Tu obtiendras pour Bordeaux le code suivant :
Code:

1 2 3 <a href="/geo/BigWeatherStickerPromo2/global/stations/07510.html"> <img src="http://weathersticker.wunderground.com/weathersticker/big2_metric_cond/language/french/global/stations/07510.gif" height="61" width="468" alt="" /> </a>
Cordialement,
wmahann

02/08/2009, 02h55
wmahann

Autre solution moins de choix mais mieux expliquée

Re-Bonjour Nicotendo,

Une autre solution n'offrant pas de choix de sticker mais qui est plus simple à mettre en place est sur ce site :
http://orveauetextras.over-blog.com/...5865814-6.html

Cordialement,
wmahann
02/08/2009, 12h18
Nicotendo

Bonjour et merci à toi.

En effet ta solution fonctionne mais ce n'est pas ce que je recherche, j'ai du mal m'exprimer.
Enfaite ce que je souhaiterai faire, par exemple, c'est que tout les matins, mon programme java (ou à la rigueur avec mon site web) se connecte à plusieurs sites web afin de récupérer des données "écrites" et par exemple enregistré tout les matins dans un fichier texte (exemple météo du jour, actualité, sortie ciné tout les mercredis...).

Je pense que c'est possible, mais le plus complexe c'est de programmer quelque chose en java ou php par exemple qui me fait tout cela automatiquement.

Merci encore.

Edit: Une sorte de robot enfaite :)
03/08/2009, 18h12
Deadpool

Bonjour,

Tu pourrais éventuellement passer par des appels HTTP mais ça t'oblige à parser le contenu renvoyé pour en extraire l'information voulue.
03/08/2009, 18h56
sovo

Citation:

Envoyé par Deadpool

Tu pourrais éventuellement passer par des appels HTTP mais ça t'oblige à parser le contenu renvoyé pour en extraire l'information voulue.

je suis interessé par cette methode. tu pourais me donner plus d'explication ou alors un exemple ??

Ben en gros, il s'agit de faire comme un navigateur web, à savoir se connecter au serveur du site cible et en récupérer le flux HTML à l'aide d'une requête HTTP.

Pour cela, en Java, on peut utiliser la classe HttpURLConnection.
Par exemple, pour récupérer le flux html de google.fr en GET:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 public static void main(String args[]) throws Exception{ //déclaration de l'url cible URL url = new URL("http://www.google.fr"); //ouverture de la connexion HttpURLConnection urlConnection = (HttpURLConnection) url.openConnection(); //prépration de la requête HTTP GET urlConnection.setRequestMethod("GET"); urlConnection.connect(); //lecture et affichage de la réponse BufferedReader s = new BufferedReader( new InputStreamReader( urlConnection.getInputStream())); String line = s.readLine(); while (line != null) { System.out.println(line); line = s.readLine(); } //fermeture du flux de lecture s.close(); //fermeture de la connexion vers le site urlConnection.disconnect(); }
Là il s'agit d'une requête http toute simple en GET, il y a aussi possibilité de faire une requête en POST voir de passer des paramètres.

Bon après il reste à parser le flux html pour y récupérer ce que l'on veut, ce qui n'est pas forcément évident.

08/08/2009, 19h48
fangriz

je pense que ce que tu veux réaliser est un grand projet.
il faut d'abord maîtriser chaque partie à part.
en ce qui concerne le fait de les faire automatiquement, il faut un petit peu se familiariser avec les Timer et TimerTask au début puis aller vers Quartz qui est très complet. Ce dernier peut faire comme tu as dit, chaque mercredi, tout les jours, ...