Récupérer le code source d'une page

Version imprimable

Bonjour à tous !

J'aimerais récupérer le code html de yahoo finances' sous format json ou même html.

Je n'obtiens qu'une partie du code quand je lis le buffeur et quand je le parse en json, catastrophe ! Je n'ai qu'une suite de valeurs. :calim2:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
var http      = require('http');
 buff = new Buffer(256);
var getData = function(){
    http.get('http://fr.finance.yahoo.com/actualites/', function(res){
        res.on('data', function(data){
        buff +=data;
        });
 
    res.on('end', function(){
              console.log(buff);
              console.log(JSON.parse(buff
        });
        res.on('error', function(e){
            console.log(e);
        });
    });
}
getData();

25/02/2014, 16h12
SpaceFrog

Avant d'aller plus loins dans ton code

Pose toi la question de la légalité de cette récupération ...
25/02/2014, 16h32
sara_atek

Récuperer le code source d'une page web en nodej

j'ai essayé sur d'autres sites ça donne toujours la même chose, je pense que j'ai un problème au niveau de mon code.. car si j'arrive à visualiser le code source d'une page web , je ne voie pas pourquoi je ne peux pas le récupérer ..:weird:
25/02/2014, 16h36
SpaceFrog

Au dela de la technique pure de code ou du site cible ...
A mon humble avis ce que tu fais n'est pas très légal ...
25/02/2014, 16h47
sara_atek

les données sont disponibles en téléchargement libre sur différents sites
ex: http://www.master272.com/VBA/donnees/VBA_yahoo.html
de toute façon ne ne peux malheureusement plus modifier mon projet qui est de gréer un outil d'aide a la gestion de portefeuilles....:oops:
25/02/2014, 16h54
Kaamo

Utilise les API proposées par Yahoo
Il doit peut-être y en avoir d'autres payantes pour plus d'informations sûrement.
26/02/2014, 10h02
p3ga5e

Salut !

Je note 2 erreurs dans ton code !

Tu ne peux pas concaténer 2 buffer par l’operateur +
Tu dois utiliser la méthode statique concat du type Buffer comme ceci :

Code:

buff = Buffer.concat([buff,data],buff.length+data.length);

Ensuite la méthode parse du type l’objet JSON attend comme 1er argument un string et non pas un Buffer!
tu doit donc le convertir comme ceci :

Code:

JSON.parse(buff.toString('ascii'))

Il faut spécifier a la méthode toString l’encodage de ta réponse HTTP , cela doit ce récupérer sur l’un des headers de la réponse

Merci de ton aide , mais cela me génère encore une erreur, et même si j'essaye de lire "buff" au lieux de "copy" il y a quand même une erreur donc ce n'es pas uniquement le parse qui ne fonctionne pas mais c'est toute la procédure de récupération de donnée..

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
var http      = require('http');
var timers    = require('timers');
var util      = require('util');
 
 
 
 var buff= new Buffer(256);
 
 
var getData = function(){
    http.get('http://fr.finance.yahoo.com/actualites/', function(res){
        res.on('data', function(data){
		buff = Buffer.concat([buff,data], buff.length + data.length);
        });
 
	res.on('end', function(){
 
			var copy = JSON.parse(buff.toString('UTF-8'));
			  console.log(copy);
 
        });
 
        res.on('error', function(e){
            console.log(e);
        });
 
    });
}
 
getData();

27/02/2014, 17h05
p3ga5e

Remplace buff.toString('UTF-8') par buff.toString('utf8') ! réfère toi a la doc de node

ensuite l'url http://fr.finance.yahoo.com/actualites/ ne retourne pas du JSON mais de l'HTML, donc c'est normal que la méthode parse plante !
27/02/2014, 17h20
sara_atek

Si cela renvoie une page HTML, pourquoi à l'affichage j'ai un tableau de valeurs : <Buffer 48 8b 6c ..>
ce qu'il a d'encore plus étrange c'est que je sais que la méthode :" buff += data" ne peut pas fonctionner car le "+" n'est pas surchargé , pourtant à l'affichage j’obtiens une partie de la page que je demande ! les scripts notamment ..8O

lorsque l'on log un buffer dans la console cela affiche sous forme hexadécimal chaque octet de ton buffer

perso j'obtient bien la page HTML avec ceci :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 require('http').get('http://fr.finance.yahoo.com/actualites/', function(res) { var buff= new Buffer(0); res.on('data', function(data){ buff = Buffer.concat([buff,data], buff.length + data.length); }); res.on('end', function(){ console.log(buff.toString('utf8')); }); res.on('error', function(e){ console.error(e); }); });

01/03/2014, 19h15
sara_atek

moi je n'obtiens qu'une partie de la page html, les balises sont toutes collées et il manque une bonne partie du début de la page :?
c'est bon ! je suis trop conne.. c'est juste qu'il fallait augmenter la taille de la mémoire tampon dans la commande du prompt
05/03/2014, 15h26
ymoreau

Citation:

Envoyé par SpaceFrog

A mon humble avis ce que tu fais n'est pas très légal ...

Une page web accessible publiquement, qu'elle soit affichée dans un browser ou traitée dans un script ça ne fait pas de différence et c'est tout à fait légal.
Après certains sites vont bloquer des IP qui leur enverraient trop de requêtes à grande vitesse (par exemple des algos de recherche qui font des requêtes à un moteur de recherche dans une boucle). Il y a des accords particuliers pour les universités et les projets pour cette utilisation là, à négocier, mais bon je suppose que pour son cas ça ne sera pas un traitement à faire répétitivement.
05/03/2014, 15h55
Bovino

Citation:

qu'elle soit affichée dans un browser ou traitée dans un script ça ne fait pas de différence et c'est tout à fait légal

Ah non, pas du tout ! :nono:

Le droit de consultation est une chose, mais ça ne signifie pas tous les droits sur le contenu consulté.

C'est comme dans une bibliothèque : le fait que des livres soient consultables librement n'implique pas le droit d'appropriation, de modification, de reproduction ou quoi que ce soit de cet ordre là.
05/03/2014, 17h04
fredoche

le fichier robots.txt sert à donner les indications aux web crawlers

Tu aurais des refs là dessus Bovino ?

Et par ailleurs vous seriez pas dans le procès d'intention ?

Citation:

le fait que des livres soient consultables librement n'implique pas le droit d'appropriation, de modification, de reproduction ou quoi que ce soit de cet ordre là
05/03/2014, 17h58
Bovino

C'est un peu la base de la propriété intellectuelle et du droit d'auteur...
Pour ce qui est des références, j'en avais, mais là, j'ai pas trop le temps ni la motivation de les retrouver. :aie:
Mais bon, en lisant le bas de page de l'URL donnée au premier message, on peut lire sans ambiguité

Citation:

En vous rendant sur le site Yahoo!, vous vous engagez à ne pas reproduire les informations publiées sur cette page.

:roll: