Récupèrer la source html d'un site web

Version imprimable

27/04/2008, 11h24
Electroniktor

Récupèrer la source html d'un site web

Bonjour tout le monde ! :P

Je voudrais savoir comment faire pour récupèrer la source html d'un site web à partir de son adresse. :D
Par exemple, dans la console, je tape http://www.developpez.com et mon programme enregistre la source html de ce site dans un fichier. :)

Merci d'avance pour vos explications ! ;)
27/04/2008, 15h49
Alp

Soit tu fais tout à la main : tu utilises les sockets (natifs ou bien une bibliothèque toute prête) et tu regardes le protocole HTTP pour voir ce que tu dois dire au serveur web de developpez.com pour qu'il te donne les sources de la page que tu veux (requête GET).
Soit tu utilises une bibliothèque comme cURL.
27/04/2008, 16h02
Electroniktor

Salut, merci de me répondre ! :king:

Je pense plutot faire cela à la main, c'est plus instructif ! :mrgreen:
Mais pourrais tu me montrer un peu de code (ou du pseudo code) car là j'ai un petit peu de mal à tout comprendre ! :oops:

Merci. ;)
27/04/2008, 16h09
Alp

Voici un document qui décrit le protocole de communication avec un serveur HTTP : http://abcdrfc.free.fr/rfc-vf/rfc1945.html

Ensuite, il faut que tu lises un cours sur la programmation réseau en C++ en utilisant les sockets natifs (ceux fournits en C++ pour ton OS), par exemple celui-là : http://broux.developpez.com/articles/c/sockets/

Le port d'un serveur HTTP est souvent 80. Tu as l'hôte : developpez.com .

A toi de chercher un peu maintenant ;)

J'ai lu les documents que tu m'as donné et j'ai appris plein de choses ! :king:

J'ai réussi à faire ce que je voulais (je me suis quand même un peu aidé d'un autre code ... :oops:) :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
#include <winsock2.h>
#include <stdio.h>
#pragma comment (lib,"ws2_32.lib")
 
int connection (char* serveur, int port)
{
	int sock;
	struct sockaddr_in serverSockAddr;
	struct hostent *serverHostEnt;
 
	memset (&serverSockAddr, 0, sizeof (serverSockAddr));
	serverHostEnt = gethostbyname (serveur);
	if (serverHostEnt == NULL)
	{
		printf ("Serveur introuvable : %s\n", serveur);
		return -1;
	}
 
	memcpy (&serverSockAddr.sin_addr, serverHostEnt -> h_addr, serverHostEnt -> h_length);
	serverSockAddr.sin_port = htons (port);
	serverSockAddr.sin_family = AF_INET;
 
	if ((sock = socket (AF_INET,SOCK_STREAM, 0)) < 0)
	{
		printf ("Probleme lors de la creation du socket ...\n");
        return -1;
    }
	if (connect (sock, (struct sockaddr *) &serverSockAddr, sizeof (serverSockAddr)) < 0)
	{
		printf ("Impossible de se connecter\n");
        return -1;
    }
 
	return sock;
}
 
void download (int sock, char* hote, char* chemin, char* nom)
{
    char commande [500], buf [1024];
	int lu = 1;
	FILE* fichier = fopen (nom, "wb");
 
    sprintf (commande, "GET %s%s HTTP/1.1\r\nHost: %s\r\nAccept: */*\r\n\r\n", chemin, nom, hote);
    send (sock, commande, strlen (commande) + 1, 0);
 
	while (lu > 0)
	{
		lu = recv (sock, &(buf [0]), 1024, 0);
		fwrite (&(buf [0]), lu, 1, fichier);
	}
 
	fclose (fichier);
}
 
int main (void)
{
    WSADATA wsa;
	WSAStartup (MAKEWORD (2, 0), &wsa);
 
	int sock = -1, port = 80;
	char serveur []  = "char serveur";
	char hote[]  = "char hote";
	char chemin [] = "/";
	char fichier [] = "index.html";	
 
	sock = connection (serveur, port);
	if (sock < 0)    return -1;
 
	download (sock, hote, chemin, fichier);
 
	shutdown (sock, 2);
	closesocket (sock);
	WSACleanup ();
 
	return 0;
}

Et cela marche super bien ! :yaisse2:

Par contre j'ai une petite question : j'ai essayé de copier un site qui a un compteur de visites. La copie marche très bien, mais je me suis aperçu que le compteur n'est pas incrémenté après le passage de mon programme. Est-ce normal ? Parce que mon programme se connecte bien au site, non ? 8O

27/04/2008, 21h53
coyotte507

Bonsoir,

Peut-être que ledit site, pour éviter l'augmentation du compteur de visite par des bots, regarde le champ User-Agent de la requête?
Ou alors le compteur n'est pas mis à jour en temps réel...
Ou encore vu que ton IP reste la même il n'augmente pas le nombre de visite ;)
27/04/2008, 22h34
Electroniktor

Citation:

Ou encore vu que ton IP reste la même il n'augmente pas le nombre de visite

Juste par curiosité : on peut changer son adresse IP lorsque on fait la requete ? 8O
27/04/2008, 22h38
coyotte507

Salut,

ton IP je pense pas, mais tu peux passer par un proxy ou te débrouiller avec ton modem/ta box pour changer d'IP. Tu peux aussi indiquer une mauvaise IP au site (mais là c'est plus hard), et dans ce cas tu ne recevras jamais de réponse...
28/04/2008, 00h25
nicroman

Citation:

Envoyé par coyotte507

Bonsoir,

Peut-être que ledit site, pour éviter l'augmentation du compteur de visite par des bots, regarde le champ User-Agent de la requête?
Ou alors le compteur n'est pas mis à jour en temps réel...
Ou encore vu que ton IP reste la même il n'augmente pas le nombre de visite ;)

Ou alors le compteur de visite dans la page web est un LIEN vers le compteur en question, et que c'est CE lien qui va incrémenter le compteur.