Prendre des données sur le web

Version imprimable

18/05/2008, 17h38
newbinside

Prendre des données sur le web

Bonjour a tous,

Comme mon nom l'indique, je debute juste en programmation. J'ai donc une question (bete, je suppose) a poser : est-il possible d'utiliser dans un programme c des donnees que le programme prendrait directement sur une page web? Si oui, comment? Si non, est-ce possible avec un autre langage?

Merci bcp!

Tout est possible en C, mais avant d'en arriver là, il y a pas mal de notion à assimiler, néanmoins si tu veux vraiment voir à quoi ça ressemble :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
#define _XOPEN_SOURCE 600
 
#include <stdio.h>
#include <string.h>
#include <unistd.h>
#include <netdb.h>
 
#define HOST "c.developpez.com"
#define PORT 80
#define FILE "/"
 
int main (void)
{
   struct hostent *host_address = gethostbyname (HOST);
 
   if (host_address != NULL)
   {
      int socket_id = socket (PF_INET, SOCK_STREAM, 0);
 
      if (socket_id != -1)
      {
         struct sockaddr_in sockname;
         sockname.sin_family = host_address->h_addrtype;
         sockname.sin_port = htons (PORT);
         memcpy (&sockname.sin_addr.s_addr, host_address->h_addr,
                 host_address->h_length);
 
         if (connect (socket_id, (struct sockaddr *) &sockname,
                      sizeof (struct sockaddr_in))
             != -1)
         {
            char str[1024];
            int l;
 
            write (socket_id, "GET ", sizeof ("GET ") - 1);
            write (socket_id, FILE, sizeof (FILE) - 1);
            write (socket_id, " HTTP/1.1\r\nHost: ",
                   sizeof (" HTTP/1.1\r\nHost: ") - 1);
            write (socket_id, HOST, sizeof (HOST) - 1);
            write (socket_id, "\r\n\r\n", sizeof ("\r\n\r\n") - 1);
 
            while ((l = read (socket_id, str, sizeof (str) - 1)))
            {
               str[l] = 0;
               printf ("%s", str);
            }
            shutdown (socket_id, 2);
            close (socket_id);
         }
         else /* connect () */
         {
            perror ("connect ()");
         }
      }
      else /* socket () */
      {
         perror ("socket ()");
      }
   }
   else /* gethostbyname () */
   {
      perror ("gethostbyname ()");
   }
 
   return 0;
}

ce code se contente de récupérer la page d'index du site c.developpez.com .
Bien entendu, un page est une ressource comme une autre, tu peux télécharger une image, un pdf, ...

PS: ce code compile sous UNIX mais pas sous Windows!!

18/05/2008, 18h07
newbinside

Effectivement j'ai comme l'impression qu'il y a beaucoup de choses que j'ignore encore pour pouvoir faire ca, mais merci beaucoup pour ta reponse!
18/05/2008, 18h17
nicolas.sitbon

Pour info, il y a des bibliothèques comme libcurl qui te permettent de faire ça beaucoup plus facilement.

Citation:

Envoyé par nicolas.sitbon

Version portable :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
 
/* get-url.c */
 
#ifdef __cplusplus
#error Be sure you are using a C compiler...
#endif
 
#if defined (WIN32)
 
#include <winsock2.h>
 
#elif defined (linux) || defined (_POSIX_VERSION) || defined (_POSIX2_C_VERSION)\
 || defined (_XOPEN_VERSION)
 
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <unistd.h>             /* close */
 
#define INVALID_SOCKET -1
#define SOCKET_ERROR -1
 
#define closesocket(s) close (s)
typedef int SOCKET;
typedef struct sockaddr_in SOCKADDR_IN;
typedef struct sockaddr SOCKADDR;
 
#else
#error not defined for this platform
#endif
 
#include <stdio.h>
#include <stdlib.h>
 
/* macros ============================================================== */
 
#define PORT 80
 
/* constants =========================================================== */
/* types =============================================================== */
/* structures ========================================================== */
/* private data ======================================================== */
/* private functions =================================================== */
 
static void emission (SOCKET socket_id, char const *s)
{
   send (socket_id, s, strlen (s), 0);
}
 
static int get_url (char const *s_host_, char const *s_file_)
{
   struct hostent *host_address = gethostbyname (s_host_);
 
   if (host_address != NULL)
   {
      SOCKET socket_id = socket (PF_INET, SOCK_STREAM, 0);
 
      if (socket_id != INVALID_SOCKET)
      {
         struct sockaddr_in sockname;
#if 0
         int optval = 1;
 
         setsockopt (socket_id, SOL_SOCKET, SO_REUSEADDR, &optval,
                     sizeof optval);
#endif
 
         sockname.sin_family = host_address->h_addrtype;
         sockname.sin_port = htons (PORT);
         memcpy (&sockname.sin_addr.s_addr, host_address->h_addr,
                 host_address->h_length);
 
         if (connect (socket_id, (struct sockaddr *) &sockname,
                      sizeof (struct sockaddr_in)) != SOCKET_ERROR)
         {
            /* requete http GET */
            emission (socket_id, "GET ");
            emission (socket_id, s_file_);
            emission (socket_id, " HTTP/1.1\r\nHost: ");
            emission (socket_id, s_host_);
            emission (socket_id, "\r\n\r\n");
 
            /* reception de la page html */
            {
               char str[1024];
               int l;
               while ((l = recv (socket_id, str, sizeof (str) - 1, 0)) > 0)
               {
                  str[l] = 0;
                  printf ("%s", str);
               }
            }
            shutdown (socket_id, 2);
            closesocket (socket_id);
         }
         else                   /* connect () */
         {
            perror ("connect ()");
         }
      }
      else                      /* socket () */
      {
         perror ("socket ()");
      }
   }
   else                         /* gethostbyname () */
   {
      perror ("gethostbyname ()");
   }
 
   return 0;
}
 
/* entry point ========================================================= */
 
/* ---------------------------------------------------------------------
   --------------------------------------------------------------------- */
int main (void)
{
   int ret;
 
#if defined (WIN32)
   WSADATA wsa_data;
   int err = WSAStartup (MAKEWORD (2, 2), &wsa_data);
 
   if (!err)
   {
      puts ("WIN: winsock2: OK");
#else
   int err;
#endif
 
#define HOST "c.developpez.com"
#define FILE "/"
   get_url (HOST, FILE);
 
#if defined (WIN32)
   WSACleanup ();
}
#endif
 
if (err)
{
   ret = EXIT_FAILURE;
}
else
{
   ret = EXIT_SUCCESS;
}
 
return ret;
}

Attention, aucune analyse de l'entête http retournée n'est faite et les données ne sont pas traitées séparément du http.

Citation:

Envoyé par Emmanuel Delahaye

Code:

1
2
3
4
5
6
7
 
#if 0
         int optval = 1;
 
         setsockopt (socket_id, SOL_SOCKET, SO_REUSEADDR, &optval,
                     sizeof optval);
#endif

Pourquoi?

18/05/2008, 23h09
Emmanuel Delahaye

Citation:

Envoyé par nicolas.sitbon

Pourquoi?

Ca ne compile pas sous windows (une histoire de type). Ca sert à quoi ?
18/05/2008, 23h19
nicolas.sitbon

Citation:

Envoyé par Emmanuel Delahaye

Ca ne compile pas sous windows (une histoire de type). Ca sert à quoi ?

Ici, strictement à rien, je sais pas pourquoi je l'ai mis ici, ça vient de mon serveur (perso), ça permet de relancer immédiatement un serveur sans délai

Citation:

SO_REUSEADDR
Specifies that the rules used in validating addresses supplied to bind() should allow reuse of local addresses, if this is supported by the protocol. This option takes an int value. This is a Boolean option.

C'est expliqué dans l'ouvrage de Stevens (je sais que tu l'as ;)).
En revanche, je m'aperçois d'un oubli dans mon code et dans le tiens à savoir la définition de la constante _POSIX_C_SOURCE ou _XOPEN_SOURCE ce qui induit un comportement indéterminé; je conseille

Code:

#define _XOPEN_SOURCE 600
19/05/2008, 00h04
Emmanuel Delahaye

Citation:

Envoyé par nicolas.sitbon

Ici, strictement à rien, je sais pas pourquoi je l'ai mis ici, ça vient de mon serveur (perso), ça permet de relancer immédiatement un serveur sans délai

Ici, c'est un client...