[Dates] Pages non accessible avec file_get_contents

Version imprimable

12/05/2008, 19h51
lysandre

[Dates] Pages non accessible avec file_get_contents

Bonjour à tous,

Je n'arrive pas a charger le contenu d'une page internet avec file_get_contents

la page est la suivante:
http://www.legifrance.gouv.fr/WAspad...o=MESM0123923S

quand on tape cette adresse dans la navigateur, on est redirigé vers une autre url.
Quand on essai de la charger avec php, on a l'erreur suivante:

Citation:

Warning: file_get_contents() [function.file-get-contents]: HTTP request failed! HTTP/1.0 500 in /home.10.25/ideesets/www/essai4.php on line 4

Warning: file_get_contents(http://www.legifrance.gouv.fr/WAspad...o=MESM0123923S) [function.file-get-contents]: failed to open stream: Success in /home.10.25/ideesets/www/essai4.php on line 4

Comme récuprérer le contenu de la page et donc cette autre url à partir de php?

Il y a effectivement une redirection mais surtout une session qui est mise en place (cf. log).
Je pense, sans en être certain, que ça bloque à cause de l'absence de session.
=> Essaie de passer par ordre de préférence par l'API HTTP les sockets ou CURL pour simuler le dialogue navigateur => serveur.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
http://www.legifrance.gouv.fr/WAspad/UnTexteDeJorf?numjo=MESM0123923S
 
GET /WAspad/UnTexteDeJorf?numjo=MESM0123923S HTTP/1.1
Host: www.legifrance.gouv.fr
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14
Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Referer: http://www.developpez.net/forums/newreply.php?do=newreply&noquote=1&p=3251923
Cookie: JSESSIONID=5B5002A3423F3268A6B392184F9948FD.tpdjo10v_2
 
HTTP/1.x 302 Found
Date: Mon, 12 May 2008 19:37:24 GMT
Server: Apache
Location: /UnTexteDeJorf.do?numjo=MESM0123923S
Vary: Accept-Encoding
Content-Encoding: gzip
Content-Length: 196
Connection: close
Content-Type: text/html; charset=iso-8859-1
----------------------------------------------------------
http://www.legifrance.gouv.fr/UnTexteDeJorf.do?numjo=MESM0123923S
 
GET /UnTexteDeJorf.do?numjo=MESM0123923S HTTP/1.1
Host: www.legifrance.gouv.fr
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14
Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Referer: http://www.developpez.net/forums/newreply.php?do=newreply&noquote=1&p=3251923
Cookie: JSESSIONID=5B5002A3423F3268A6B392184F9948FD.tpdjo10v_2
 
HTTP/1.x 302 Déplacé Temporairement
Date: Mon, 12 May 2008 19:37:25 GMT
Server: Apache
Pragma: No-cache
Cache-Control: no-cache,no-store,max-age=0
Expires: Thu, 01 Jan 1970 00:00:00 GMT
Location: http://www.legifrance.gouv.fr/affichTexte.do?cidTexte=JORFTEXT000000771043&dateTexte=
Vary: Accept-Encoding
Content-Encoding: gzip
Connection: close
Content-Type: text/html;charset=UTF-8
Content-Language: fr
----------------------------------------------------------
http://www.legifrance.gouv.fr/affichTexte.do?cidTexte=JORFTEXT000000771043&dateTexte=
 
GET /affichTexte.do?cidTexte=JORFTEXT000000771043&dateTexte= HTTP/1.1
Host: www.legifrance.gouv.fr
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14
Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Referer: http://www.developpez.net/forums/newreply.php?do=newreply&noquote=1&p=3251923
Cookie: JSESSIONID=5B5002A3423F3268A6B392184F9948FD.tpdjo10v_2
 
HTTP/1.x 200 OK
Date: Mon, 12 May 2008 19:37:25 GMT
Server: Apache
Pragma: No-cache
Cache-Control: no-cache,no-store,max-age=0
Expires: Thu, 01 Jan 1970 00:00:00 GMT
Vary: Accept-Encoding
Content-Encoding: gzip
Connection: close
Content-Type: text/html;charset=UTF-8
Content-Language: fr

Merci Séb pour ta réponse, mais je crois ne pas être trop compétent (pour l'instant) pour les solutions que tu donnes (je connais le php et le html mais les communications navigateur-serveur pas trop). Sans vouloir trop exagérer, peux-tu me dire concrètement ce que tu ferais? (je suis sur un hébergement mutualisé, est-il possible d'installer cette extension HTTP?)

Citation:

Envoyé par Séb.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
http://www.legifrance.gouv.fr/WAspad/UnTexteDeJorf?numjo=MESM0123923S
 
GET /WAspad/UnTexteDeJorf?numjo=MESM0123923S HTTP/1.1
Host: www.legifrance.gouv.fr
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14
Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Referer: http://www.developpez.net/forums/newreply.php?do=newreply&noquote=1&p=3251923
Cookie: JSESSIONID=5B5002A3423F3268A6B392184F9948FD.tpdjo10v_2
 
HTTP/1.x 302 Found
Date: Mon, 12 May 2008 19:37:24 GMT
Server: Apache
Location: /UnTexteDeJorf.do?numjo=MESM0123923S
Vary: Accept-Encoding
Content-Encoding: gzip
Content-Length: 196
Connection: close
Content-Type: text/html; charset=iso-8859-1
----------------------------------------------------------
http://www.legifrance.gouv.fr/UnTexteDeJorf.do?numjo=MESM0123923S
 
GET /UnTexteDeJorf.do?numjo=MESM0123923S HTTP/1.1
Host: www.legifrance.gouv.fr
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14
Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Referer: http://www.developpez.net/forums/newreply.php?do=newreply&noquote=1&p=3251923
Cookie: JSESSIONID=5B5002A3423F3268A6B392184F9948FD.tpdjo10v_2
 
HTTP/1.x 302 Déplacé Temporairement
Date: Mon, 12 May 2008 19:37:25 GMT
Server: Apache
Pragma: No-cache
Cache-Control: no-cache,no-store,max-age=0
Expires: Thu, 01 Jan 1970 00:00:00 GMT
Location: http://www.legifrance.gouv.fr/affichTexte.do?cidTexte=JORFTEXT000000771043&dateTexte=
Vary: Accept-Encoding
Content-Encoding: gzip
Connection: close
Content-Type: text/html;charset=UTF-8
Content-Language: fr
----------------------------------------------------------
http://www.legifrance.gouv.fr/affichTexte.do?cidTexte=JORFTEXT000000771043&dateTexte=
 
GET /affichTexte.do?cidTexte=JORFTEXT000000771043&dateTexte= HTTP/1.1
Host: www.legifrance.gouv.fr
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.8.1.14) Gecko/20080404 Firefox/2.0.0.14
Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
Accept-Language: fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
Keep-Alive: 300
Connection: keep-alive
Referer: http://www.developpez.net/forums/newreply.php?do=newreply&noquote=1&p=3251923
Cookie: JSESSIONID=5B5002A3423F3268A6B392184F9948FD.tpdjo10v_2
 
HTTP/1.x 200 OK
Date: Mon, 12 May 2008 19:37:25 GMT
Server: Apache
Pragma: No-cache
Cache-Control: no-cache,no-store,max-age=0
Expires: Thu, 01 Jan 1970 00:00:00 GMT
Vary: Accept-Encoding
Content-Encoding: gzip
Connection: close
Content-Type: text/html;charset=UTF-8
Content-Language: fr

12/05/2008, 22h24
Séb.

Vu que tu es sur un mutualisé vérifions d'abord les extensions chargées avec un phpinfo( ).
Si les prérequis sont présents je te ferai un petit script qui simulera un navigateur ;)
13/05/2008, 08h56
lysandre

Merci Séb. Le serveur semble avoir curl mais pas HTTP.

Citation:

CURL support enabled
CURL Information libcurl/7.15.5 OpenSSL/0.9.8c zlib/1.2.3 libidn/0.6.5
13/05/2008, 12h10
Séb.

Et les sockets ?
13/05/2008, 13h14
lysandre

Citation:

Envoyé par Séb.

Et les sockets ?

Bigre, je ne saurais pas ou trouver ca. Est-ce que je peux mettre en lien le phpinfo de mon site, il ne contient aucune donnée sensible?
Il faut savoir aussi que toutes les données que je donnes sont pour mon hébergement actuel. Le projet pour lequel j'ai besoin de lire le contenu de ces pages internet sera sur un autre hébergement, chez le même fournisseur (ovh) et sur le même type d'hébergement (90plan). Je ne sais pas si ca change grand chose pour les socket...mais de toute facon je pourrai adapter plus tard à l'autre hébergement.
14/05/2008, 00h41
Séb.

ovh + 90plan + phpinfo = http://90plan.ovh.net/infos/test.php

Bon apparement les sockets ne sont pas supportées :aie: A priori il faudra donc passer par CURL. Je ne connais pas DU TOUT cette API : tu vas devoir te documenter ( http://www.php.net/curl ) pour :
1. Récupérer le contenu de la page qui t'intéresse
2. Identifier le cookie de session
3. Refaire la requête (en prenant éventuellement en compte une redirection) avec le cookie
15/05/2008, 15h01
lysandre

Ok je vais essayer de me débrouiller. Je suppose que le cookie est envoyé avec la première page et récupéré par la deuxième (celle vers laquelle est faite la redirection).
Sais-tu si ces méthodes avec curl (ou disons avec http) sont plus rapides ou plus lentes que file_get_contents (je sais que dans ce cas je n'ai pas le choix, mais si curl est plus rapide que file_get_contents je vais l'utiliser pour tous les url, pas uniquement avec ceux qui ne marchent pas avec file_get_contents)?
15/05/2008, 22h57
Séb.

Je ne pourrai te répondre qt à la rapidité de CURL.