Discussion :

[AIexis]

Bonjour,
j'aimerais savoir si il est possible que PHP imite le comportement d'un navigateur quand celui-ci fait un enregistrement d'une page.
En gros, quand on (nous, utilisateurs) fait enregistrer sous, on obtient un fichier htm, et éventuellement un dossier portant le même nom.
Je souhaiterais que PHP puisse faire la même chose, genre
fopen("unepage.html","r");
enregistrer_sous("sauvegarde.htm");

Il s'agit d'une page assez particulière, avec du contenu qui n'apparait dans le code source QUE si on fait enregistrer sous (j'ai pas compris pourquoi, mais du coup c'est ma seule méthode pour avoir une copie de la page sans "trou").

Merci

[Thes32]

Salut,

si je t'ai bien compris tu voudrais que PHP gère l'action du bouton "Enregistrer (Sous)" du navigateur ?

[AIexis]

Mm... non, c'est pas ça.
J'exécute le code php directement depuis le serveur, donc ça ne passe par aucun navigateur.
Je prends un exemple, j'imagine une fonction qui ferait ceci:

$page = "http://www.developpez.net/forums/newreply.php?do=newreply&noquote=1&p=4913848" ; // au hasard
sauvegarder($page) ;

//
Cette fonction crée un fichier html sur le serveur (ou .txt d'ailleurs, on s'en fout) dont le contenu serait le code source de la page en question.

J'ai déjà fait quelques tests avec cURL, mais je n'obtiens pas le contenu qui est pourtant visible sur la page.

Mais bon, je vais laisser tomber, je pense que ça n'est pas possible.

[Thes32]

Ok, je comprends.

J'ai déjà fait quelques tests avec cURL, mais je n'obtiens pas le contenu qui est pourtant visible sur la page.

Si le résultat n'était pas le même ça suppose qu'il manquait les fichiers des styles externes ?

[AIexis]

Je ne sais pas vraiment comment appeler ce qui manque.
Dans le code source que j'obtiens avec curl, j'ai un truc genre:
<table>
<tr>
<td>
</td>
</tr>
</table>

Donc vide.
Mais visuellement, lorsqu'on visite le site, ce tableau est rempli ! (et ce contenu n'est pas dans le code source de la page. en tout cas firefox, chrome et IE ne le voient pas).
Et bien entendu, c'est le contenu de ce tableau que je souhaiterais récupérer

Je ne connais cette histoire de styles externes, je vais regarder un peu ce que dit mon ami google.

[Thes32]

Dans ce cas la page est certainement construite dynamiquement (DOM).

Les fonctions php ne pouront pas récuperer le contenu à ce stade (car nécissitant un navigateur qui exécuterai le code javascript...).

[BornBanane]

Peut être que la page utilise du javascript pour remplir le tableau. Si celui-ci est inclus en lien relatif alors effectivement ca ne marchera pas.

[AIexis]

Il m'est déjà arrivé de faire ce genre de travail, et j'y étais arrivé, en trouvant la source du contenu (en utilisant firebug j'avais trouvé comment le div était rempli dynamiquement)
Mais là, rien à faire, j'arrive pas à piger comment ce tableau est rempli.

Merci pour vos réponses

[ThomasR]

Bonsoir,

Si c'est pour faire un simple export du HTML d'une page je te conseille d'utiliser stream_get_contents :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
if ($stream = fopen('http://www.exemple.net', 'r')) {
    // Affichage des 5 premiers octets
    echo stream_get_contents($stream, 5);
 
    fclose($stream);
}

Si tu souhaites faire un export de nombreuses pages, et obtenir les dépendances CSS, Js, images etc... et si ton serveur est sous UNIX tu peux très probablement lancer wget avec la fonction system

[AIexis]

J'ai malheureusement un serveur sous windows
Je suis pas certain que wget fonctionnerait, d'autant plus (la cerise sur le gateau), que pour obtenir la page il faut que j'envoie des données en POST.

merci pour l'idée quand même

[ThomasR]

Ha là je sais pas si wget gère çà, mais si jamais t'as l'info hésites pas à le signaler.

Pour créer une requête avec des valeurs POST :

http://www.php.net/manual/fr/functio...eate.php#90411

[AIexis]

Alors je fais tourner l'info: on peut apparemment envoyer du POST avec wget en utilisant --post-data

wget --post-data "variable1=toto&variable2=tata"

Cela dit, mon problème n'est pas là puisque j'envoie bien la requête (j'utilise cURL et je connaissais pas la fonction stream_context_create).
Ma requête est bien envoyée, reçue par le serveur, traitée, et je reçois bien des données en retour, sous forme d'un tableau... mais toujours vide (je résume).

J'ai installé divers outils de développeur sur firefox, et désormais je vois bien le tableau rempli dans le code source de la page. M'enfin ça m'avance pas beaucoup, si firefox le voit, mais pas PHP

Si quelqu'un a un serveur sous linux et pouvait tester rapidos wget, ça serait bien urbain.
Je filerai la ligne de commande wget en MP.

[ThomasR]

Si tu reçois des données, et plus particulièrement un tableau HTML vide, c'est que soit l'URL est différente, soit les données que tu postes ne sont pas similaires et aussi nombreuses.

[AIexis]

Le tableau est toujours apparemment vide (dans le code source), mais les navigateurs arrivent à mettre des trucs dedans par l'opération du saint-esprit (enfin, je ne vois plus que çà )

[Thes32]

Il m'est déjà arrivé de faire ce genre de travail, et j'y étais arrivé, en trouvant la source du contenu (en utilisant firebug j'avais trouvé comment le div était rempli dynamiquement)
Mais là, rien à faire, j'arrive pas à piger comment ce tableau est rempli.

Merci pour vos réponses

tu dois dans ce cas regarder les codes js exécutés après ou pendant le chargement de la page.

[AIexis]

C'est un site hyper compliqué avec 20 millions de js chargés dans tous les sens, et j'y comprends pas grand chose au javascript
Mais tu as raison, il faut fouiller dans ce sens là...

[Thes32]

Tu dois quand même te rendre compte que si ton tableau est rempli via JS (DOM, AJAX...) il te seras pas possible de récupérer le contenu.

As tu l'autorisation de copier la page en question ?

[AIexis]

Pas possible, c'est vite dit.
J'ai déjà fait ce genre de chose..
Exemple, sur ce site:
http://www.livexscores.com/?p=0&sport=tennis
Les scores sont remplis en ajax. On me disait "tu n'arriveras donc pas à les récupérer !"
Mais en fouillant la façon dont le div est rempli (merci firebug), j'ai fini par trouver l'url à parser:
http://www.livexscores.com/allt.php?cas=0&sid=0

Donc il ne faut pas dire qu'il est impossible de récupérer les données d'un site en ajax

Quant à l'autorisation, oui, je l'ai.
En plus c'est pour leur filer un gros paquet d'argent (j'aime bien travailler pour perdre des sous ) alors ils sont d'accord...
Et puis, vu la taille de leur structure, une dizaine de millier de requêtes, ça sera indolore pour eux.

[Thes32]

Exemple, sur ce site:
http://www.livexscores.com/?p=0&sport=tennis
Les scores sont remplis en ajax.

Non

Une iframe est incluse dans cette page.

[AIexis]

Euh... non, c'est bel et bien un div
<div id="cas" style="visibility:hidden;margin-top:-13px">Loading...</div>
<div id="allzapasy">
<br><b>Loading...</b></div>

Les iframe sur cette page c'est juste des pubs.