copier automatiquement une page web en fichier texte

**Belmondo** · 12/09/2008, 15h51

Bonjour à tous

Je suis nouveau ici, nouveau dans mon école d'info et j'ai une question ( et bien d'autre sûrement dans peu de temps

)

Mais voici la première : Comment puis-je faire pour que chaque page web visitée avec firefox soit copiée dans un fichier texte. Le mieux serait de pouvoir le faire depuis le terminal ?

En somme, il faudrait que chaque fois qu'une page web est visité, il y ait un "tout sélectionner" suivi d'un "copier" suivi d'un "coller dans un fichier texte" et ça tout seul. Je me doute bien que la page n'aura pas du tout la même tête, mais il me faut juste le texte.

Le but étant après de mettre une liste d'URL dans la console du terminal et que toutes ces pages soient copiées dans des fichiers textes.

Merci à tous

**Sve@r** · 12/09/2008, 16h01

Envoyé par Belmondo

En somme, il faudrait que chaque fois qu'une page web est visité, il y ait un "tout sélectionner" suivi d'un "copier" suivi d'un "coller dans un fichier texte" et ça tout seul. Je me doute bien que la page n'aura pas du tout la même tête, mais il me faut juste le texte.

Tu peux regarder dans les modules firefox ce qui est dispo (mais ça métonnerait que ça ait été fait) donc tu peux développer ton propre module...

Envoyé par Belmondo

Le but étant après de mettre une liste d'URL dans la console du terminal et que toutes ces pages soient copiées dans des fichiers textes.

Ah ça c'est différent car si tu utilises la console tu peux très bien lancer alors autre chose que firefox. Donc tu peux développer ton propre programme (C, Perl, Python) qui ouvre une socket sur l'URL (port 80) et lit la socket pour copier les data dans un fichier

**Belmondo** · 12/09/2008, 19h54

... Normal quoi !

je suis entré cette année dans une école d'ingénieur en 5 ans et je crois que je vais attendre quelques années encore ! Les mots de perl, C, python ne me sont pas étranges mais je n'ai pas le niveau pour construire quelque chose !! Je pensais qu'il y avait peut-être moyen de faire simple avec les fichiers cache de firefox que la console lirait (avec la commande perle peut-être) puis de copier ces fichiers dans un autre format (txt) ...

J'allais oublié : un grand merci pour la réponse, je ne m'attendais vraiment pas a une telle rapidité même si le niveau est un peu élèvé !

**frp31** · 12/09/2008, 21h34

je ferai simple (probablement un peu lent :
en deux etapes majeures :
wget ............................htm
suivi d'un script sed qui vires toutes les balises & entetes ou avec un perl...

par exemple en shell

**Belmondo** · 12/09/2008, 22h18

Envoyé par frp31

je ferai simple (probablement un peu lent :
en deux etapes majeures :
wget ............................htm
suivi d'un script sed qui vires toutes les balises & entetes ou avec un perl...

par exemple en shell

Là je comprends un tout petit peu, j'avais déjà utilisé la commande sed pour afficher que les adresses mails contenues dans des fichiers texte. Mais je suis loin de voir comment je vais m'y prendre

Je vais donc examiner un peu la question, à commencer par le wget

**Sve@r** · 13/09/2008, 19h43

Envoyé par Belmondo

Là je comprends un tout petit peu, j'avais déjà utilisé la commande sed pour afficher que les adresses mails contenues dans des fichiers texte. Mais je suis loin de voir comment je vais m'y prendre

Ben la commande "sed" se comporte exactement comme "vi". Tu peux lui faire transformer, dupliquer ou supprimer des expressions exactement comme tu le fais avec "vi"

Exemple: affiche le HOME mais remplace chaque "/" par ":"

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

echo $HOME |sed -e "s/\//:/g"

Exemple: affiche le PATH mais remplace chaque ":" par "-" et chaque "u" par "v" (comme chez les romains)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

echo $PATH |sed -e "s/:/-/g" -e "s/u/v/g"

Donc pour bien y arriver, faut le faire par étapes
1) tu récupères ta page avec wget et tu la stockes dans un fichier de travail (pour bien pouvoir l'examiner)
2) quand tu l'examines, tu essayes de voir les opérations simples pour supprimer ce qui est en trop et tu essayes d'imaginer les ordres correspondants (tu n'as pas que sed pour t'aider, t'as aussi cut et awk) - Evidemment c'est la phase la plus dure (je me souviens qu'une fois, pour transformer une liste d'utilisateurs en fichier ldap, j'ai enchainé jusqu'à 7 commandes à suivre et j'ai fait exactement comme ci-desus => j'ai travaillé chaque commande de façon indépendante jusqu'à ce qu'elle me donne ce que j'attendais puis je passais à la suivante)
3) en final, tu écris ton script où tu lances ton wget qui traverse ton enchainement trouvé au 2 et si ça marche t'as gagné.