IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Linux Discussion :

copier automatiquement une page web en fichier texte


Sujet :

Linux

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre averti
    Inscrit en
    Septembre 2008
    Messages
    29
    Détails du profil
    Informations forums :
    Inscription : Septembre 2008
    Messages : 29
    Par défaut copier automatiquement une page web en fichier texte
    Bonjour à tous

    Je suis nouveau ici, nouveau dans mon école d'info et j'ai une question ( et bien d'autre sûrement dans peu de temps )

    Mais voici la première : Comment puis-je faire pour que chaque page web visitée avec firefox soit copiée dans un fichier texte. Le mieux serait de pouvoir le faire depuis le terminal ?

    En somme, il faudrait que chaque fois qu'une page web est visité, il y ait un "tout sélectionner" suivi d'un "copier" suivi d'un "coller dans un fichier texte" et ça tout seul. Je me doute bien que la page n'aura pas du tout la même tête, mais il me faut juste le texte.

    Le but étant après de mettre une liste d'URL dans la console du terminal et que toutes ces pages soient copiées dans des fichiers textes.



    Merci à tous

  2. #2
    Membre prolifique
    Avatar de Sve@r
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Février 2006
    Messages
    12 860
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Oise (Picardie)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Février 2006
    Messages : 12 860
    Billets dans le blog
    1
    Par défaut
    Citation Envoyé par Belmondo Voir le message
    En somme, il faudrait que chaque fois qu'une page web est visité, il y ait un "tout sélectionner" suivi d'un "copier" suivi d'un "coller dans un fichier texte" et ça tout seul. Je me doute bien que la page n'aura pas du tout la même tête, mais il me faut juste le texte.
    Tu peux regarder dans les modules firefox ce qui est dispo (mais ça métonnerait que ça ait été fait) donc tu peux développer ton propre module...

    Citation Envoyé par Belmondo Voir le message
    Le but étant après de mettre une liste d'URL dans la console du terminal et que toutes ces pages soient copiées dans des fichiers textes.
    Ah ça c'est différent car si tu utilises la console tu peux très bien lancer alors autre chose que firefox. Donc tu peux développer ton propre programme (C, Perl, Python) qui ouvre une socket sur l'URL (port 80) et lit la socket pour copier les data dans un fichier
    Mon Tutoriel sur la programmation «Python»
    Mon Tutoriel sur la programmation «Shell»
    Sinon il y en a pleins d'autres. N'oubliez pas non plus les différentes faq disponibles sur ce site
    Et on poste ses codes entre balises [code] et [/code]

  3. #3
    Membre averti
    Inscrit en
    Septembre 2008
    Messages
    29
    Détails du profil
    Informations forums :
    Inscription : Septembre 2008
    Messages : 29
    Par défaut
    ... Normal quoi !
    je suis entré cette année dans une école d'ingénieur en 5 ans et je crois que je vais attendre quelques années encore ! Les mots de perl, C, python ne me sont pas étranges mais je n'ai pas le niveau pour construire quelque chose !! Je pensais qu'il y avait peut-être moyen de faire simple avec les fichiers cache de firefox que la console lirait (avec la commande perle peut-être) puis de copier ces fichiers dans un autre format (txt) ...

    J'allais oublié : un grand merci pour la réponse, je ne m'attendais vraiment pas a une telle rapidité même si le niveau est un peu élèvé !

  4. #4
    Expert confirmé Avatar de frp31
    Homme Profil pro
    Ingénieur systèmes et réseaux
    Inscrit en
    Juillet 2006
    Messages
    5 196
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 48
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Ingénieur systèmes et réseaux
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Juillet 2006
    Messages : 5 196
    Par défaut
    je ferai simple (probablement un peu lent :
    en deux etapes majeures :
    wget ............................htm
    suivi d'un script sed qui vires toutes les balises & entetes ou avec un perl...

    par exemple en shell

  5. #5
    Membre averti
    Inscrit en
    Septembre 2008
    Messages
    29
    Détails du profil
    Informations forums :
    Inscription : Septembre 2008
    Messages : 29
    Par défaut
    Citation Envoyé par frp31 Voir le message
    je ferai simple (probablement un peu lent :
    en deux etapes majeures :
    wget ............................htm
    suivi d'un script sed qui vires toutes les balises & entetes ou avec un perl...

    par exemple en shell
    Là je comprends un tout petit peu, j'avais déjà utilisé la commande sed pour afficher que les adresses mails contenues dans des fichiers texte. Mais je suis loin de voir comment je vais m'y prendre
    Je vais donc examiner un peu la question, à commencer par le wget


  6. #6
    Membre prolifique
    Avatar de Sve@r
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Février 2006
    Messages
    12 860
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Oise (Picardie)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Février 2006
    Messages : 12 860
    Billets dans le blog
    1
    Par défaut
    Citation Envoyé par Belmondo Voir le message
    Là je comprends un tout petit peu, j'avais déjà utilisé la commande sed pour afficher que les adresses mails contenues dans des fichiers texte. Mais je suis loin de voir comment je vais m'y prendre
    Ben la commande "sed" se comporte exactement comme "vi". Tu peux lui faire transformer, dupliquer ou supprimer des expressions exactement comme tu le fais avec "vi"

    Exemple: affiche le HOME mais remplace chaque "/" par ":"
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    echo $HOME |sed -e "s/\//:/g"
    Exemple: affiche le PATH mais remplace chaque ":" par "-" et chaque "u" par "v" (comme chez les romains)
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    echo $PATH |sed -e "s/:/-/g" -e "s/u/v/g"
    Donc pour bien y arriver, faut le faire par étapes
    1) tu récupères ta page avec wget et tu la stockes dans un fichier de travail (pour bien pouvoir l'examiner)
    2) quand tu l'examines, tu essayes de voir les opérations simples pour supprimer ce qui est en trop et tu essayes d'imaginer les ordres correspondants (tu n'as pas que sed pour t'aider, t'as aussi cut et awk) - Evidemment c'est la phase la plus dure (je me souviens qu'une fois, pour transformer une liste d'utilisateurs en fichier ldap, j'ai enchainé jusqu'à 7 commandes à suivre et j'ai fait exactement comme ci-desus => j'ai travaillé chaque commande de façon indépendante jusqu'à ce qu'elle me donne ce que j'attendais puis je passais à la suivante)
    3) en final, tu écris ton script où tu lances ton wget qui traverse ton enchainement trouvé au 2 et si ça marche t'as gagné.
    Mon Tutoriel sur la programmation «Python»
    Mon Tutoriel sur la programmation «Shell»
    Sinon il y en a pleins d'autres. N'oubliez pas non plus les différentes faq disponibles sur ce site
    Et on poste ses codes entre balises [code] et [/code]

  7. #7
    Membre prolifique
    Avatar de Sve@r
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Février 2006
    Messages
    12 860
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Oise (Picardie)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Février 2006
    Messages : 12 860
    Billets dans le blog
    1
    Par défaut
    Citation Envoyé par Belmondo Voir le message
    J'allais oublié : un grand merci pour la réponse, je ne m'attendais vraiment pas a une telle rapidité même si le niveau est un peu élèvé !
    Bah pur hasard. Je me suis connecté qq minutes après ton post. Mais examine plus en détail la réponse de frp31...
    Mon Tutoriel sur la programmation «Python»
    Mon Tutoriel sur la programmation «Shell»
    Sinon il y en a pleins d'autres. N'oubliez pas non plus les différentes faq disponibles sur ce site
    Et on poste ses codes entre balises [code] et [/code]

Discussions similaires

  1. [XL-2010] Faire une recherche sur une page web d'élément texte sans passer par le code source
    Par Phifou dans le forum Macros et VBA Excel
    Réponses: 12
    Dernier message: 18/09/2014, 11h19
  2. Réponses: 1
    Dernier message: 17/01/2011, 12h37
  3. Editer une page dans un fichier texte
    Par SINASOFT dans le forum AIX
    Réponses: 6
    Dernier message: 14/01/2008, 11h01
  4. actualiser automatiquement une page web.
    Par MAJIK_ENIS dans le forum Servlets/JSP
    Réponses: 6
    Dernier message: 24/05/2006, 17h55
  5. ouvrir une page Web en mode texte
    Par Halleck dans le forum Windows
    Réponses: 7
    Dernier message: 03/03/2004, 15h08

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo