[CSV] Faire un crawler

Version imprimable

22/02/2006, 10h46
jroy

[CSV] Faire un crawler

voilà je vous explique mon problème, ma direction m'a demandé de faire un programme qui permet de mettre le contenu (ou une partie) d'une page html dans un fichier csv, je ne sais pas trop ce qu'ils veulent faire de ce programme mais bon on m'a demandé de le faire et je dois le faire (peut-etre pour me tester avant la fin de ma période d'essais).

je ne sais pas trop par où commencer, je vais coder en php car c'est le langage avec lequel je suis le plus à l'aise ... mais est-ce possible ? je n'ai rien trouver sur le net.

si vous avez des idées ... n'hésitez pas !

Jimmy
22/02/2006, 10h50
Gimmly

si tu veux mettre des fichiers les uns dans les autres,...
y a quelques fonctions pour manier les fichiers pas très compliquées en php.
tu ouvre le fichier avec fopen()
tu le lis avec fgets ou autre
tu manipule ce que tu dois faire avec php, je sais pas ce que tu es censé prendre comme partie de fichier etc...
tu ouvre le fichier csv avec fopen()
tu peux placer ou tu veux de le fichier avec fseek()
tu écrit dans le fichier avec fputs()
tu ferme les fichiers avec fclose()

tu trouve les infos sur les fonctions dans la doc ;)
ca t'a aidé ?
22/02/2006, 10h52
macbook

Le contenu d'un fichier html ?
C'est à dire uniquement le contenu textuel ?
Si c'est bien le cas il faudra passer par une expression régulière pour "nettoyer" le source du fichier en question de toutes balises html, ensuite je vois pas bien comment faire pour séparer tes données ?

Comment es formaté ton fichier ? Il y a des <table> ? Des <div> ?

Faire un csv du contenu d'une table c'est simple, du contenu d'un fichier HTML je vois pas où ils veulent en venir ?
22/02/2006, 11h00
Gimmly

j'ai pas compris ce que tu voulais exactement, tu vois déjà macbook dis autre chose lol moi j'ai juste compris qu'il faut mettre le contenu d'un fichier dans un autre et j'ai expliqué lol
22/02/2006, 11h07
jroy

bon voila j'ai eu plus d'infos.

en gros c'est pour récupérer des infos sur le net.

par exemple le site www.oooo.com a sur sa page d'accueil :

bonjour, bienvenue sur mon site.

je dois faire un programme qui enregistre dans un fichier csv "bonjour, bienvenue sur mon site"
22/02/2006, 11h09
Gimmly

bon alors tu fais comme j'ai dit en haut, et pour supprimer les balises html utilise la fonction htmlentities :wink:
si j'ai la chance d'avoir trouvé ce que tu voulais tu me le dit lol
22/02/2006, 11h13
macbook

Depuis quand htmlentities() supprime les balises html ?
22/02/2006, 11h14
jroy

je viens d'avancer un peu.
je viens d'écrire une fonction toute bete qui me permet de recupérer le code html d'une page web et de la stocker sur mon serveur, maintenant il me reste a parser cette page, quelqu'un connait un bon tuto sur les expression regulieres ?
22/02/2006, 11h19
macbook

Un méchant coup de strip_tags() ! :twisted:

Par exemple avec :

Citation:

<?php

    $str = "<!DOCTYPE HTML PUBLIC \"-//W3C//DTD HTML 4.01 Transitional//EN\">
    <html>
    <head>
    </head>
    <body>
    
    <table width=\"100%\" border=\"0\" cellspacing=\"0\" cellpadding=\"0\">
    <tr>
    <td><span class=\"postdetails\">Posté le: Mer Fév 22, 2006 10:46<span class=\"gen\"> </span>   Sujet du message: Faire un crawler</span></td>
    </tr>
    <tr> 
    <td><hr /></td>
    </tr>
    <tr>
    <td>
    <span class=\"postbody\">voilà je vous explique mon problème, ma direction m'a demandé de faire un programme qui permet de mettre le contenu (ou une partie) d'une page html dans un fichier csv, je ne sais pas trop ce qu'ils veulent faire de ce programme mais bon on m'a demandé de le faire et je dois le faire (peut-etre pour me tester avant la fin de ma période d'essais).<br /><br />
    je ne sais pas trop par où commencer, je vais coder en php car c'est le langage avec lequel je suis le plus à l'aise ... mais est-ce possible ? je n'ai rien trouver sur le net.<br /><br />
    si vous avez des idées ... n'hésitez pas !<br /><br />
    Jimmy</span><span class=\"gensmall\"></span>
    </td>
    </tr>
    </table>
    </body>
    </html>" ;

    echo strip_tags ( $str ) ;
?>

Phpsyntaxcolor powered by decabodi

On obtiens :

Citation:

Posté le: Mer Fév 22, 2006 10:46 Sujet du message: Faire un crawler voilà je vous explique mon problème, ma direction m'a demandé de faire un programme qui permet de mettre le contenu (ou une partie) d'une page html dans un fichier csv, je ne sais pas trop ce qu'ils veulent faire de ce programme mais bon on m'a demandé de le faire et je dois le faire (peut-etre pour me tester avant la fin de ma période d'essais). je ne sais pas trop par où commencer, je vais coder en php car c'est le langage avec lequel je suis le plus à l'aise ... mais est-ce possible ? je n'ai rien trouver sur le net. si vous avez des idées ... n'hésitez pas ! Jimmy
22/02/2006, 11h40
jroy

strip_tags me sera peut etre utile.

merci les gars.

je vous tiend au courant.
06/03/2006, 03h29
jroy

je reviens juste pour vous dire merci, vous m'avez bien orienté, les parsers ont été codés en à peine 2 jours ... et ils ont bien travaillé : 3000 pages parsés en moins de 30 minutes ;-)
06/03/2006, 10h48
macbook

Un petit :resolu: alors ?