Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter
Créer un moteur de recherche
Bonjour,
J'aimerais créer un moteur de recherche style google qui ne visite que les site référencé, seulement j'ai aucune idée de comment on crée un truc pareille, avez vous des exemples, idée et surjection ?
Inutile de me dire que il faudra un fameux serveurj'ai déjà lu sa...
Je vous remercie par avance de votre participation à se fil.
Je ne pense pas que tu sois au bon endroit car si tu veux un robot qui référence les sites, il faut faire toi même une application avec visual basic ou delphi qui se balladerait sur les sites, prendrait les informations sur ces derniers et les enregistrerait dans une base de données.
Ensuite, le PHP interviendrais qu'à la consultation de la base de données.
Moi je ferais comme ça.
donc pour faire un moteur en php c'est rapé alors ?
PHP est seulement un langage de développement pour le WEB côté serveur donc je ne vois pas comment tu pourrais faire pour que le robot arrive à prendre les informations que tu veux sur le site en question et à les mettre dans la base de données.
simple via un script php qui serais exécuté par crontab
en fait, j'aimerais savoir comment on procède pour scanner un site en php afin d'en obtenir les urls correspondante au documents ...
Avec une expression régulière
Quelques exemples :
http://www.developpez.net/forums/sho...d.php?t=328633
http://www.developpez.net/forums/sho...d.php?t=314617
en fait, je voudrais créer un moteur de recherche uniquement pour les site qui se sont enregistré.
PHP ne parcourera pas le web pour vous, c'est à vous de parcourir les pages une à une contenues dans votre base, j'imagine (une page seulement pourrait servir de point de départ puis chaque lien trouvé serait traité à son tour mais une page ne devrait pas être parcourue deux fois). Pour rapatrier la page en mémoire pour la parser ensuite, PHP gère très bien de manière native des flux HTTP (entre autres) vous permettant ainsi d'utiliser les fonctions que vous utilisez habituellement sur les fichiers (requiert cependant que allow_url_fopen soit à On). Vous avez également d'autres méthodes dont l'extension cURL qui est très facile à utiliser et souple.
Si c'est pour vérifier les liens que vous récupéreriez via une expression régulière, vous pouvez très bien utiliser une fonction de callback afin de contrôler les liens capturés avant d'appliquer un traitement (insertion en base par exemple) ou aucun.
Mais soyons réaliste : c'est relativement lourd (au niveau de la base de données surtout) et PHP n'est probablement pas le langage le plus adapté, sans compter qu'il faut aussi s'occuper du corps de la page ...
Par contre, un bête script bash peut très bien se ballader sur internet grâce à curl et remplir une base de données avec des données extraites par sed en expression régulière ...
De là à dire que Delphi ou VB sont de meilleures solutions que PHP ... C'est aller un peu loin ...
Effectivement, mysql commence à peiner au bout de quelques millions d'enregistrements par base de données, mais avec un serveur correct ça peut encore tenir la charge. Peut-être se tourner vers des solutions plus légères telles que postgresql ou firebird ?
Ah ? Alors pourquoi est-ce qu'on peut faire des applications fenêtrées et en CLI avec PHP ?PHP est seulement un langage de développement pour le WEB côté serveur donc je ne vois pas comment tu pourrais faire pour que le robot arrive à prendre les informations que tu veux sur le site en question et à les mettre dans la base de données.
bref, ou je pourrais trouver se qui est utilisé pour scanner un site ?
je parle bien de ce qui analyse et récupère de quoi aimanter une base de donnée pour créer un moteur de recherche.....
Mais ce n'est pas de la magie, ils developpent cela en interne et je doute que ce genre de code pret a l'emploie pour votre plaisir soit disponnible.
En revanche, n'avez-vous rien a faire des propositions ?
Heueueu gentil gentil, si je tien compte des propositions....Envoyé par is_null
Bon j'ai trouvé un truc qui me conviens largement, phpdig.
Merci quand même.
Répondre avec citation
Partager