Discussion :

[Lalie78]

Bonjour tout le monde,

Je voudrais faire écrire un programme en perl qui recherche pour moi tout ce qui touche à un sujet précis (livres, articles, figurines, vidéos...) sur la toile francophone et anglophone. (C'est un robot, non ? )

J'aimerais que les résultats de la recherche arrivent dans un back office et je décide ou non si j'utilise tel ou tel résultat.

- Faut-il que je donne une liste de tous les sites sur lesquels je souhaite une veille ou bien la recherche peut se faire partout sur la toile?
- Une fois le programme écrit, comment puis-je l'incorporer à un blog, type wordpress?
- À votre avis, combien coûterait l'écriture de ce programme ?

Merci pour vos réponses,
Lalie

[ours_en_pluche]

en fait,

si j'ai bien compris :

Sur X sites, le programme devrait afficher les resultats de X recherches ou seulement les nouveautés ( genre bot de flux RSS ).

par exemple, tu aimes les textes de blabla.fr, alors des que blabla.fr affiche un nouveau texte, tu ai prevenu.

ou par exemple, tu as une boite de dialogue qui s affiche avec la possibilité d'effectuer une recherche sur des sites precis et les X premieres reponses de chaque site est affiché ?

[Lalie78]

en fait,

si j'ai bien compris :

Sur X sites, le programme devrait afficher les resultats de X recherches ou seulement les nouveautés ( genre bot de flux RSS ).

par exemple, tu aimes les textes de blabla.fr, alors des que blabla.fr affiche un nouveau texte, tu ai prevenu.

ou par exemple, tu as une boite de dialogue qui s affiche avec la possibilité d'effectuer une recherche sur des sites precis et les X premieres reponses de chaque site est affiché ?

Pas tout à fait.

Par exemple, (j'invente hein), j'aime l'acteur Clark Gable. Et bien, je voudrais un programme qui recherche sur internet (sur les sites français et anglais) tout ce touche à Clark Gable (articles, vidéos, objets mis en vente sur ebay, vidéos, ...). Par exemple, le site 1 a écrit un article sur lui ou un de ses films, mon programme le trouve et me l'affiche dans le back office. Ensuite je décide si je poste l'article sur mon blog ou non. Par exemple, un vendeur lambda met en vente un poster vintage de Clark Gable, mon programme le trouve et me le dit.

J'ai quelques sites précis sur lesquels faire des recherches mais j'aimerais que le programme recherche sur tout internet.

Par exemple, dès que le nom "Clark Gable" s'affiche dans un site, un blog, ..., mon programme le trouve.

Je suis plus claire ?

[ours_en_pluche]

re,

oui sans soucis

alors, question : quel os ? ( windows, linux, mac , ... )
ensuite, tu voudrais qu'il aille te chercher les informations et te les affiche dans la partie admin de wordpress ou alors qu il te les affiche sur ton pc, avec par exemple :

-le site blabla a mis en ligne un nouveau "truc" ( comprendre : texte, edito, vidéo ) sur "Robert Ludlum" suivi du lien du poste.

ensuite, ton site wordpress est hebergé sur un hebergeur lambda ou sur une machine sur laquelle tu as les pleins pouvoir ?

car cela peut prendre differentes formes :

-sous wordpress et systeme formaté wordpress donc necessite d'avoir les CGI:erl d autorisé.
-sur une page de type RSS ( te permet via un agreagateur d avoir acces directement depuis ton propre PC ( cela t evite d aller verifier toi meme si qqchose a été publié dans le plug-ins wordress ) donc necessite d'avoir les CGI:erl d autorisé.
---attention, ses 2 choix la oblige a avoir un acces a un systeme de cron sur le serveur web si tu souhaites que ce soit automatisé entierement
-via ton pc, auquel cas, tu lances un programme qui ira verifier la possibilité d update et t affichera dans une boite de dialogue si oui ou non, il y a des posts et sur quel sujet, avec l'enregistrement dans un fichier des posts avec un lien.

voici dans un premier jet ce qui me vient a l esprit,

n hesite pas a poser des questions si tu as un doute sur une de ses propositions.
si tu ne sais pas ce que tu as acces, envoi moi en mp l hebergeur et/ou le lien de ton blog que je puisse faire moi meme les vérifications.

cordialement

[Lalie78]

re,

oui sans soucis

alors, question : quel os ? ( windows, linux, mac , ... )
ensuite, tu voudrais qu'il aille te chercher les informations et te les affiche dans la partie admin de wordpress ou alors qu il te les affiche sur ton pc, avec par exemple :

-le site blabla a mis en ligne un nouveau "truc" ( comprendre : texte, edito, vidéo ) sur "Robert Ludlum" suivi du lien du poste.

ensuite, ton site wordpress est hebergé sur un hebergeur lambda ou sur une machine sur laquelle tu as les pleins pouvoir ?

car cela peut prendre differentes formes :

-sous wordpress et systeme formaté wordpress donc necessite d'avoir les CGI:erl d autorisé.
-sur une page de type RSS ( te permet via un agreagateur d avoir acces directement depuis ton propre PC ( cela t evite d aller verifier toi meme si qqchose a été publié dans le plug-ins wordress ) donc necessite d'avoir les CGI:erl d autorisé.
---attention, ses 2 choix la oblige a avoir un acces a un systeme de cron sur le serveur web si tu souhaites que ce soit automatisé entierement
-via ton pc, auquel cas, tu lances un programme qui ira verifier la possibilité d update et t affichera dans une boite de dialogue si oui ou non, il y a des posts et sur quel sujet, avec l'enregistrement dans un fichier des posts avec un lien.

voici dans un premier jet ce qui me vient a l esprit,

n hesite pas a poser des questions si tu as un doute sur une de ses propositions.
si tu ne sais pas ce que tu as acces, envoi moi en mp l hebergeur et/ou le lien de ton blog que je puisse faire moi meme les vérifications.

cordialement

Merci Ours_en_peluche pour ta réponse.

--> OS = Windows

--> Mon site est hébergé chez OVH. J'ai pris l'hébergement perso pour commencer.
Je n'ai pas encore installé wordpress, ce sera fait dans la semaine.

--> sur admin de wordpress ou sur mon pc, qu'est-ce qui est mieux niveau sécurité ? Sur le pc, genre fil rss, ce serait bien mais si trop compliqué le système avec l'update.

C'est quoi un système de cron ?
Aucune idée si j'ai accès/autorisation au CGI:erl

Est-ce que le programme pourrait être adaptable ? Je m'explique, aujourd'hui je recherche tout sur Clark Gable, donc en mot-clef de recherche je mets Clark Gable. Mais demain, je voudrai peut-être chercher sur Vivian Leigh ou le lapin de Garenne. Y a-t-il moyen d'avoir un programme dans lequel je peux moi-même modifier le/les mots-clefs ou en ajouter?

Pour l'instant, je ne souhaite pas donner le nom de mon site. Donc, partons sur Clark Gable. S'il faut vraiment un site, j'en ai un qui parle de régime, sous wordpress et aussi chez ovh perso.

Quand tu dis "oui, sans soucis", ça veut dire que c'est facile à écrire ce programme ?

[ours_en_pluche]

re,

en fait, un systeme de recherche sur le web evolutif, depend principalement des sites recherchés.

par exemple, une recherche sur truc.com, n'aura pas le meme format de réponse que blabla.com.

hors si le systeme d'évolution requiert :
--changement de termes recherchés ( par exemple, passer de sir arthur conan doyle a tom clancy ), mais que la recherche a lieu sur les memes sites, alors sans soucis.
--changement de termes recherchés mais aussi changement de sites, alors ce sera plus difficile, car il faut adapter le filtrage.

ensuite certains sites voient d'un tres mauvais oeil ce type de recherche.

si mes recherches sont bonnes ( http://www.ovh.com/fr/hebergement_mu..._technique.xml ) alors le CGI:erl est autorisé.

les crons, sont pour faire court, l'automatisation de taches, par exemple : toutes les heures, lancer un programme.

apres, pour la facilité, tout depend des sites, s ils ont des API, s'ils autorisent facilement les recherches, ...

cordialement