WebMow : on tond le web ?

Les idées fusent pendant les révisions ! On prépare ce qu'on fera durant les vacances, on imagine, on réfléchit, on planifie...

L'un de mes plans, c'est de faire enfin ce projet qui me chatouille l'esprit depuis deux ans déjà : faire un système complet de moteur de recherche. Complet : un crawler, un analyseur, une API de recherche, une interface (web, sans doute), une base de données... tant de choses à découvrir !

Un projet parmi tant d'autres me direz vous. Non, pas cette fois. Un projet trop gros que pour n'en faire profiter qu'une seule personne.

Vous l'avez sans doute compris, je recherche des personnes motivées. Si l'idée d'un défi d'équipe vous botte, jetez un oeil à ce document :

http://docs.google.com/Doc?docid=0Ab...5NDNjY2I&hl=en

Et n'hésitez pas à en parler autour de vous ;)

Ta proposition appelle immédiatement une question et une remarque:
La question:
En quoi ton projet ferait-il preuve d'originalité par rapport à ce qui existe? Quel vide veux-tu combler? Quelles fonctionnalités voudrais-tu apporter que ne proposent pas les moteurs existants?
La remarque:
Imposer Python 3 quand on sait que les principaux modules pour ce genre de travail, par exemple et entre autres:
ClientForm
mechanize
BeautifulSoup
lxml
ne sont pas encore portés sur Python 3
A vrai dire j'ai des d'anciens programmes passant sur python 2.5 et pas sur 2.6, alors python 3.0...

Citation:

---

Envoyé par Zavonen

Python 3 quand on sait que les principaux modules pour ce genre de travail ... ne sont pas encore portés sur Python 3

---

Peut-être pour avoir un projet valable à long terme ?

Sinon côté outil qui serait utile pour la recherche web, ce serait un outil qui a une mémoire : pour une recherche donnée, Google me renvoie dix pages, je visite ces pages, je refais la même recherche plus tard, et là je suis trop content que Google me redonne les mêmes 10 premières pages. Dans le genre "couillon", on ne peut pas faire mieux. Peut-être que cela existe déjà, dans ce cas n'hésitez pas à me donner la méthode.

Salut,
Juste une question pour laquelle vous devez avoir ou avez une réponse.
Dans quelle mesure ce/votre projet est-il différent de Atomisator ?
- W

Citation:

---

Envoyé par Zavonen

En quoi ton projet ferait-il preuve d'originalité par rapport à ce qui existe? Quel vide veux-tu combler? Quelles fonctionnalités voudrais-tu apporter que ne proposent pas les moteurs existants?

---

Rien

Ça ne m'empêche pas d'avoir envie d'apprendre à faire un moteur de recherche et de relever ce défi.
J'ajoute qu'en ce qui me concerne, google me convient tout à fait bien.
C'est juste un défi, par envie, par passion. Eh oui, la vie n'est pas QUE business.

Cela dit, je n'ai pas fait d'études du marché, mais j'ai peut-être quelques idées qui sortent de l'ordinaire. Eh oui, on a tous droit aux bonnes idées.
Et puis... si personne n'avait jamais fait de projet pour s'amuser, bah tu sais quoi ? Internet n'existerait sans doute pas.

Citation:

---

Imposer Python 3 quand on sait que les principaux modules pour ce genre de travail, par exemple et entre autres:
ClientForm
mechanize
BeautifulSoup
lxml
ne sont pas encore portés sur Python 3

---

Pour la raison que Rambc a citée. À quoi bon développer un logiciel s'il est vieux avant même de démarrer ?

Au passage :
ClientForm : un crawler ne se sert pas de la plupart des formulaires. Et même si le besoin s'en faisait ressentir, la httplib est largement suffisante.
BeautifulSoup : l'auteur en a marre de travailler sur cette librairie, il le dit lui-même.

Je rajouterais que Python3 fournit de nombreux outils qui peuvent servir à l'indexation du web. Notamment :
- html.parser : de quoi parser du html sans difficultés
- urllib.robotparser : de quoi parser le fichier robots.txt
- http.client : largement suffisant pour un crawler qui ne se destine pas à indexer tout le web
- et j'en passe
- et des meilleurs.


@Rambc : je ne pense pas que google offre ce genre de choses, hélas. Faut dire, ils ont sans doute pas trop prévu qu'on ne trouve pas ce que l'on cherche :P

@Wiz : pour être honnête, je ne connaissais même pas Atomisator. Mais encore une fois, le but n'est pas de détrôner Google, mais juste de découvrir, apprendre, s'amuser, faire un projet d'équipe...

Citation:

---

Envoyé par Antoine_935

@Rambc : je ne pense pas que google offre ce genre de choses, hélas. Faut dire, ils ont sans doute pas trop prévu qu'on ne trouve pas ce que l'on cherche :P

---

Mais il est aussi connu qu'en moyenne on ouvre au maximum que les 20 premiers liens. Dans ce cas, pourquoi continuer à proposer les autres ? Avec la fonctionnalité que je propose, on pourrait s'attarder petit à petit sur des liens moins présents sur des pages mais qui peuvent avoir leur intérêt. Les performances de Google sur les sujets techniques seraient ainsi bien meilleures qu'actuellement.

Citation:

---

Pour la raison que Rambc a citée. À quoi bon développer un logiciel s'il est vieux avant même de démarrer ?

---

Il le sont tous de toutes façons as-tu encore des doutes? Python 3 est certainement le brontosaure de 2012.
J'ai connu PL1, Lisp, C, Prolog, Smalltalk, C++, Java, Python, chacun étant la panacée universelle qui devait mettre tous les autres au placard, alors la différence entre Python 2.5, 2.6,2.7 ou 3... Quel que soit le langage choisi j'aime bénéficier d'un environnement riche, de modules, de bibliothèques, de frameworks. Je suis paresseux, je déteste réinventer la roue. Je suis un programmeur qui déteste écrire du code, d'où mon choix et mon opportunisme. Je veux dire que si je dois développer un projet python, je le ferai encore pour les mois qui viennent avec 2.6 voire 2.5.
De fait, pour moi, un logiciel est plus nouveau par ce qu'il fait que par les outils avec lesquels il est conçu.
Quand on a conçu un produit qui comble un vide on s'arrange toujours ensuite pour la maintenance, quitte à tout réécrire.
Pour le moment j'ai un peu de mal à cerner l'originalité. J'admets qu'on puisse coder pour se faire plaisir, pour découvrir, pour apprendre. je suis (peut être) passé par cette étape, à vrai dire si c'est le cas ce doit être lointain.
Je souhaite bonne chance à tous ceux qui vont se lancer dans l'aventure, mais je reste sur le quai.

Citation:

---

Envoyé par Zavonen

Il le sont tous de toutes façons as-tu encore des doutes? Python 3 est certainement le brontosaure de 2012.

---

Tu m'auras au moins impressionné sur un point : ton négativisme.

Toute cette histoire à part, bon anniversaire ! C'est récent il me semble.