Discussion :

[HeadCoder]

Bonjour tout le monde!

Je m'appelle Manu. J'ai 14 ans, j'habite Montréal et je fais du développement web depuis plus d'un an. Je connais très bien le php, sql, html, css, et j'essaie de me débrouiller avec le C++. Entrons maintenant dans le vif du sujet...

Un Moteur de recherche libre et contribuable!
Un jour j'ai remarqué que tout les moteurs de recherche connus sont propriétaires. On ne peut pas voir comment c'est fait à l'intérieur. Ce jour-ci j'ai eu l'idée de créer un moteur de recherche libre, contribuable, et open-source!
Searind (contraction de Search et Find) est un moteur de recherche contribuable et open-source. Son objectif est de développer le plus de techniques de recherche possibles. Ainsi, on peut offrir à l'utilisateur une multitude de méthodes pour chercher les meilleurs résultats possibles et on peut lui en donner beaucoup plus. Pourquoi est-il contribuable? Eh bien parce que c'est vous et moi qui développons les techniques! En fait n'importe qui peut créer une technique de recherche et nous la soumettre. Le tout est open-source. Vous pouvez voir le code source du site et du moteur.

Je cherche...
J'ai créé le site web du moteur. Et donc il me manque des points cruciaux que je ne peux développer moi-même.

• Un robot d'indexation: Tout moteur de recherche possède un crawler! Je cherche donc une personne capable d'en créer un.
• Vous! Plus précisément les intéressés qui veulent développer avec moi une première technique de recherche. J'ai des idées, des brouillons sur des feuilles et quelques essaies mais sans plus. Et j'applique donc le premier principe du moteur: C'est à plusieurs qu'on trouve. Alors je fais appelle à vous. Savoir programmer ou pas n'est pas important. La tâche ici est de trouver une idée que l'on peut mettre sur papier et la développer ensuite. C'est de la théorie, la pratique vient après.

Si vous êtes intéressé par un des points ci-dessus vous pouvez me contacter ici -> Manulion1er[@]gmail[.]com .

L'avancement...
Le site web est majoritairement finit (il reste encore certaines choses à faire mais le plus gros est là). J'ai un cartable remplit de feuilles, brouillons, algorithmes et shémas avec un cahier de charges.

Les outils...
Le site est développé en php, sql (avec MySQL), html et css. J'utilise mes propres framworks et ma propre architecture de site web.

Le code source du site web sera bientôt disponible. La licence du projet (site + moteur) est Creative Commons BY-NC. Pour remarques, commentaires, ou questions vous pouvez les poster ici, m'envoyer un message privé ou à Manulion1er[@]gmail[.]com si c'est plus personnel.

À+! !

PS: Suis-je dans la bonne section?

[10_GOTO_10]

Un jour j'ai remarqué que tout les moteurs de recherche connus sont propriétaires.

Et pour cause, un moteur de recherche coûte extrêmement cher: non seulement le code et les algorithmes, mais aussi les serveur (des milliers de serveurs en parallèle pour pouvoir répondre instantanément à des millions de requêtes), de la maintenance, du traitement qui ne peut être que manuel, etc...

On ne peut pas voir comment c'est fait à l'intérieur.

Et c'est voulu: connaître exactement les critères de classement ouvre la voie aux "tricheurs" qui vont essayer d'exploiter les failles pour obtenir artificiellement un bon classement.

Ceci dit, c'est un projet qui peut être intéressant à développer. Je te souhaite bon courage.

[HeadCoder]

Et pour cause, un moteur de recherche coûte extrêmement cher: non seulement le code et les algorithmes, mais aussi les serveur (des milliers de serveurs en parallèle pour pouvoir répondre instantanément à des millions de requêtes), de la maintenance, du traitement qui ne peut être que manuel, etc...



Et c'est voulu: connaître exactement les critères de classement ouvre la voie aux "tricheurs" qui vont essayer d'exploiter les failles pour obtenir artificiellement un bon classement.

Ceci dit, c'est un projet qui peut être intéressant à développer. Je te souhaite bon courage.

Mais de la publicité ne pourrais pas faire l'affaire? Je n'ai pas compris ta phrase sur les "tricheurs"...

[10_GOTO_10]

Mais de la publicité ne pourrais pas faire l'affaire?

Sans doute, puisque c'est ce que font les autres moteurs. Mais gérer ça demande aussi du travail, des compétences, bref des tas de trucs que je vois difficilement cohabiter avec l'open source.

Je n'ai pas compris ta phrase sur les "tricheurs"...

Tout le monde essaye d'être en premier dans les moteurs de recherche. Suppose que ton moteur ne fasse que parser la page et identifier les mots-clés présents (ce que faisaient les premiers moteurs de recherche, dans un autre millénaire). Les "tricheurs" peuvent mettre des tas de mots-clés qui n'ont rien à voir en caractères cachés (dans des sections cachées, en blanc sur blanc, etc...) uniquement pour tromper le moteur de recherche (et c'est bien ce qui s'est fait à l'époque).

[dourouc05]

Le site est développé en php, sql (avec MySQL), html et css. J'utilise mes propres framworks et ma propre architecture de site web.

Ce genre de remarque fait souvent déjà peur dès le début : tu veux tout redévelopper ? Tu ne veux pas de Zend Framework ou d'un autre framework ? Même pas PEAR ? L'étape juste après, c'est le redéveloppement du langage... Réutilise l'existant, ça te permettra de bien te focuser sur l'important : ton moteur, et rien d'autre. D'accord, les perfs ne sont pas excellentes : si tu en veux, abandonne le PHP et passe à l'assembleur (ou plutôt à un langage compilé, vu qu'ils sont plus faciles à manipuler). Tu bénéficies par exemple d'un ORM, qui, bien que décrié, permet de faire des requêtes assez facilement (ce qui ne dispense pas d'une connaissance des SGBD et du SQL), tout en pouvant changer très facilement de SGBD.

Niveau section du topic, j'hésite entre deux : soit Mon Site, soit ici. Vu qu'il ne s'agit pas vraiment d'un site web, je préfère le laisser ici.

Sinon, bonne chance, et n'oublie pas que, si les humains devaient réinventer la roue à chaque voiture, on n'en serait pas là !

[HeadCoder]

Ce genre de remarque fait souvent déjà peur dès le début : tu veux tout redévelopper ? Tu ne veux pas de Zend Framework ou d'un autre framework ? Même pas PEAR ? L'étape juste après, c'est le redéveloppement du langage... Réutilise l'existant, ça te permettra de bien te focuser sur l'important : ton moteur, et rien d'autre. D'accord, les perfs ne sont pas excellentes : si tu en veux, abandonne le PHP et passe à l'assembleur (ou plutôt à un langage compilé, vu qu'ils sont plus faciles à manipuler). Tu bénéficies par exemple d'un ORM, qui, bien que décrié, permet de faire des requêtes assez facilement (ce qui ne dispense pas d'une connaissance des SGBD et du SQL), tout en pouvant changer très facilement de SGBD.

Niveau section du topic, j'hésite entre deux : soit Mon Site, soit ici. Vu qu'il ne s'agit pas vraiment d'un site web, je préfère le laisser ici.

Sinon, bonne chance, et n'oublie pas que, si les humains devaient réinventer la roue à chaque voiture, on n'en serait pas là !

Personnellement je n'ai jamais aimé utiliser des framework existant (surtout Zend, Cake et le reste...). Je fais ça aussi parce que je cherchais une autre méthode de développement web. J'ai créé une architecture de site propre au moteur. C'est sûr que je ne cherche pas à réinventer la roue ^^, mais utiliser ses propres technologies ne nous rendent pas indépendant contrairement au frameworks existant?Je pense connaître assez bien php pour ne pas avoir besoin d'un frameworks qui fait quasiment tout à ma place...

Des intéressés??

[dourouc05]

Personnellement je n'ai jamais aimé utiliser des framework existant (surtout Zend, Cake et le reste...). Je fais ça aussi parce que je cherchais une autre méthode de développement web. J'ai créé une architecture de site propre au moteur. C'est sûr que je ne cherche pas à réinventer la roue ^^, mais utiliser ses propres technologies ne nous rendent pas indépendant contrairement au frameworks existant?Je pense connaître assez bien php pour ne pas avoir besoin d'un frameworks qui fait quasiment tout à ma place...

Un framework te force dès l'entrée à respecter ses conventions. Si tu as l'esprit plutôt libre, ça ne t'ira pas, surtout par principe. Mais ça a des avantages : par exemple, si tu abandonnes le projet, si tu respectes toutes les conventions, quelqu'un d'autre pourra travailler sur le projet sans devoir essayer de comprendre ce qui t'est passé derrière la tête (et, évidemment, ce sera la partie que tu n'auras pas envie de commenter).

Aussi, pour lire et écrire des fichiers de configuration (par exemple), tu préfères quoi : instancier un objet, lui dire quel fichier parser, et il te renvoie l'objet, ou bien t'occuper de lire le fichier, le parser tant bien que mal dans un format très personnel probablement pas très excellent, puis avoir les données ? Veux-tu te priver de l'expérience de personnes qui travaillent depuis des années sur le projet ? Personnellement, je me dis que si des gens font ça gratuitement, et que des professionels utilisent ces frameworks, c'est qu'ils doivent être intéressants (même si je me limite à PEAR, vu qu'il ne faut pas impérativement suivre des cours spécifiques pour comprendre comment ça fonctionne).

Utiliser tes propres frameworks te rend indépendant de la correction de bugs en amont : tu dois les corriger tous toi^-même, pas de nègre à qui déléguer la tâche. Quand tu utilises un framework, tu envoyes un message à la liste et tu attends la prochaine version. Pas besoin de fourrer ton groin dans leur bousier, ils le font tout seuls, et te remercieront en plus pour avoir signalé le bug ! C'est beau, ça... (Très belle façon de penser aussi ). Mais ce genre de cas est assez rare, et le code est sûrement bien mieux pensé que le tien (même si parfois bien trop générique : j'utilise des modules de PEAR, que j'ai simplifié au maximum, à n'en garder que deux ou trois fonctions, notamment pour garder un code simple à lire de mon côté).

En effet, tu feras tout toi-même, avec tes connaissances presque forcément plus limitées qu'eux (à plusieurs, des gens payés pour apprendre le PHP, avec des formations pour se remettre à niveau, par exemple).

Enfin, tout reprendre à la base, c'est aussi un très bon moyen d'apprendre à coder. Si par contre tu veux un projet à lancer assez rapidement, il vaut mieux passer par l'étape framework.

[HeadCoder]

Un framework te force dès l'entrée à respecter ses conventions. Si tu as l'esprit plutôt libre, ça ne t'ira pas, surtout par principe. Mais ça a des avantages : par exemple, si tu abandonnes le projet, si tu respectes toutes les conventions, quelqu'un d'autre pourra travailler sur le projet sans devoir essayer de comprendre ce qui t'est passé derrière la tête (et, évidemment, ce sera la partie que tu n'auras pas envie de commenter).

Aussi, pour lire et écrire des fichiers de configuration (par exemple), tu préfères quoi : instancier un objet, lui dire quel fichier parser, et il te renvoie l'objet, ou bien t'occuper de lire le fichier, le parser tant bien que mal dans un format très personnel probablement pas très excellent, puis avoir les données ? Veux-tu te priver de l'expérience de personnes qui travaillent depuis des années sur le projet ? Personnellement, je me dis que si des gens font ça gratuitement, et que des professionels utilisent ces frameworks, c'est qu'ils doivent être intéressants (même si je me limite à PEAR, vu qu'il ne faut pas impérativement suivre des cours spécifiques pour comprendre comment ça fonctionne).

Utiliser tes propres frameworks te rend indépendant de la correction de bugs en amont : tu dois les corriger tous toi^-même, pas de nègre à qui déléguer la tâche. Quand tu utilises un framework, tu envoyes un message à la liste et tu attends la prochaine version. Pas besoin de fourrer ton groin dans leur bousier, ils le font tout seuls, et te remercieront en plus pour avoir signalé le bug ! C'est beau, ça... (Très belle façon de penser aussi ). Mais ce genre de cas est assez rare, et le code est sûrement bien mieux pensé que le tien (même si parfois bien trop générique : j'utilise des modules de PEAR, que j'ai simplifié au maximum, à n'en garder que deux ou trois fonctions, notamment pour garder un code simple à lire de mon côté).

En effet, tu feras tout toi-même, avec tes connaissances presque forcément plus limitées qu'eux (à plusieurs, des gens payés pour apprendre le PHP, avec des formations pour se remettre à niveau, par exemple).

Enfin, tout reprendre à la base, c'est aussi un très bon moyen d'apprendre à coder. Si par contre tu veux un projet à lancer assez rapidement, il vaut mieux passer par l'étape framework.

Merci c'est de très bon arguments. Ça va me faire réfléchir.. Mais c'est ta dernière phrase qui me sert d'argument: Je ne suis pas pressé.

Bien-sûr cela ne concerne que le site. Le reste sera développé différemment du site sûrement...

Y a-t-il des gens intéressés à chercher des techniques de recherche? Ou un Crawler?

[dourouc05]

Y a-t-il des gens intéressés à chercher des techniques de recherche? Ou un Crawler?

Personnellement, je serais intéressé, mais de là à savoir si j'aurai du temps à consacrer au projet...

[HeadCoder]

Tanpis... J'ai récemment commencé à réfléchir à une technique en utilisant mes maths...

[dourouc05]

Tanpis... J'ai récemment commencé à réfléchir à une technique en utilisant mes maths...

Tant que j'y pense : comme tu comptes ouvrir tes sources au monde entier, tu ouvres aussi tes algos. Ça te tenterait d'écrire sur ces algos ? Comment tu les as trouvés, comment ça fonctionne, comment les implémenter...

[HeadCoder]

Je ne veux pas parler tout de suite de la technique sur laquelle je travaille car elle n'est pas du tout au point. Je fais quelques tests mais je ne suis pas sûr de cette technique. Elle est pour le moment trop "primaire" ou "basique". Quand elle sera rendue à un certain stade sûrement...

Des intéressés? Questions/remarques/commentaires? Des avis sur l'idée en tant que telle?

[Jack Sparrow]

Utiliser tes propres frameworks te rend indépendant de la correction de bugs en amont : tu dois les corriger tous toi^-même, pas de nègre à qui déléguer la tâche.

Tu vois ça comme un inconvénient. Je vois souvent ça comme un avantage car on a une réactivité accrue.

Il faut évidemment évaluer le temps que l'on gagne initiallement (pour ne pas avoir à réinventer la roue), mais il faut balancer ça avec le temps qu'on perd parce qu'on a pas forcement accès aux sources, qu'on ne peut pas modifier comme on veut pour ses besoins la bibliothèque/framework et qu'il faut du temps pour maitriser la bête.

De même pour les mises à jour, autant on peut gagner du temps pour plein de nouvelles fonctionnalités qui sont constamment mis à jour, autant on peut en perdre pendant des mois à cause de fonctionnalités qui disparaissent ou qui sont remplacées.

Je ne dis pas qu'il ne faut jamais rien utiliser, mais je dis qu'il faut vraiment réflechir à l'ajout de dépendances car ça aura des impacts du début à la fin.
Ce n'est pas une décision à prendre à la légère (il est clair par contre que si l'on évalue le temps pour réaliser notre besoin à plusieurs mois et qu'il existe quelque chose que l'on peut intégrer en 2/3h, faut pas être suscidaire non plus)


Maintenant, si c'est pour faire un prototype et que l'on veut se concentrer sur le coeur du programme, il faut avouer que c'est moins important (mais encore une fois, ça sert pas forcement de prendre des bibliothèques lourdingues pour un prototype) => Vous parliez de Zend, je ne connais pas très bien mais je crois que c'est pour faire du MVC ? Mais il faut avouer que pour un moteur de recherche (un écran de recherche, une page de visu paginée), la couche de présentation est tellement minime que je ne vois pas l'interêt de prendre un framework spécial MVC vu que 99% du code sera du code business.

(quand je vois des bugs ouverts ou des "request" ouverts depuis 2001 sur les bibliothèques java et qui n'ont toujours pas été corrigés... On se retrouve parfois à faire une surcouche pour corriger plein de bugs divers qui restent ouvert et on perd un temps dingue à comprendre que le bug ne vient pas de notre côté)

[HeadCoder]

J'ai prit beaucoup de temps avant de décider si j'utilise un framework existant ou pas. Il n'est pas du tout compliqué. En gros c'est un amas organisé de fonctions qui servent à l'affichage (principalement l'affichage) du site.