Discussion :

[Nanji]

Bonjour à tous,

Je compte créer un moteur de recherche dans une base de données de 10 à 20 millions de lignes. Chaque ligne contiendrait 200 caractères environ (texte). Sachant que ce moteur serait public, il devrait être capable de traiter plus d'une recherche simultanément.

Dans un autre message, j'avais parlé de charger la base en mémoire, dans un tableau C, avec fastcgi, ce qui me permettrait de parcourir les données très rapidement, mais aurait l'inconvénient d'être très gourmand en mémoire :
http://www.developpez.net/forums/sho...d.php?t=161920

A votre avis, est-il possible de faire des requêtes select (sur des chaînes textuelles) qui retourneraient un résultat en moins de 3 secondes, si la base de données dépasse 10 millions de lignes ? Ou bien dois-je plutôt faire le choix de charger la base en mémoire et de rechercher dans un tableau C pour plus de performance ?

Quel configuration matérielle me recommandez-vous pour les 2 solutions ?

[SQLpro]

Un bon SGBDR ira toujours plus vite grâce à ses mécanismes de cache que votre petit bout de code... Les moteurs SQL comme ceux d'Oracle ou SQL Server ont fait l'objet de centaines d'années homme en mise au point...
Aurez-vous ce temps là pour écrire votre programme en C ?

D'autre part si votre recherche consiste à trouver un mot à l'intérieur d'une phrase, il faut concevoir votre base pour que la recehrche textuelle soit possible. Certains SGBDR possedent de telle extensions de manière native (par exemple MS SQL Server).

A +

[Nanji]

dans le cas où je ferais une requête select, avec un index, toute la recherche reposerait sur mySQL.

Dans ce cas, il n'y aurait pas grande différence de performances entre utiliser un programme perl et un programme C, puisque l'essentiel de la performance repose sur la base de données. Qu'en pensez-vous ? Et quelle langage me recommandez-vous pour programmer le moteur ?

[Alexandre T]

MySQL semble votre choix, il possède aussi un outil de recherche textuelle intégrée. Perl, je ne connais pas sa connectivité avec MySQL. Mais c'est toujours très rapide. C pourquoi pas, mais le texte en C ... c'est long. PHP, plus lent que Perl, se connecte très bien à MySQL.