Discussion :

[ymoreau]

Bonjour,
Je dois modifier/adapter pour l'optimiser un serveur MySQL, j'ai plusieurs pistes en vue, dont une compliquée qui consisterait à modifier les codes sources. La taille du projet MySQL et l'absence de documentation sur le code rendent la chose impossible.

Cependant on m'a dit que MySQL était basé sur un vieux noyau libre (qui lui serait mieux documenté), en fouillant les articles sur l'historique de MySQL je n'ai rien trouvé à part mSQL (qui n'est pas libre).

Je suppose que les sources de MySQL intéressent très peu de monde, mais si jamais vous avez une culture là dessus, merci d'avance de me donner des pistes

[Invité]

Je suis surpris que tu ai besoin de modifier le code.
Quels sont tes besoins d'optimisation ?

[ymoreau]

Et bien je ne cherche pas à ce que me donne une solution pour ce que je veux faire, juste les infos pour la trouver moi même.

En gros, je dois gérer une très grosse masse de données dans une table unique sans utiliser le transactionnel, le relationnel ni quoi que ce soit "d'évolué", le but est d'indexer une colonne de type texte. Pour cela MySQL fournit fulltext, mais ça n'est pas assez performant pour des masses de données vraiment importantes (à ce qu'on m'a dit), le but de mon projet est donc d'améliorer ce point soit en modifiant les sources pour enlever tout ce qui est superflu en calcul, ou alors autre alternative : intégrer un index Indri sur cette colonne. Dans les deux cas ça se passe au niveau du C.

Sinon il y a d'autres moyens plus simples à mettre en oeuvre, mais je veux explorer un peu toutes les pistes car plus c'est simple moins ça sera efficace.

[kedare]

plus c'est simple moins ça sera efficace.

Je vois pas le rapport en la facilité a mettre en oeuvre et les performances,
Si non tu a regarder du coté de Sphinx pour utiliser un moteur de recherche fulltext alternatif ? ou utiliser une base de données qui gère mieux les gros volumes et possède un moteur de recherche fulltext (Postgresql !) ?

[ymoreau]

Je voulais dire que plus l'API fera le travail à ma place, moins le résultat sera adapté et optimisé pour mon projet.

Pour Sphinx je n'en avais pas entendu parlé, je vais regarder ça de près, on m'avait déjà conseillé d'utiliser Indri en alternative, mais si Sphinx est adapté à MySQL ça serait beaucoup plus simple à faire (et efficace quand même ).

Pour postgre, on m'a plus ou moins imposé MySQL, et est-ce qu'il est certain que l'indexation fulltext est plus efficace dans l'un ou dans l'autre ? J'ai beaucoup de mal à trouver des articles de comparaison de performances.

[berceker united]

Déjà c'est de faire un test avec le full-text pour voir si c'est si horrible que ça.
Ceci avant de se lancer dans de gros projets. Même si les performances ne seront pas terrible, tu auras une base de référence pour savoir si c'est rapide ou non.

[ymoreau]

Le problème c'est que je dois faire ces choix maintenant sans rien de concret pour rendre un premier rapport détaillant ce qui va être fait pour le projet. Donc il y a certaines informations qui sont données par mon tuteur (comme l'efficacité du fulltext), et aussi des décisions qui dépendent du côté pédagogique. Si j'utilise directement l'index fourni par MySQL je n'ai presque plus rien à faire, or je suis censé produire quelque chose d'assez poussé.

Après plusieurs discussions avec mon tuteur, je vais intégrer un index alternatif au fulltext, donc Sphinx ou Indri. Pour Indri cela impliquerait la programmation de l'API MySQL-Indri en C (donc j'en reviens à chercher une documentation des sources). Sachant que Indri est apparemment le plus efficace et celui qui demanderait le plus de travail.

Donc j'aurai probablement besoin de toucher au code, ou au moins de le comprendre pour ce que j'ai à faire. D'où le sujet : quelqu'un sait il s'il existe une quelconque documentation des sources ?

[berceker united]

Le problème c'est que je dois faire ces choix maintenant sans rien de concret pour rendre un premier rapport détaillant ce qui va être fait pour le projet. Donc il y a certaines informations qui sont données par mon tuteur (comme l'efficacité du fulltext), et aussi des décisions qui dépendent du côté pédagogique. Si j'utilise directement l'index fourni par MySQL je n'ai presque plus rien à faire, or je suis censé produire quelque chose d'assez poussé.

Après plusieurs discussions avec mon tuteur, je vais intégrer un index alternatif au fulltext, donc Sphinx ou Indri. Pour Indri cela impliquerait la programmation de l'API MySQL-Indri en C (donc j'en reviens à chercher une documentation des sources). Sachant que Indri est apparemment le plus efficace et celui qui demanderait le plus de travail.

Donc j'aurai probablement besoin de toucher au code, ou au moins de le comprendre pour ce que j'ai à faire. D'où le sujet : quelqu'un sait il s'il existe une quelconque documentation des sources ?

Je pense qu'il faut voir ça directement avec sun Mysql. N'hésite pas à les contacter, ils sont accessible

http://dev.mysql.com/