Discussion :

[vasilov]

Bonjour,

je suis entrain de faire un outil de recherche sur mon site.

Il consiste à indexer chacun des articles et à mettre dans l'index la relation entre le mot clé et les articles qui le contient. Bien sur, le mot clé n'aura pas le même poids sur chacun des article : le poids sera plus important si le mot clé est plus redondant et si il apparait dans le titre.

Cependant je ne sais pas comment enregistrer dans ma DB la correspondance entre les mots clés et les articles.

J'ai pensé à faire un truc du genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tableX : mot_cle (varchar) , list_of_articles (text)

avec dans list_of_articles la liste des articles avec le poids de chacun dans la grammaire articleId;poid | . Par exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

article1;10 | article15;1 | article12;3

.

Cependant une telle solution me pose problème à plusieurs niveaux :
il faut parser cette liste pour chercher la liste des articles.
lors de l'indexation d'un article (qui a été modifié), il faut supprimer pour chaque mots clés qui n'est plus utilisé dans l'article la correspondance avec l'article et introduire les nouveaux mots clés. Cela est très lourd en terme de requette sql. Car pour chaque mots clés présents dans l'index, il faut faire 2 requetes.
La liste des article peut devenir très grande (imaginons 1000 articles) : les requettes de recherche prendront énormément de temps.


Du coup, je voulais savoir, si il est possible de faire une autre structure de table pour faciliter la recherche et la modification de mon index.

Merci pour votre aide.

[CinePhil]

Pas bon du tout conceptuellement !

En français : "Un mot-clé apparaît un certain nombre de fois dans un article et un article peut contenir plusieurs mots-clés"

Schéma de l'association :
Mots_cles -1,n----Apparaître----0,n- Articles

Tables déduites :
Mots_cles(M_Id, M_MotCle)
Articles(A_Id, A_Titre, A_Texte, ...)
Apparaitre(M_A_IdMotCle, M_A_IdArticle, M_A_Quantite)

Liste des articles où apparaît le mot-clé 'informatique' avec le nombre d'occurrences:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
SELECT a.A_Titre, ma.M_A_Quantite
FROM Apparaitre AS ma
INNER JOIN Articles a ON ma.M_A_IdArticle = a.A_Id
INNER JOIN Mots_cles m ON ma.M_A_IdMotCle = m.M_Id
WHERE m.M_MotCle = 'informatique'

[vasilov]

Merci pour la qualité de ta réponse.
C'est effectivement bien mieux.

La table Mots_cles contiendra alors l'ensemble du dictionnaire

Et la table Apparaitre, avec de nombreux articles, contiendra de très nombreux tuples aussi.
Cela n'est il pas gênant? Les recherches ne seront pas trop longues?


Encore une question :
Pourquoi passer par la table Mots_cles?
Je pourrais enregistrer directement le mot clé dans la table Apparaitre en mettant le mot clé à la place de l'id. Ou alors est ce une erreur?

[CinePhil]

Et la table Apparaitre, avec de nombreux articles, contiendra de très nombreux tuples aussi.
Cela n'est il pas gênant? Les recherches ne seront pas trop longues?

Les SGBD sont optimisés pour travailler sur de grandes quantités de données et n'éprouvent aucune difficulté à le faire, si la base de données est bien construite, sur des tables de plusieurs centaines de milliers de lignes, voire plusieurs millions.
Personnellement, je travaille actuellement avec des tables de plusieurs dizaines de millions de lignes et les performances s'en ressentent mais le résultat finit toujours par arriver.

Encore une question :
Pourquoi passer par la table Mots_cles?
Je pourrais enregistrer directement le mot clé dans la table Apparaitre en mettant le mot clé à la place de l'id. Ou alors est ce une erreur?

Justement pour améliorer les performances !
Une recherche sur un index basé sur des entiers est beaucoup plus rapide qu'un index basé sur une chaîne de caractères de longueur variable (VARCHAR).

Dans la requête que j'ai écrite dans le message précédent, le SGBD va d'abord cherche l'ID du mot-clé et cherche ensuite toutes les occurrences de cet entier dans l'index de la table 'Apparaitre'. Il trouve ainsi tous les ID des articles et récupère le titre par la jointure avec la table Articles.

[vasilov]

ok,
merci beaucoup.