Fulltext, stopword et l'inverse

Version imprimable

04/05/2016, 17h59
jimmo

1 pièce(s) jointe(s)

Fulltext, stopword et l'inverse

Bonjour,
Me revoilà avec mes questions sur l'optimisation des fulltext.
J'ai créé un fichier stopwords.
J'aimerai savoir comment faire pour être sur que ces mots n'ont pas été indexés ?
Pièce jointe 208741
Ensuite, j'aimerai savoir si je peux crée un fichier qui ferait exactement l'inverse d'un fichier stopwords? C'est a dire un fichier ou une base de données ou je ne sais trop quoi qui contiendrai uniquement les mots à indexer?
Merci

Salut Jimmo.

Le test est simple à faire.

1) tu crées une liste de mots à rejeter, dans le fichier nommé "stopword.txt". Voici la liste :
Code:

1 2 3 4 deux treize titre beta
2) tu mets dans le fichier "my.ini", le chemin vers ce fichier. Ce qui donne :
Code:

1 2 3 4 5 6 7 # -------------------------# # Full Text Search # # -------------------------# ft-max-word-len = 10 ft-min-word-len = 1 ft-stopword-file = "E:/22.MySql/53.Strings/Ex_52/Stopword.txt"
3) ne pas oublier de relancer WampServer pour ce cette modification soit prise en compte.

4) tu fais un repair sur ta table, afin de prendre en compte cette nouvelle liste.

Code:

REPAIR TABLE tbl_name QUICK;

5) tu fais le test suivant :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 -------------- select * from test -------------- +----+--------+--------+----------+---------+ | id | nom | prenom | titre | message | +----+--------+--------+----------+---------+ | 1 | un | dix | chapitre | omega | | 2 | deux | onze | prologue | beta | | 3 | trois | douze | titre | gamma | | 4 | quatre | treize | verset | omicron | +----+--------+--------+----------+---------+ -------------- show variables like 'ft\_%' -------------- +--------------------------+-------------------------------------------+ | Variable_name | Value | +--------------------------+-------------------------------------------+ | ft_boolean_syntax | + -><()~*:""&| | | ft_max_word_len | 10 | | ft_min_word_len | 1 | | ft_query_expansion_limit | 20 | | ft_stopword_file | E:/22.MySql/53.Strings/Ex_52/Stopword.txt | +--------------------------+-------------------------------------------+ -------------- SELECT nom, prenom, titre, message FROM test WHERE MATCH (nom, prenom) AGAINST('trois' in natural language mode) -------------- +-------+--------+-------+---------+ | nom | prenom | titre | message | +-------+--------+-------+---------+ | trois | douze | titre | gamma | +-------+--------+-------+---------+ -------------- SELECT nom, prenom, titre, message FROM test WHERE MATCH (nom, prenom) AGAINST('treize' in natural language mode) -------------- Appuyez sur une touche pour continuer...
Ma table test contient quatre lignes.
Dans un premier temps, je demande la ligne contenant le mot "trois". Résultat : j'obtiens la ligne.
Dans un seconde temps, je demande la ligne contenant le mot "treize". Résultat : la ligne ne s'affiche pas.
"treize" faisant parti de la liste des mots à rejeter, la ligne n'est pas sélectionnée.

Voilà, c'est tout ! :D

Citation:

Envoyé par Jimmo

Ensuite, j'aimerai savoir si je peux crée un fichier qui ferait exactement l'inverse d'un fichier stopwords?

Là, tu en demandes trop à MySql. Il ne sait pas faire cela.

@+

Salut Jimmo.

Voici un autre test, fait avec un utilitaire de nom "myisam_ftdump".
Voici le batch que j'ai utilisé :

Code:

1
2
3
4
5
6
7
8
9
10
11
@echo off
 
chcp 1252 > nul
 
set PATH=.;%WAMPSERVER%\bin\mysql\%MYSQL%\bin\;%PATH%
 
myisam_ftdump --verbose  --stats  --dump  %WAMPSERVER%/bin/mysql/%MYSQL%/data/base/test 1
myisam_ftdump --verbose  --stats  --dump  %WAMPSERVER%/bin/mysql/%MYSQL%/data/base/test 2
@echo.
pause
exit

Et voici le résultat que j'ai obtenu :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
        0            0.9775171 dix
       44            0.9775171 douze
       20            0.9886308 onze
       68            0.9886308 quatre
       44            0.9775171 trois
        0            0.9775171 un
Total rows: 4
Total words: 6
Unique words: 6
Longest word: 6 chars (quatre)
Median length: 4
Average global weight: 1.098612
Most common word: 1 times, weight: 1.098612 (dix)
        0            0.9775171 chapitre
       44            0.9886308 gamma
        0            0.9775171 omega
       68            0.9775171 omicron
       20            0.9886308 prologue
       68            0.9775171 verset
Total rows: 4
Total words: 6
Unique words: 6
Longest word: 8 chars (chapitre)
Median length: 6
Average global weight: 1.098612
Most common word: 1 times, weight: 1.098612 (chapitre)
 
Appuyez sur une touche pour continuer...

Normalement, tu as huit mots dans chacun des deux index.
Tu remarques l'absence des mots "deux" et "treize" pour le premier index FTS.
Et "titre" et "beta" pour le deuxième index FTS.

--> https://dev.mysql.com/doc/refman/5.7...am-ftdump.html

@+

05/05/2016, 20h27
jimmo

1 pièce(s) jointe(s)

Salut Artemus24,
J'ai essayé myisam_ftdump mais je ne dois pas bien m'y prendre car je n'ai rien du tout comme résultat

Pièce jointe 208865

J'ai surement loupé quelque chose :)
05/05/2016, 21h37
Artemus24

Salut Jimmo.

Citation:

Envoyé par Jimmo

J'ai surement loupé quelque chose

Tu ne respectes pas la syntaxe de la commande. Il te manque le <index_num>.
Après le chemin vers la table dans wampserver, il faut préciser le numéro de l'index FTS que tu désires afficher les stats.
Tu dois mettre '1' pour le premier index FTS. Regarde mieux mon exemple.

Les stats se font vis-à-vis d'un seul index et non pour tous les index.

@+
05/05/2016, 23h43
jimmo

C'est réglé. Le problème est que mon index fait presque 700Mo. Donc quand je lance le myisam_ftdump, j'ai des milliers de lignes qui défilent à grande vitesse. Y a t il la possibilité d'extraire tout ça dans un fichier txt?
06/05/2016, 11h47
Artemus24

Et ben oui ! :zoubi: La redirection !

Code:

myisam_ftdump --verbose --stats --dump %WAMPSERVER%/bin/mysql/%MYSQL%/data/base/test 1 >> c:/fichier.txt
06/05/2016, 12h56
jimmo

1 pièce(s) jointe(s)

Merci,
décidément, tu as réponse à tout. :)
Voici le résultat
Pièce jointe 208908

je ne sais pas du tout ce que ça veut dire et y a t il moyen de l'optimiser ?

Ensuite, je me suis posé la question concernant un autre système de base de données.
MongoDB parait être efficace pour les recherches de plein texte
PostgreSQL qui parait être efficace pour les grosses bdd.
Ou autre encore, suis ouvert à tout tant que c'est un système open source.
Merci
06/05/2016, 13h16
Artemus24

Salut Jimmo.

Citation:

Envoyé par Jimmo

je ne sais pas du tout ce que ça veut dire et y a t il moyen de l'optimiser ?

Qu'est-ce que tu veux optimiser sur un FTS ?

Si c'est rejeter la présence des mots dans le FTS, il y a le stopwordSi tu veux reduire la largeur des mots, sachant qu'il y a toujours une distinction, tu peux jouer sur les :
--> ft-max-word-len = 10
--> ft-min-word-len = 1

Après, je ne voie rien d'autre à faire sous MySql.

Tu as autant de lignes dans le FTS qu'il y a de mots dans ta table.
Ce que tu me donnes, cela ne me choque pas.

Citation:

Envoyé par Jimmo

Ensuite, je me suis posé la question concernant un autre système de base de données.
MongoDB parait être efficace pour les recherches de plein texte
PostgreSQL qui parait être efficace pour les grosses bdd.

Tu peux utiliser Microsoft Sql Server Express 2014. C'est une version gratuite.
Mais si tu veux des conseilles, il faudra t'adresser au sieur SQLPRO dans le forum consacré à Sql Server.

Je crois qu'il y a un forum consacré au choix du SGBD pour ce que tu veux faire.

Pour mes tests, j'utilise aussi FireBird. Je ne suis pas du tout compétent pour te conseiller un SGBD.

Si tu veux héberger ton site, il vaut mieux commencer par savoir ce qui se fait dans ce domaine.
Quelles sont les problèmes que tu rencontres et qu'est-ce que tu veux faire avec ta base de données ?
Il y a des tas de contraintes qui font que telle ou telle SGBD sont spécialisés ou pas.

@+
06/05/2016, 13h46
jimmo

Je vais installer postgrSQL et voir ce que ça donne.
J'ai pu lire à différents endroits des résultats de quelques millisecondes sur des index fulltext dans des bdd de plusieurs millions de lignes.
Merci en tout cas.
07/05/2016, 10h24
SQLpro

Pour faire vite, voici une comparaison des fonctionnalités du "full text" entre SQL Server et MySQL :
http://blog.developpez.com/sqlpro/p9...text_search_no

A +

J'avais déjà lu ton article que je trouve très bien fais.
Mais je cherche un SGBD open source.
Je me suis donc mis sur PostgreSQL et je ne m'en sors qu'à moitié.
Petit rappel de mes besoins/contraintes
Une table de 5 colonnes comportant environ 5 Millions de lignes

Code:

1
2
3
4
5
6
7
8
9
10
11
12
CREATE TABLE table_test (
	id integer NOT NULL,
	titre character varying(210),
	annee integer,
	pays character varying(50),
	resume_article text
);
INSERT INTO table_test(titre, annee, pays, resume_article) VALUES
('Blanche-Neige et les Sept Nains', '1937', 'USA', 'L''action débute lorsqu''un jour, la Reine interrogeant son miroir, celui-ci lui répond que la plus belle du royaume est dorénavant la princesse Blanche-Neige'),
('Les Petits Mouchoirs', '2010', 'France', 'Max, riche propriétaire d''un hôtel-restaurant, et sa femme Véro invitent chaque année leurs amis dans leur maison au Cap Ferret pour célébrer l’anniversaire d'Antoine et le début des vacances.'),
('La Reine des neiges', '2013', 'USA', 'Le roi et la reine partent immédiatement voir les trolls dont le roi est capable de guérir Anna.'),
('Au service de Sa Majesté', 'UK', '1937', 'Un mauvais garçon new-yorkais, fuit au Royaume unis en empruntant l''identité de sa victime présumée, un Canadien.');

J'ai besoin de faire des requetes du genre:

Code:

1
2
3
4
5
SELECT * FROM table_test WHERE resume_article ILIKE '%royaume%' AND annee='1937'
Resultat: lignes 1 et 4
 
SELECT * FROM table_test WHERE (titre ILIKE '%reine%' OR resume_article ILIKE '%reine%') AND pays='USA'
Resultat: lignes 1 et 3

Effectivement, LIKE n'est pas optimisé (encore que j'obtiens une réponse en env. 5 secondes).
Avec fulltext, je dois donc forcement m'attendre à un résultat beaucoup plus rapide. Le probleme est que la requete est beaucoup plus longue.
Voici mes tests

Code:

1
2
3
4
5
6
7
// 1er test
ALTER TABLE table_test ADD COLUMN fulltext tsvector NOT NULL DEFAULT '';
UPDATE table_test SET fulltext = (to_tsvector('french', COALESCE(titre, '')) || to_tsvector('french', COALESCE(resume_article, '')));
CREATE INDEX IF NOT EXISTS fulltext_all ON table_test USING GIN(fulltext);
 
SELECT * FROM table_test WHERE fulltext @@ to_tsquery('reine') AND pays='USA'
//Résultat en 12/15 secondes

Code:

1
2
3
4
5
6
7
// 2nd test
ALTER TABLE table_test ADD COLUMN fulltext tsvector NOT NULL DEFAULT '';
UPDATE table_test SET fulltext= to_tsvector('simple',"titre" || ' ' || "resume_article");
CREATE INDEX IF NOT EXISTS fulltext_all ON table_test USING GIN(fulltext);
 
SELECT * FROM table_test WHERE fulltext @@ to_tsquery('reine') AND pays='USA'
//Résultat en 15/20 secondes

Code:

1
2
SELECT * FROM table_test WHERE (titre ILIKE '%reine%' OR resume_article ILIKE '%reine%') AND pays='USA'
//Résultat en 5/6 secondes

J'imagine que j'ai mal créé mes index ou que je suis passé à coté de quelquechose.

Une idée peut etre?

10/05/2016, 16h20
SQLpro
SQL Server existe en version gratuite Express. Les bases sont limitées à 10 go de données relationnelles, mais pas de limites en ce qui concerne les objets de type FILESTREAM et FILETABLE. Si tes données peuvent y être placé alors pas de problème. En sus tu peut créer 32760 bases de 10 Go donc 327 To de données... !

Ensuite il faut savoir qu'aucun SGBD opensource n'est capable de faire des requêtes multithreadé alors que c'est en natif dans SQL Server (il faut même le freiner sinon...) or les recherches FT mobilisent beaucoup de CPU.

Donc en conclusion tu a 3 possibilités :
- Utiliser SQL Server Express en multibase et avec FILESTREAM
- Payer une licence SQL Server modique (30 € par mois environ) pour une version WEB chez un hébergeur
- Utiliser un SGBD open source avec un outil tiers plus compétitif comme lucène / SOLR mais cela t'oblige à avoir 2 serveurs si tu veut que les perf soient au RV...
Bref, dans ce dernier cas, ce que tu économise en licence, tu le paye en hardware, administration... et en complexité !

Bienvenu dans le monde réel des SGBDR !
10/05/2016, 16h48
jimmo

En fait, j'ai un hébergeur chez gandi.net qui ne propose que MySql, PostgreSQL ou MongoDB. Et aussi il propose des bdd illimitées.
Sachant que ma bdd totale fait plus de 15Go, chez un autre hébergeur il me faudrait avoir plus de 15 bdd à connecter entre elles pour les jointures. Et je ne suis pas convaincu de la performance.
Suis pas mal perdu j'avoue avec toutes les solutions et toutes les contraintes....