Discussion :

[ymoreau]

Bonjour,
J'ai créé un index plein-texte de type GIN sur une colonne text, lorsque je fais des requêtes sur ce champ l'index n'est pas utilisé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
CREATE INDEX token_idx ON docs USING  gin(to_tsvector('english', text));
 
EXPLAIN select id_doc from docs where text @@ to_tsquery('english', 'anarchism');
                         QUERY PLAN                         
------------------------------------------------------------
 Seq Scan on docs  (cost=0.00..319429.04 rows=2666 width=4)
   Filter: (text @@ '''anarch'''::tsquery)

Je sais que lorsque la clause WHERE n'est pas assez restrictive il est préférable de faire un scan de la table, mais dans mon cas selon EXPLAIN seuls 2666 documents semblent concernés par la clause (sachant que la table en contient 2,7 millions).

Est-ce que j'ai loupé quelque chose dans la façon de créer l'index ou dans la requête qui devrait l'utiliser ?
Merci d'avance

[estofilo]

Pour être sûr, il faudrait faire ANALYZE de la table et aussi EXPLAIN ANALYZE au lieu de EXPLAIN.

[ymoreau]

Je n'ai pas pensé à lancer un ANALYSE mais j'ai lancé la requête sans EXPLAIN et comme prévu elle a fait un parcours complet de la table en 2h... Je vais quand même la relancer.

Edit : comme je le soupçonnais l'index n'est pas utilisé, la requête vient de m'afficher des messages comme quoi des mots trop longs ne peuvent pas être indexés. J'ai eu ce même message quand j'ai créé l'index, donc j'en déduis qu'il reparcoure tout le texte à la volée pour obtenir les lexèmes.

NOTICE: le mot est trop long pour être indexé
DÉTAIL : Les mots de plus de 2047 caractères sont ignorés.

[SQLpro]

Normal... Une indexation textuelle, comme son nom l'indique est fait pour indexer des textes constitués de phrases avec des mots... Pas pour des flux de chaines ou des chaines binaires !

A +

[ymoreau]

Mon champ text contient bien des mots, qui sont légèrement pollués par des erreurs de frappe et ou des concaténations suspectes, plus des termes techniques de mise en page non pertinents. Mais je n'ai eu ce warning de longueur que 3 ou 4 fois sur les 2,7 millions de documents (qui sont des articles wikipedia), pour le reste il s'agit de lexèmes valides et correctement "digérés" par les dictionnaires postgresql.

J'ai utilisé ts_debug() pour voir un peu ce que ça donnait. Ce qui m'interpelle c'est qu'il est écrit french_stem, or j'ai explicitement demandé un index en anglais à la création et dans la requête. Peut être qu'il faut être plus précis dans les options ? Il faudrait aussi que je désactive l'indexation des espaces et ponctuation, mais ça ne devrait pas perturber les requêtes à priori.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
select ts_debug(text) from docs where id_doc = 1;
 
                                      ts_debug
-------------------------------------------------------------------------------------
 (asciiword,"Word, all ASCII",Les,{french_stem},french_stem,{le})
 (blank,"Space symbols"," ",{},,)
 (asciiword,"Word, all ASCII",Rois,{french_stem},french_stem,{rois})
 (blank,"Space symbols"," ",{},,)
 (asciiword,"Word, all ASCII",mages,{french_stem},french_stem,{mag})
 (blank,"Space symbols"," ",{},,)
 (uint,"Unsigned integer",5203878,{simple},simple,{5203878})
 (blank,"Space symbols"," ",{},,)
 (uint,"Unsigned integer",217151308,{simple},simple,{217151308})
 (blank,"Space symbols"," ",{},,)
 (uint,"Unsigned integer",2008,{simple},simple,{2008})
 (int,"Signed integer",-06,{simple},simple,{-06})
 (int,"Signed integer",-04,{simple},simple,{-04})
 (numword,"Word, letters and digits",T20,{simple},simple,{t20})
 (blank,"Space symbols",:,{},,)
 (uint,"Unsigned integer",45,{simple},simple,{45})
 (blank,"Space symbols",:,{},,)
 (numword,"Word, letters and digits",24Z,{simple},simple,{24z})
 (blank,"Space symbols"," ",{},,)
 (asciiword,"Word, all ASCII",Ultimus,{french_stem},french_stem,{ultimus})
...
 (asciiword,"Word, all ASCII",Caspar,{french_stem},french_stem,{caspar})
 (blank,"Space symbols",". ",{},,)
 (asciiword,"Word, all ASCII",Synopsis,{french_stem},french_stem,{synops})
 (blank,"Space symbols"," ",{},,)
 (asciiword,"Word, all ASCII",The,{french_stem},french_stem,{the})
 (blank,"Space symbols"," ",{},,)
 (asciiword,"Word, all ASCII",Biblical,{french_stem},french_stem,{biblical})
 (blank,"Space symbols"," ",{},,)
 (asciiword,"Word, all ASCII",Magi,{french_stem},french_stem,{mag})
 (blank,"Space symbols"," ",{},,)
 (asciiword,"Word, all ASCII",find,{french_stem},french_stem,{find})
 (blank,"Space symbols"," ",{},,)
 (asciiword,"Word, all ASCII",themselves,{french_stem},french_stem,{themselv})
...

[estofilo]

Es-tu sûr de la technique d'indexation que tu utilises, c'est-à-dire d'indexer le résultat de to_tsvector(), au lieu d'indexer une colonne supplémentaire de type tsvector contenant ce résultat?