2 millions de lignes et ça rame :(

**CaviarNAS** · 10/12/2007, 17h04

Saluté ...
j'ai un sérieux problème avec une bdd de deux millions de lignes (10 colonnes)
j'ai fait un moteur de recherche qui fait un like %search% sur toutes les colonnes mais mes résultats rament ..

ex

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 Select top 100 * from tblrbu2
   WHERE (
   NOCNTINT LIKE '%12354%'
   OR CLERIB LIKE '%12354%'
   OR LBCLI LIKE '%12354%'
   OR LBBATHAB LIKE '%12354%'
   OR LBVOIADR LIKE '%12354%'
   OR CDPST LIKE '%12354%'
   OR CDCOMDST LIKE '%12354%' ) AND 1=1 ORDER BY NOCNTINT ASC

45 secondes !!!

pourtant j'ai mis des index sur chaque colonne et choisi des tailles au plus proches de celles des données !

help

please help !

**Reskibil** · 10/12/2007, 17h35

Je connais pas ta bdd mais ta requete est plutot complexe et lourde avec tous ces like, plus un TOP 100 et un order by.
D'autre part, je pense que je vais anticiper la réponse d'un admin du forum en te disant que le TOP100, c'est pas top

Tout combiné, ca donne un requete plutot lourde donc normal que ca prenne du temps.

**dabratt** · 10/12/2007, 17h42

Et puis je ne suis pas persuadé que les index soient utilisés sur les LIKE.

**voyageur** · 10/12/2007, 17h47

Envoyé par Reskibil

Je connais pas ta bdd mais ta requete est plutot complexe et lourde avec tous ces like, plus un TOP 100 et un order by.
D'autre part, je pense que je vais anticiper la réponse d'un admin du forum en te disant que le TOP100, c'est pas top

Tout combiné, ca donne un requete plutot lourde donc normal que ca prenne du temps.

Essaye de faire des UNION en faisant un distinct sur la clé voir ce que ca donne, mais bon 45 secondes pour 2 millions de lignes avec 10 colonnes ( quel type de donnees ?) ca me semble correct :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
select * 
from table
where champs1 like '%12345%'
UNION
select * 
from table
where champs2 like '%12345%'
UNION
select * 
from table
where champs3 like '%12345%'
.........................................
........................................

**LooserBoy** · 10/12/2007, 18h52

+1 pour voyageur

de plus 2Mlignes avec de la recherche multicolonnes et un order by en 45 sec c'est pas trop mal...

**SQLpro** · 10/12/2007, 18h53

Une requête LIKE '%valeur%' ne peut en aucune cas utiliser un index. La lecture est donc purement séquentielle.
De plus le top 100 combiné au ORDER BY implique de lire TOUTE LA TABLE.

Pour faire de telles requêtes performantes, il faut utiliser des index rotatifs, seule solution à des LIKE ayant des jokers de part et d'autre.

D'autre part votre modèle ne semble pas normaliser car la recherche d'une même information dans de multiples colonnes révèle souvent un défaut de normalisation. Donc base à remodéliser si vous voulez des performances.

A +

**CaviarNAS** · 11/12/2007, 11h28

Merci merci pour vos réponses !!!

j'ai appris plein de trucs pour le coup !

D'autre part votre modèle ne semble pas normaliser car la recherche d'une même information dans de multiples colonnes révèle souvent un défaut de normalisation. Donc base à remodéliser si vous voulez des performances.

c'est clair ... mais c'est un client qui nous a filé une base accès à deux francs ... un espèce de gros tableau excel ...

-----
Sinon j'ai trouvé une solution qui carbure pas mal au final ! l'indexation full text ! c'est assez monstrueux comme gain de performances ! je suis passé à des requettes à 2/3 secondes avec plusieurs mots clefs ... donc vraiment efficace ! d'ailleurs je ne comprends pas pourquoi tous les champs de textes ne sont pas indexés comme ça !
merci pour toutes les infos en tout cas !
@+

**CaviarNAS** · 11/12/2007, 11h51

en revanche une petite question

pourquoi quand je fais une requête de ce type

select top 200 * from tblrebusdap2 where Contains(*,'"*toto*"') AND Contains(*,'"*1070*"')

il va me rechercher toto n'importe ou dans le texte mais me rechercher 1070 uniquement comme début de texte ...si 1070 est au milieu d'une valeur contenue dans une colonne de type varchar par exemple eh bien il ne le trouve pas