[SQLite] Optimiser de nombreuses recherches

Version imprimable

14/08/2009, 18h30
lilivounet

[SQLite] Optimiser de nombreuses recherches

Bonjour,
Je me pose des questions d'optimisation :

J'ai une table avec un champ texte "value".
J'ai une chaine "pattern" à rechercher dans le champ "value" de la table.

- Je cherche d'abord une entrée où value vaut exactement pattern.
- Si je ne trouve pas je cherche une entrée où value vaut pattern, sans tenir compte de la casse.
- Si je ne trouve toujours pas je cherche une entrée où value vaut pattern, sans tenir compte de la casse, et sans tenir compte d'un "s" final.

Je dois faire cette recherche de multiples fois pour des pattern différents.

Je me demande s'il est aussi rapide d'utiliser pour ces recherches les requêtes mysql, ou s'il est mieux de charger toute la table dans un tableau puis de gérer la recherche en php.

Ce qui me fait me poser cette question, c'est que la bdd étant un fichier, je me dit que chaque requête va devoir accèder au fichier. Si je le fais en php les lectures se feront en mémoire donc ça pourrait aller plus vite.
A moins qu'il y ait un système de cache qui fait que la dernière table lue reste en mémoire ?

Si quelqu'un peut me renseigner, merci beaucoup.

[edit] La table en question est une partie d'une application wiki, donc susceptible d'être accédée simultanément par plusieurs utilisateurs. Je le dis au cas où...
15/08/2009, 21h36
nosferapti
Citation:

Envoyé par lilivounet

A moins qu'il y ait un système de cache qui fait que la dernière table lue reste en mémoire ?

ça existe avec MySQL : si tu lance 10 fois la même requête, la 1re fois durera plus longtemps et ensuite le serveur cherchera automatiquement le résultat dans le cache pour les suivantes. ce cache est activé par défaut, il n'y a rien à configurer en règle générale

Citation:

Envoyé par lilivounet

Je me demande s'il est aussi rapide d'utiliser pour ces recherches les requêtes mysql, ou s'il est mieux de charger toute la table dans un tableau puis de gérer la recherche en php.

Ce qui me fait me poser cette question, c'est que la bdd étant un fichier, je me dit que chaque requête va devoir accèder au fichier. Si je le fais en php les lectures se feront en mémoire donc ça pourrait aller plus vite.

si tu te poses des questions d'optimisation, cela veut dire que tu as déjà des grandes quantités de données.
donc déjà il ne faut pas transférer toutes ces données de MySQL vers PHP puisque c'est souvent le transfert qui prend le plus de temps dans une requête. et ensuite PHP n'a souvent pas assez de mémoire à disposition pour tout stocker en mémoire vive

ce que tu peux faire par exemple est de faire une requête qui cherche les 3 cas en même temps et à l'aide d'un IF de MySQL tu peux mettre des poids différents avec une requête de ce genre par exemple :
Code:

1 2 3 4 SELECT *, IF(texte LIKE BINARY '%Voitures%', 4, IF(texte LIKE '%voitures%', 2, 1)) AS poids FROM table WHERE texte LIKE '%voiture%' ORDER BY poids DESC
avec ça les lignes qui correspondront exactement à "Voitures" auront un poids de 4, sans test de la casse un poids de 2 et sans le "s" final un poids de 1
16/08/2009, 16h22
lilivounet
Merci beaucoup de ta réponse.

Citation:

Envoyé par nosferapti

ça existe avec MySQL : si tu lance 10 fois la même requête, la 1re fois durera plus longtemps et ensuite le serveur cherchera automatiquement le résultat dans le cache pour les suivantes. ce cache est activé par défaut, il n'y a rien à configurer en règle générale

Dans mon cas il ne s'agit pas de la même requête, mais d'une requête similaire portant sur la même table. Ça va marcher aussi ?

Citation:

Envoyé par nosferapti

si tu te poses des questions d'optimisation, cela veut dire que tu as déjà des grandes quantités de données.
donc déjà il ne faut pas transférer toutes ces données de MySQL vers PHP puisque c'est souvent le transfert qui prend le plus de temps dans une requête. et ensuite PHP n'a souvent pas assez de mémoire à disposition pour tout stocker en mémoire vive

Je n'en suis pas vraiment à de "grandes quantités" je crois. Disons que ma table devrais avoir dans les 300 lignes. J'ai aussi d'autres choses à faire avec une table de 5000 lignes.
Citation:
Envoyé par nosferapti

ce que tu peux faire par exemple est de faire une requête qui cherche les 3 cas en même temps et à l'aide d'un IF de MySQL tu peux mettre des poids différents avec une requête de ce genre par exemple :

Code:

1 2 3 4 SELECT *, IF(texte LIKE BINARY '%Voitures%', 4, IF(texte LIKE '%voitures%', 2, 1)) AS poids FROM table WHERE texte LIKE '%voiture%' ORDER BY poids DESC

avec ça les lignes qui correspondront exactement à "Voitures" auront un poids de 4, sans test de la casse un poids de 2 et sans le "s" final un poids de 1
Merci pour ça. Je débute en SQL et ça m'aiguille beaucoup.
Le problème c'est que ma table est du style :

------------------------------------------------------------
categorie | mots
------------------------------------------------------------
transport | voiture,véhicule,piste cyclable
jeu | ballon,raquette,jeu de paume
------------------------------------------------------------

Je veux obtenir le mot "transport" si le pattern est "voiture" ou "véhicule" ou "piste cyclable", mais pas "piste" tout seul.

J'ai donc commencé à essayer REGEXP plutôt que LIKE mais le problème c'est que je suis avec SQLite, et que REGEXP n'y est pas implémenté par défaut, il doit y avoir une manip à faire. Je vais ouvrir un autre sujet là-dessus.

Mais peut-être vois-tu comment si prendre sans REGEXP ?

Sinon tu sembles donc dire qu'au niveau optimisation je n'ai pas de soucis à me faire. Pourrais-tu me le confirmer maintenant que j'en ai dit un peu plus ?