Filtre partiel de recherche

Version imprimable

16/11/2013, 09h04
Jiyuu

Filtre partiel de recherche

:salut:

Imaginons que dans une table nommée test d'une base de données quelconques j'ai les entrées suivantes :

- entrée n°1 : id : 1 ; val : '12345" ; com : "test1"
- entrée n°2 : id : 2 ; val : '23456" ; com : "test2"
- entrée n°3 : id : 3 ; val : '45679" ; com : "test3"

Je n'ai rien trouvé de base dans Qt Sql permettant de filtrer toutes les entrées dont val contient 34. Est-ce que je suis passé à coté de quelques choses ?

Si effectivement rien n'existe cela risque de signifier qu'il va me falloir passer par du Regex : soit directement dans la requête Sql, avec sûrement des adaptations, soit en important toute la base sous forme de liste de liste et en filtrant après chaque sous-liste... à voir ce qui sera le plus performant en termes de rapidité d'exécution.

Pour le moment pas besoin de vous casser la tête à trouver une solution en Regex... j'aimerai juste savoir si je passe à coté de quelques choses de "natif".

D'avance merci à tous.

J
16/11/2013, 10h00
tyrtamos

Bonjour,

Je n'ai pas le temps de chercher tout de suite, mais il me semble que ça existe dans les fonctions SQL. Regarde dans la doc de sqlite3 qui est assez claire: http://www.sqlite.org/lang.html

Si tu n'as pas trouvé cet après-midi, je creuserai un peu. J'ai déjà fait pas mal de choses dans ce domaine (y compris des recherches de mots "similaires", avec ratio de similitude, dans une base).
16/11/2013, 10h58
Jiyuu
Re,

Merci Tyrtamos. Je n'ai pas du tout pensé à regarder de ce coté. Sachant que QSqlTableModel hérite de QSqlQueryModel on peut en effet passé des "vraies" commandes Sql ce qui donne à priori dans mon cas :
Code:

1 2 3 model = QtSql.QSqlTableModel() model.setQuery(QtSql.QSqlQuery("SELECT * FROM test WHERE val REGEXP '.*34.*'")) model.select()
Malheureusement cela ne me renvoie aucune entrée.

J'ai testé :
Code:

1 2 3 model = QtSql.QSqlTableModel() model.setQuery(QtSql.QSqlQuery("SELECT * FROM test WHERE val LIKE '12345'")) model.select()
et là j'ai bien quelque chose.

Je continue à creuser car cela vient sûrement de ma REGEX (c'est pour ça que je voulais éviter ça :aie:), mais si jamais tu vois une grosse erreur de ma part hésite pas.
16/11/2013, 12h45
tyrtamos
Essaie ça:
Code:

1 2 3 select * from test where test.val like "%34%"
En fait, like fait une recherche de type "wilcard", mais avec d'autres caractères: '%' au lieu de '*', et '_' au lieu de '?'. Voir ici d'autres subtilités: http://www.tutorialspoint.com/sqlite...ike_clause.htm.
16/11/2013, 14h00
Jiyuu

Nikel, mais pas besoin du test.valà priori.

Par contre c'est étrange que

Code:

"SELECT * FROM test WHERE val REGEXP '.*34.*'"

ne fonctionne pas...la REGEX est bien bonne pourtant, non ?
16/11/2013, 14h52
tyrtamos

Citation:

Envoyé par Jiyuu

Par contre c'est étrange que

Code:

"SELECT * FROM test WHERE val REGEXP '.*34.*'"

ne fonctionne pas...la REGEX est bien bonne pourtant, non ?

Désolé, je ne peux pas essayer: REGEXP n'est pas implanté dans sqlite3.
16/11/2013, 15h34
wiztricks

Citation:

Envoyé par tyrtamos

Désolé, je ne peux pas essayer: REGEXP n'est pas implanté dans sqlite3.

Il l'est mais ca redirige vers une fonction/callback utilisateur a déclarer "avant".
Bizarre que Qt ne remonte pas une erreur.
- W
16/11/2013, 16h01
tyrtamos

Citation:

Envoyé par wiztricks

Il l'est mais ca redirige vers une fonction/callback utilisateur a déclarer "avant".

C'est une autre façon de dire la même chose, puisque tant qu'une telle fonction n'a pas été ajoutée, ça ne donne aucun résultat (j'ai une erreur chez moi).

Avec le pilote sqlite3 de Python, on peut facilement ajouter une telle fonction Python avec "create_function" (j'ai d'ailleurs tendance à abuser de ce genre de technique).

Mais avec le pilote sqlite3 de Qt, l'ajout devrait être fait, me semble-t-il, en C++, ce qui n'est pas de même niveau de complexité.
16/11/2013, 17h21
Jiyuu

Citation:

Envoyé par wiztricks

Il l'est mais ca redirige vers une fonction/callback utilisateur a déclarer "avant".
Bizarre que Qt ne remonte pas une erreur.
- W

J'ai pas fait gaffe à ça... car je confirme que j'utilise bien sqlite3 et qu'aucune erreur n'est remontée.

Cela est à creuser, mais dans l'immédiat la solution de Tyrtamos donne bonne satisfaction.

Merci à vous 2
16/11/2013, 17h51
wiztricks

Citation:

Envoyé par tyrtamos

Mais avec le pilote sqlite3 de Qt, l'ajout devrait être fait, me semble-t-il, en C++, ce qui n'est pas de même niveau de complexité.

Pour construire le code, il faudra récupérer des headers et une DLL sqlite3 compatible avec celle qui est built in dans Qt.
Ce n'est pas trop complique mais c'est du boulot.
Et il faudra recommencer a chaque mise a jour de Qt.

Citation:

Envoyé par Jiyuu

J'ai pas fait gaffe à ça... car je confirme que j'utilise bien sqlite3 et qu'aucune erreur n'est remontée.

Cela est à creuser, mais dans l'immédiat la solution de Tyrtamos donne bonne satisfaction.

N'oubliez pas d'indexer la colonne.
- W
17/11/2013, 09h23
tyrtamos

Citation:

Envoyé par wiztricks

Pour construire le code, il faudra récupérer des headers et une DLL sqlite3 compatible avec celle qui est built in dans Qt.

Merci wiztricks. C'est bien ce que je pensais: tant que je peux faire autrement, j'éviterai ça.

Petit complément.

En fait, j'essaie toujours d'ajouter les fonctions qui me manquent dans le SQL, sans aller jusqu'à faire ça en C/C++. Voilà ma logique appliquée dans un programme PyQt4:

- quand j'utilise du graphique pour me connecter à la base (consultation / modification / tri / filtrage / recherche / ...), par exemple avec un QTableView, j'utilise un delegate (QtSql.QSqlRelationalDelegate), un modèle (QtSql.QSqlRelationalTableModel) mais aussi un proxy (QtGui.QSortFilterProxyModel), les 3 sous-classés, et c'est dans le proxy que j'ajoute les méthodes de tri ou de filtrage supplémentaires (je n'ai pas dit que c'était simple...). Mais les fonctions supplémentaires sont alors pilotées par le graphique, et non par le script SQL lui-même.

- quand je n'utilise pas de graphique pour agir sur la base, même dans un programme PyQt4, j'utilise le pilote sqlite3 de Python directement, ce qui me permet d'ajouter les fonctions qui manquent avec les méthodes prévues: create_function, create_aggregate et create_collation. Ce dernier permet, par exemple, d'ajouter une méthode de tri selon le dictionnaire français. Les fonctions ainsi ajoutées peuvent être directement utilisées dans le script SQL.

Mais, bien sûr, avec sqlite3, la base n'est jamais ouverte en même temps avec les 2 pilotes!!!

Par exemple, dans les 2 cas, j'ajoute de quoi chercher des mots similaires avec ratio de similitude (avec difflib.SequenceMatcher), ce qui me permet de trouver des noms qui auraient pu avoir été mal saisis au clavier avec erreur sur un ou deux caractère(s): je ne connais pas d'autre méthode pour faire ça, et je dois dire que ça marche drôlement bien.
17/11/2013, 09h47
Jiyuu

Citation:

Envoyé par tyrtamos

Merci wiztricks. C'est bien ce que je pensais: tant que je peux faire autrement, j'éviterai ça.

Une chose est sûre c'est que moi aussi je vais éviter ça, déjà parce que si peux l'éviter tant mieux et surtout parce qu'à ce jour j'en suis parfaitement incapable :mouarf: :aie:

Citation:

Envoyé par tyrtamos

j'utilise du graphique pour me connecter à la base (consultation / modification / tri / filtrage / recherche / ...), par exemple avec un QTableView, j'utilise un delegate (QtSql.QSqlRelationalDelegate), un modèle (QtSql.QSqlRelationalTableModel) mais aussi un proxy (QtGui.QSortFilterProxyModel), les 3 sous-classés, et c'est dans le proxy que j'ajoute les méthodes de tri ou de filtrage supplémentaires (je n'ai pas dit que c'était simple...). Mais les fonctions supplémentaires sont alors pilotées par le graphique, et non par le script SQL lui-même.

Tout dépend du niveau de complexité je pense. Si c'est uniquement pour une recherche sur une colonne d'une table je pense qu'un simple setFilter suffit. Enfin c'est comme ça que j'ai fait jusqu'à maintenant.

Mais maintenant j'ai besoin de faire des recherches un peu plus poussées comme des recherches partielles dans plusieurs colonnes voir plusieurs tables. Tu penses qu'il est préférable de passer par autre chose qu'un

Code:

select * from test where val like "%34%"

avec plusieurs critères de recherches ? (si c'est faisable évidemment).
17/11/2013, 10h29
tyrtamos

Citation:

Envoyé par Jiyuu

Mais maintenant j'ai besoin de faire des recherches un peu plus poussées comme des recherches partielles dans plusieurs colonnes voir plusieurs tables. Tu penses qu'il est préférable de passer par autre chose qu'un

Code:

select * from test where val like "%34%"

avec plusieurs critères de recherches ? (si c'est faisable évidemment).

Dit comme tu le fais, je ne pense pas. C'est quand même la vocation de SQL de faire des recherches avec des conditions complexes. Commence donc par exploiter toutes les possibilités des scripts SQL: au fur et à mesure qu'on essaie, on est étonné de la puissance de ce truc. Même si sqlite3 ne se trouve qu'au niveau de la norme SQL92, procure toi un bon livre des techniques SQL, et essaie! Il y a par exemple des choses à faire avec les "sous-requêtes" corrélées ou non.

Par exemple, dans l'un de mes programmes, j'ai un script SQL qui me fait des statistiques complexes: en 5 secondes, j'obtiens un tableau qui me demanderait au moins 2 ou 3 heures à faire autrement sous Excel (avec risques d'erreur de calcul dans la recopie...).

A noter qu'il y a des infos sur SQL dans developpez: http://sgbd.developpez.com/.