Moteur de recherche global

**jak59** · 15/04/2020, 15h30

Bonjour,

Je dois réaliser un moteur de recherche global, c'est à dire une recherche permettant de remonter de la donnée avec différente structure. Ces données se trouvent sur diverses bases de données SQL-Server.

Je pense descendre les donnée à indexer dans une structure, je ne sais pas encore trop de quel type : table sql-server, ou un produit de type Elasticsearch ou autre ...

Vous en pensez quoi ?
Auriez-vous des idées, de retours d'expériences à partager ?

Je vous remercie par avance.

Jak59

**SQLpro** · 15/04/2020, 18h08

sans explication pas de possibilité de vous aider !

Ces données sont elles :
littérales ?
numériques ?
temporelles ?
XML ?
JSON ?
Géographiques ?
géométriques ?
Binaires ?

les bases sont-elles toutes identiques ?

A +

**jak59** · 16/04/2020, 10h48

Bonjour,

Désolé, c'est parce-que c'est encore un peu flou pour moi. La demande générale est de pouvoir faire des recherches sur tout ce que produit notre SI.....

Je vais bientôt croiser les métiers pour préciser tout cela.

Mais, ce que je sais aujourd'hui c'est que l'on devra à minima, sur une même recherche, remonter :

1) Des articles, avec le prix, stock dispo , date de dispo, lien vers l'article.
En fonction du profil de l'utilisateur connecté, la liste des articles, le prix et stock dispo peuvent varier.
La recherche s’effectuant sur un libellé, des tags. Peut-être le prix dans une sous recherche je ne sais pas encore...

2) Des actualités, avec un libellé, une date de publication, peut-être une image (non stockée en base), lien vers l'actualité.
Les actualités sont à afficher en fonction du profil de l'utilisateur connecté.
La recherche s’effectuant sur le libellé, le descriptif, et peut être le contenue qui est du html stockée en base...

3) Des diagnostiques, libellé, descriptif, lien vers la demande de diagnostique.
La recherche s’effectuant au moins sur le libellé, et certainement d'autres critères

1) 2) et 3) sont stockées dans des base sql server 2016 (certaine en mode de compatibilité 100), dans des colonnes de type (varchar, decimal, datetime ect ..), pas de json ou xml.
Les bases ont des structures différentes, elles ont des "âges" différents. Elles se trouvent toutes sur la même instance.

Je ne souhaite pas interroger chaque base, agréger les données, et renvoyer le résultat. Je me suis dit que j'allais rassembler les données à rechercher dans un espace dédiée indexable.

Comme les éléments à renvoyer n'ont pas la même structure, je pense à du nosql, par exemple. Mais je me demande si je n'aurais des problèmes pour mettre à jours les prix des articles par ex.
Ou les critères de diffusion d'une actualité ect ...

Je ferai des essais (ou des POC , pour ceux qui préfère ce terme

), si vous avez d'autres idées, pistes ect .. je suis preneur.

Merci

**SQLpro** · 16/04/2020, 11h00

Pour le 1 seule une interrogation SQL spécifique permettra des recherches correctes, c'est à dire sans faux positif et en spécifiant chaque colonne pour la cible de la demande.

Pour le 2, idem, sauf que pour le HTML, vous pouvez en sus faire une indexation textuelle directement dans MS SQL Server

Pour le 3, même chose qu'en 1

Dans tous les cas, pour certaines zones descriptives (texte long) vous pouvez utiliser l'indexation textuelle disponible dans MS SQL Server

À me lire : https://blog.developpez.com/sqlpro/p...text_search_no

a +

**jak59** · 16/04/2020, 12h00

Je me pose aussi des questions par rapport aux droits des profils, qui sont seront également à redescendre avec les datas.

**SQLpro** · 16/04/2020, 12h20

Donc, vous n'avez pas le choix... Si vous mettez tout dans ElasticSearch comment ferez vous pour autoriser/interdire en fonction des privilèges SQL définit sur la base ?

A +

**dadoonet95** · 17/04/2020, 09h13

Elasticsearch me semble une bonne idée.
A noter que tu peux sécuriser les accès au moteur de recherche.

Je te conseille un index par source que tu veux chercher.
Elasticsearch permet de faire des recherches multi index.

Si tu veux être efficace, utilise le même nom de champ pour les champs communs, genre date, titre, ...

**jak59** · 20/04/2020, 11h53

Merci pour vos réponses.

Quand je parle de descendre les droits des profils, se sont des tables décrivant des spécificités.

Par ex :
pour le 1) : en fonction des caractéristiques du user connecté, le prix de certains produits changent. Et ceux pour une quantité limitée.
L'utilisateur X aurait le droit à 3 produits de la gamme toto à 75 % pour l'année 2020.

pour le 2) : en fonction de caractéristiques du user connecté comme la taille de son entreprise. Les actualités renvoyées peuvent varier.

pour le 3) : en fonction de caractéristiques du user connecté comme sa branche professionnelle, ou l'historique des diagnostiques déjà réalisés. Les diagnostique proposés peuvent varier.

Du coup dans un produit comme Elasticsearch, devrais-je insérer toutes les combinaisons possibles pour chaque utilisateurs ?

Si je pars sur du SQL-server, cela m'amènera à créer une table avec beaucoup de colonnes...

Ou si je crée plusieurs tables, ne serai pas capable de réaliser un tri global, ou une pagination globale sans passer par des tables temporaires. J'ai peur dans ce cas d'avoir des problèmes de performance.

Cela s'éclaircira quand j'aurais fait des essais...

Je vous tiendrez au courant de l'avancer de la chose.