[Technique] Index, comment font les moteurs de recherche ?

bat · 02/10/2002, 17h21

salut à tous,
est ce que quelqu'un pourrait m'expliquer sur quel principe général fonctionne les moteurs de recherche . En fait ce que je ne comprends pas, c'est que mes requête qui vont chercher quelques milliers de résultats mettent trois heures (un peu moins quand même) alors que google met moins de 2 secondes pour aller chercher des résultats dans des millions (milliards de pages......)....

Merci d'avance

Miko · 02/10/2002, 17h34

En découpant une page mot par mot en supprimant les mots creux (le, la , les, ...).

J'utiliserais deux tables pour cela :
- LIENS : avec CODE, la clé et URL, l'adresse web,
- MOTS : avec CODE faisant référence à LIENS.CODE et MOT pour stocker un mot.

Il ne faut pas oublier d'indexer MOTS.MOT sinon c'est cata côté temps réponse.

Et pour gagner encore un peu de temps, je stockerais tous les mots en majuscule (ou minuscule au choix) sans les accents.

Maintenant, rien n'indique que google utilise un modèle aussi simple ...

senke · 07/10/2002, 14h38

google comme la plupart des bases de données textuelles, utilisent des INDEX. Bon c'est vrai que c'est très rapide Google.

Au lieu de chercher dans tout led documents, il se réfère aux INDEX, qui par rapport à un mot et/ou plusieurs, lui donnera les documents concerné.

Mais comme y pas mal de façons d'indexer et de sélectionner, je vais essayer de trouver une version informatique de mon cours.

SQLpro · 09/10/2002, 09h37

A lire sur le sujet :

http://sqlpro.developpez.com/IndxTxt/SQL_IndxTXT.html

"L'indexation et la recherche sont des points cruciaux des sites Web. Vous allez comprendre et mettre en œuvre certaines techniques utilisées pour l'indexation et la recherche textuelle."

A +

fadace · 25/10/2002, 15h41

Il n'y a pas que les indexes du moteur SGBDR, il y a aussi des moteurs de type FULL-Text Search de Verity qui permettent d'indexer de manière beaucoup plus puissante des documents entiers

Ex: http://manuals.sybase.com/onlinebooks/group-as/asg1250e/verity

02/10/2002, 17h21	#1
bat Invité régulier Inscription : mai 2002 Messages : 29 Détails du profil Informations forums : Inscription : mai 2002 Messages : 29 Points : 8 Points : 8	[Technique] Index, comment font les moteurs de recherche ? salut à tous, est ce que quelqu'un pourrait m'expliquer sur quel principe général fonctionne les moteurs de recherche . En fait ce que je ne comprends pas, c'est que mes requête qui vont chercher quelques milliers de résultats mettent trois heures (un peu moins quand même) alors que google met moins de 2 secondes pour aller chercher des résultats dans des millions (milliards de pages......).... Merci d'avance
	00

09/10/2002, 09h37	#4
SQLpro Rédacteur/Modérateur Frédéric BROUARD Expert SGBDR & SQL Inscription : mai 2002 Messages : 10 950 Détails du profil Informations personnelles : Nom : Frédéric BROUARD Localisation : France Informations professionnelles : Activité : Expert SGBDR & SQL Secteur : Conseil Informations forums : Inscription : mai 2002 Messages : 10 950 Points : 17 769 Points : 17 769	A lire sur le sujet : http://sqlpro.developpez.com/IndxTxt/SQL_IndxTXT.html "L'indexation et la recherche sont des points cruciaux des sites Web. Vous allez comprendre et mettre en œuvre certaines techniques utilisées pour l'indexation et la recherche textuelle." A + __________________ Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL Site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/ *Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.* Blog SQL, SQL Server, modélisation données : http://blog.developpez.com/sqlpro http://www.sqlspot.com : modélisation, conseils, audit, optimisation, formation * * * * * Enseignant CNAM PACA - ISEN Toulon - CESI Aix en Provence * * * * *
	00

25/10/2002, 15h41	#5
fadace Rédacteur/Modérateur Fabien Celaia Administrateur de base de données Inscription : octobre 2002 Messages : 3 779 Détails du profil Informations personnelles : Nom : Fabien Celaia Âge : 41 Localisation : Suisse Informations professionnelles : Activité : Administrateur de base de données Secteur : Service public Informations forums : Inscription : octobre 2002 Messages : 3 779 Points : 8 124 Points : 8 124	Indexes Il n'y a pas que les indexes du moteur SGBDR, il y a aussi des moteurs de type FULL-Text Search de Verity qui permettent d'indexer de manière beaucoup plus puissante des documents entiers Ex: http://manuals.sybase.com/onlinebooks/group-as/asg1250e/verity
	00

02/10/2002, 17h34	#2
Miko Nouveau Membre du Club Inscription : avril 2002 Messages : 23 Détails du profil Informations forums : Inscription : avril 2002 Messages : 23 Points : 30 Points : 30	En découpant une page mot par mot en supprimant les mots creux (le, la , les, ...). J'utiliserais deux tables pour cela : - LIENS : avec CODE, la clé et URL, l'adresse web, - MOTS : avec CODE faisant référence à LIENS.CODE et MOT pour stocker un mot. Il ne faut pas oublier d'indexer MOTS.MOT sinon c'est cata côté temps réponse. Et pour gagner encore un peu de temps, je stockerais tous les mots en majuscule (ou minuscule au choix) sans les accents. Maintenant, rien n'indique que google utilise un modèle aussi simple ...
	00

07/10/2002, 14h38	#3
senke Candidat au titre de Membre du Club Inscription : août 2002 Messages : 24 Détails du profil Informations forums : Inscription : août 2002 Messages : 24 Points : 14 Points : 14	google comme la plupart des bases de données textuelles, utilisent des INDEX. Bon c'est vrai que c'est très rapide Google. Au lieu de chercher dans tout led documents, il se réfère aux INDEX, qui par rapport à un mot et/ou plusieurs, lui donnera les documents concerné. Mais comme y pas mal de façons d'indexer et de sélectionner, je vais essayer de trouver une version informatique de mon cours.
	00

Outils de la discussion
Afficher une version imprimable Envoyer un lien vers cette page par email