Discussion :

[piasoham]

Bonjour a tous,

J'ai un catalogue de beaucoup de livre et je veux les indexer et les stocker sur le disque(le file system directement) (pas dans une BD). Une première question est ce que l'accès a mon catalogue va être rapide selon vous?

Une autre question, quelle est le meilleur alogo d'indexation?

Je vous remercie.

[PRomu@ld]

Tout dépend de tes critères dans ce que tu appelles le meilleur algo.

[piasoham]

Merci PRomu@ld, ce qui m'intéresse c'est plus le temps d'accès(consommation système, m'importe peu),donc meilleur algo pour moi dans ces conditions veut dire rapide.

Merci

[bretus]

Bonjour,

Je te propose de regarder les algorithmes d'indexations sur les colonnes d'une base de données ( btree par exemple ). Ceci te donnera des idées.

Ceci dit, tu risques fort de réinventer la roue et c'est loin d'être simple de gérer les pannes, les crashs,etc... Si ce qui te gène, c'est l'aspect réseau de la connexion à une BDD, regarde du coté de sqlite.

Bonne journée

[piasoham]

Bonjour,

Je te propose de regarder les algorithmes d'indexations sur les colonnes d'une base de données ( btree par exemple ). Ceci te donnera des idées.

Ceci dit, tu risques fort de réinventer la roue et c'est loin d'être simple de gérer les pannes, les crashs,etc... Si ce qui te gène, c'est l'aspect réseau de la connexion à une BDD, regarde du coté de sqlite.

Bonne journée

Merci pour le tuyau, je vais regarder cette algo. Pour ce qui est de de la BDD, non ce n'est pas la connexcion qui me pose problème, mais c'est plutôt des contraintes de temps de réponse. Sqlite est certes légère et open source, mais je n'ai aucun benchmark quand a son support pour traiter des dizaines de millions d'entrées!

[pseudocode]

Bonjour a tous,

J'ai un catalogue de beaucoup de livre et je veux les indexer et les stocker sur le disque(le file system directement) (pas dans une BD). Une première question est ce que l'accès a mon catalogue va être rapide selon vous?

Une autre question, quelle est le meilleur alogo d'indexation?

Je vous remercie.

Que les données soient stockées sur le disque, ok (surtout pour les gros volumes). Mais pourquoi ne pas vouloir stocker l'index dans une BD ou au moins une table ? Il y a une raison technique ?

[piasoham]

Que les données soient stockées sur le disque, ok (surtout pour les gros volumes). Mais pourquoi ne pas vouloir stocker l'index dans une BD ou au moins une table ? Il y a une raison technique ?

Merci pour la réponse. Y a pas de raison technique a cela. Qu'en pense tu des temps d'accés a une BDD (Mysql ou Postgres) qui abrite des millions d'entrées?

Merci.

[Graffito]

Une autre question, quelle est le meilleur algo d'indexation?

• Veux-tu faire de l'indexation en texte intégral pour ensuite faire un moteur de recherche ?
• Quelles informations désires-tu dans l'index?
• Quelles doivent être les fonctionnalités du moteur de recherche ?

[bretus]

Bonsoir,

Pour le benchmark de sqlite, ça doit pouvoir se faire maison.

Qu'en pense tu des temps d'accés a une BDD (Mysql ou Postgres) qui abrite des millions d'entrées?

Honnêtement, je pense que le but de ces engins n'est pas que de stocker des tables de contacts pour un site web.

Après, je pense qu'il y a beaucoup de monde qui travaille dessus et que pour faire quelque chose capable de rivaliser, il faut s'accrocher. Quand tu commences à implémenter ce genre de système, que tu commences à poser la gestion des transactions, que tu penses aux pannes,... Quand tu commences à descendre dans les couches systèmes et parler en terme de clusters; Tu te dis que tu perds ton temps pour gagner peu et qu'au final, tu ne feras pas mieux.

Ensuite, il existe quelques choses de merveilleux en architecture logiciel : L'abstraction. Si tu montes une abstraction ou que tu en utilises une, pour l'accès à ta base de données, tu pourras changer à souhait le moteur de gestion de base de données.

Ceci dit, tu ne perds pas ton temps à rechercher les meilleurs algorithmes d'indexations même si tu choisis la solution SGBD : Tu devras dans tous les cas choisir l'indexe qui convient le mieux.

Je te laisse aux mains de monsieur Graffito

[pseudocode]

Merci pour la réponse. Y a pas de raison technique a cela. Qu'en pense tu des temps d'accés a une BDD (Mysql ou Postgres) qui abrite des millions d'entrées?

Merci.

Les temps d'acces dépendent pour beaucoup :
- des caracteristiques du serveur (du netbook au supercalculateur)
- du schéma de données (requete simple/complexe)
- du nombre d'accès simultanés (nombre de clients)
- et bien sur du volume de données dans la base

Mais ce dernier point n'est pas le plus lourd. Gerer quelques millions de lignes ca ne pose pas de problèmes pour des SGBD dignes de ce nom (comme MySQL ou Postgres).

[piasoham]

Merci pour vos réponses, je vais peut être revoir tout ca (c'est que ca ne sert a rien de réinventer la roue), meme si je reste sceptique quand aux performances de MySql et de postgres pour des temps de réponses tres tres faibles.

Merci.

[Jimmy_]

La technique d'indexation la plus rapide repose sur les fonctions de hachage.
Toutes les recherches sur internet via les moteurs sont basées sur ce principe.
Après ce n'est qu'une question de nombre de mot clé et de stockage disponible.
Mais déjà si dans la liste de mot clé il y a les auteurs et les mots des titres, il y a moyen de faire une base d'indexation pas trop grosse via du hachage.

Bon courage,