Solr & serveur de fichier

Bonjour à tous,

après avoir cherché un peu partout des infos, je viens ici en espérant trouver la réponse à mes questions.

Je dois mettre en place le moteur de recherche à facettes Solr d'Apache sur un serveur de fichier.
Ce serveur de fichier contient plus de 293.000 fichiers. Le but de la mise en place de Solr est donc de faciliter la vie des équipes devant effectuer des recherches sur ce serveur.

J'ai pour l'instant installer Solr en local sur mon poste et réaliser un script (en Vbscript) qui me permet de récupérer le nom et l'adresse des fichiers contenus sur le serveur et qui générer un fichier xml que j'envoie à solr pour l'indexation. J'arrive à effectuer mes recherches sans soucis.

La prochaine étape est de réussir à mettre en place une recherche full-text parmi tous les fichiers contenus sur le serveur (doc, pdf, ppt...) et c'est là que ça se corse :(

On m'a dit qu'il fallait indexer le contenu des fichiers pour réaliser la recherche full text (via un copier coller de ce qui se trouve dans les fichiers), est-ce vrai ?
- Si oui, comment puis-je automatiser la lecture du contenu du fichier et copier/coller ce contenu dans mon fichier xml pour l'indexation ?
- Si le contenu de chaque fichier est présent dans le fichier xml, ce ne sera pas trop lourd pour solr ?

Sinon, existe-il une autre solution pour réaliser la recherche full-text avec Solr (voire au pire, avec un autre outil) ?

Je suis vraiment perdue dans la mise en place de cette recherche full-text :calim2:

Merci d'avance !

Bonjour,

Ca tombe bien, solr est le sujet de mon stage.

Sur ce que j'ai pu voir sur solr :

1. Tu peux demander à Solr d'utiliser une base de données sur le même principe que JDBC, tu n'as qu'à préciser le driver, l'url et éléments de connexion. De cette façon, même si tu as peur des capacités de solr, tu peux te fier à une base de données dont on sais qu'elle fonctionne.
2. Tu peux soumettre fichier par fichier tes contenus (par des appels successifs de commande add) et faire le commit à la fin. Même si ça prends plus de temps que sur une base de données classiques, le but de solr est d'optimiser la recherche, pas l'ajout de données.

Je n'ai pas encore eu d'échantillon assez conséquent pour dire qu'il y a ou pas de limite à solr donc tu le verra surement toi même par expérience.

Bonjour Grimly,

Pour l'instant l'idée d'utiliser une base de données pour Solr est écartée. Je me consacre donc à la "construction" de mon fichier xml.

Afin de réaliser la recherche full-text j'ai donc décidé d'indexer le contenu des fichiers également.
Mon script récupére donc le contenu des fichiers .txt et l'indexe sans soucis -> Les recherches full text se font parfaitement.

Pour les fichiers word, j'arrive à récupérer le contenu mais je récupére par la même occasion, les caractères non imprimables que Solr ne veut pas. Il les rejette quand je lui donne mon fichier pour indexation. J'essaie donc de mettre en place un script qui lirait mon fichier xml et qui enleverait ces caractères. Normalement, si j'arrive à faire ça, il me sera donc possible de faire des recherches full-text sur des fichiers word.

Il ne restera plus qu'à gérer les ppt et excel... et ce ne sera pas facile :?

Bonjour,

Utiliser un base de donnée avec Solr n'a pas vraiment d'intêret dans ton cas, Solr construit comme un grand son index.
La difficulté pour toi ce sont les facette car d'un côté il te faut un xml structuré pour les créer et de l'autre il te faut indexer le contenu des fichier.
Solr à la fonctionnalité : Rich document processing (Word, PDF, HTML) pour faire cela ça utilise http://tika.apache.org/

Je pense qu'il est possible de créer un plugin permettant d'indexer les fichier combinant les deux fonctionnalités.

Le projet a finalement changé, pas de recherche full text.


A fermer ;)