IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

API standards et tierces Java Discussion :

Problème indexation Lucène


Sujet :

API standards et tierces Java

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre à l'essai
    Profil pro
    Inscrit en
    Août 2008
    Messages
    5
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Août 2008
    Messages : 5
    Par défaut Problème indexation Lucène
    Bonjour,

    j'aimerai indexer une table avec Lucène. Les enregistrements de cette table sont transformés en object grâce à hibernate et sont ensuite stockés dans une liste. Cette table étant immense (plus de 2 millions d'enregistrements), j'ai du découpé la sélection en plusieurs, sinon j'avais le droit à un OutOfMemoryException.

    Voici à quoi ressemble ma fonction d'indexation (simplifiée pour les tests) :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    public void indexerFiches(){
    	String directoryIndex = parametreDAO.getCheminIndexationLucene();
    	List listFiches;  
    	IndexWriter writer;
    	Analyzer analyzer = new FrenchAnalyzer();
    	boolean createFlag = true;
     
    	try {
    		writer = new IndexWriter(directoryIndex, analyzer,createFlag);
     
    		int min, max=1;
    		Iterator itFiche;
    		Fiche fiche;
     
    		do{
    			min=max;
    			max=max+10000;
     
    			listFiches = ficheDAO.find(min,max);
    			itFiche = listFiches.iterator();
     
    			while (itFiche.hasNext()) {
    				fiche = (Fiche) itFiche.next();
    				ajouterFiche(fiche,writer);
    			}
    		}
    		while (listFiches.size()==10000);
     
    		Writer.optimize();
    		Writer.close();
     
    	} catch (Exception e) {
    		e.printStackTrace();
    	}
    }
     
    private void ajouterFiche(Fiche fiche,IndexWriter writer) throws IOException {
    	Document documentFiche = new Document();
    	documentFiche.add(new Field(LuceneTools.NUM_FICHE, fiche.getNumEnregistrement().toString(), Field.Store.YES,Field.Index.UN_TOKENIZED));
    	writer.addDocument(documentFiche);
    }
    Maintenant le traitement s'effectue bien, mais au bout d'un moment, un nouvel OutOfMemoryException apparait (lors du stockage d'une nouvelle sélection dans la liste) ... Celà fait maintenant deux jours que je suis dessus et je ne vois vraiment pas ce qui se passe. Pouvez vous m'aider s'il vous plaît ?

  2. #2
    Membre à l'essai
    Profil pro
    Inscrit en
    Août 2008
    Messages
    5
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Août 2008
    Messages : 5
    Par défaut
    Pour infos, voici la fonction permettant d'effectuer la sélection dans la base :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    public List find(int min,int max){
    	try {
    		String requete="from Fiche f where f.numEnregistrement <="+max+" and f.numEnregistrement >"+ min;
    		return getHibernateTemplate().find(requete);	
    	} catch (Exception e) {
    		logger.error(e);
    		throw new PersistenceException(e);
    	}
    }

Discussions similaires

  1. problème de lenteur - problème indexes ?
    Par bob29 dans le forum Administration
    Réponses: 1
    Dernier message: 21/01/2008, 16h47
  2. Réponses: 2
    Dernier message: 04/01/2008, 15h05
  3. problème Index de colonne
    Par fiatlux dans le forum JDBC
    Réponses: 7
    Dernier message: 13/12/2007, 15h33
  4. Problème index Full text
    Par fumesec dans le forum SQL Procédural
    Réponses: 1
    Dernier message: 29/09/2007, 09h59
  5. Problème index groupBox
    Par Hurin dans le forum C#
    Réponses: 7
    Dernier message: 23/08/2007, 13h39

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo