Discussion :

[Gueritarish]

Bonjour,

Alors que j'explique un peu mon appli... Je parse un fichier XML pour pouvoir insérer en base de donnée les paramètres présent dans les balises. Par exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
<balise mere>
	<balise fille [attributs]>
		parametres
	</balise fille>
</balise mere>

Bon, le parsing du fichier se passe très bien. Ensuite, ce qu'il faut savoir, c'est que je travaille sur des fichiers assez volumineux (de l'ordre de 500 000 lignes ). J'utilise SAX pour parser le fichier (normal).
Donc, mon soucis serait de vérifier la présence de doublon dans les paramètres à insérer en base... Sans faire de SELECT, et sans utiliser trop de mémoire
C'est pour ça que je mets "solution miracle".
Pour l'instant, ma méthode consiste à partir du postulat que les balises devraient être ordonnées et donc j'utilise un Set que je ré-initialise quand je change de groupe de balises. Puisque j'utilise un Set, il n'y a pas de doublon à l'ajout. Donc, je regarde si le groupe de paramètres a été ajouté ou pas.

J'espère avoir été clair. Sinon, n'hésitez pas à demander des précisions.

Voilà, je suis réceptif à vos idées/conseils/propositions/canard laqué...
++
Gueritarish

[Seb19]

Donc, mon soucis serait de vérifier la présence de doublon dans les paramètres à insérer en base... Sans faire de SELECT, et sans utiliser trop de mémoire

Bonjour, et pourquoi ne pas mettre une contrainte d'unicité sur les paramètres au niveau de la base de données. Il te suffiera ensuite de gérer le code retour du double insert.

[Gueritarish]

Bonjour, et pourquoi ne pas mettre une contrainte d'unicité sur les paramètres au niveau de la base de données. Il te suffiera ensuite de gérer le code retour du double insert.

Le problème c'est que je n'ai pas le droit de toucher à l'architecture des tables dans la base de donnée...

[Seb19]

Dans ce cas, tu pourrais peut être utiliser une Hashtable dans laquelle tu stockerais tes données avant l'insertion en base, avec les méthodes containsValue et containsKey pour éviter les doublons.

[Gueritarish]

Dans ce cas, tu pourrais peut être utiliser une Hashtable dans laquelle tu stockerais tes données avant l'insertion en base, avec les méthodes containsValue et containsKey pour éviter les doublons.

En fait, c'est ce que je faisais, mais je me retrouve avec un OutOfMemoryError à la 15 000ème requêtes d'ajout de balise du même "groupe" en base ...
C'est pour ça que j'étais passé par les Set... Mais bon, ça marche pas non plus.

En tout cas, merci de tes réponses ^^

++
Gueritarish

[Tommy31]

Tu devrais utiliser un set, dans lequel tu stockes non pas la valeur mais l'empreinte (hash) de cette valeur. Ce qui te fera gagner de la mémoire.

Reste à gérer les faux positifs lors d'une collision. Là, à moins de recourir à un select...