Discussion :

[thecrafty]

Bonjour,
Mes recherches n'étant pas satisfaisantes je me dirige vers le forum.

Je dois manipuler un fichier XML d'une volumetrie d'environ 3000 elements (Event), chaque élément contiendra 2 a 3 éléments:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
<Events>
	<Event>
		<id>1</id>
		<description>blahblah1</description>
	</Event>
	<Event>
		<id>2</id>
		<description>blahblah2</description>
	</Event>
	...
</Events>

L'idée est de LIRE ce fichier :
- Rechercher une description (<description>)
- si celle-ci n'existe pas : ECRIRE un nouveau bloc Event contenant la nouvelle description
- si elle existe on récupere l'id.

Le programme doit être le + rapide possible.

Problèmatique :
- Plusieurs programmes java sont successibles d'acces simultanément à ce fichier (lecture / ecriture).

Pourriez vous me conseiller?

Par avance Merci

[thelvin]

Un fichier genre CSV serait plus simple, quand même.

Le problème avec le XML c'est que tu ne peux pas rajouter de donnée sans le réécrire entièrement depuis le début. Ton fichier n'est pas trop gros et donc ça peut encore aller, mais c'est frustrant quand même. Avec du CSV tu ajoutes le nouvel enregistrement à la fin et puis voilà, c'est tout.
Avec un fichier binaire ou utilisant du padding, tu pourrais même accélérer la recherche d'id.

Dans tous les cas tu dois te protéger de l'écriture concurrentielle, avec FileLock.

Ah, et puis je te le dis au cas où tu t'en sois pas rendu compte : ce que tu fais là c'est une base de donnée ultrasimplifiée. Ce pour quoi les fichiers XML sont effectivement très mauvais.
C'est pour ça que tu trouves rien : normalement on utilise une base de données légère et les problèmes disparaissent.

[thecrafty]

Un fichier genre CSV serait plus simple, quand même.

Le problème avec le XML c'est que tu ne peux pas rajouter de donnée sans le réécrire entièrement depuis le début. Ton fichier n'est pas trop gros et donc ça peut encore aller, mais c'est frustrant quand même. Avec du CSV tu ajoutes le nouvel enregistrement à la fin et puis voilà, c'est tout.
Avec un fichier binaire ou utilisant du padding, tu pourrais même accélérer la recherche d'id.

Oui le fichier CSV me parait une bonne idée, je ne suis pas fixé sur le XML.

Dans tous les cas tu dois te protéger de l'écriture concurrentielle, avec FileLock.

Ok merci c'est noté

C'est pour ça que tu trouves rien : normalement on utilise une base de données légère et les problèmes disparaissent.

Et bien ce que j'ai peur avec une base de donnée c'est la rapidité... non ?
le fichier plat est + rapide non ?
Je dois allez chercher l'id de l'Event (par rapport à sa description) tres souvent : environ 200 000 fois. Et selon s'il existe ou pas : faire un insert ou un delete.

[polymorphisme]

Bonjour,

Le programme doit être le + rapide possible.

Je crois que c'est faisable avec SAX.

Problèmatique :
- Plusieurs programmes java sont successibles d'acces simultanément à ce fichier (lecture / ecriture).

Je ne pense pas que ce soit faisable avec SAX.

[thecrafty]

Bonjour,


Je crois que c'est faisable avec SAX.


Je ne pense pas que ce soit faisable avec SAX.

Oui SAX est + rapide mais apparemment il ne permet pas d'ecrire...

L'histoire de la BDD ou du fichier plat cité plus haut me plait bien.

[thelvin]

Et bien ce que j'ai peur avec une base de donnée c'est la rapidité... non ?
le fichier plat est + rapide non ?

Pour un fichier aussi petit, je dois avouer que je n'en sais rien. C'est possible.
Mais la différence ne sera pas fulgurante : une base de données ça sert à ça. Ce qui est d'ailleurs la raison pour laquelle tu ne trouves rien sur le sujet : dans le cas général c'est une base de données et c'est là que tu trouveras des infos.

Oui SAX est + rapide mais apparemment il ne permet pas d'ecrire...

Techniquement si, mais c'est la plaie à utiliser. Si tes données ne peuvent pas possiblement avoir le moindre caractère spécial, il vaut mieux l'écrire à la main. (Mais s'il peut y avoir des caractères spéciaux, là il vaut mieux savoir ce qu'on fait. De toute façon de manière générale, CSV ou binaire indexé ou BDD seront plus pratiques.)

[thecrafty]

Pour un fichier aussi petit, je dois avouer que je n'en sais rien. C'est possible.
Mais la différence ne sera pas fulgurante : une base de données ça sert à ça. Ce qui est d'ailleurs la raison pour laquelle tu ne trouves rien sur le sujet : dans le cas général c'est une base de données et c'est là que tu trouveras des infos.

ok v me rabattre sur une bdd alors.
Pour la petite histoire, à la base je comptais mettre tout en mémoire, mais du fait de l'acces concurrentiel, cela aurait posé soucis (ou pas?)