Très grosses bases de données en XML

Bonjours,

Je projette de faire un programme susceptible de gérer une/des bases de données de plusieurs centaines de millier d’entrer, avec pour chaque entré une dizaine d’information.

J’ai besoin d’en un premier temps de pouvoir les gérer en local (et sans installation de serveur) mes a terme je pense plus les gérer en SQL.

De plus, il est possible que les entrer soit modifier, ajouter, ou enlever après création de la base de donnée.

Enfin, le point le plus important est qu’il faut que l’on puisse faire des recherches très rapide dans la base de donner par mots clefs, en choisissant éventuellement certains critères.

Et, pour finir, dernière contrainte, le programme doit être le plus léger possible (il sera exécuter sur des ordinateurs exécutant déjà des programmes lourd et beaucoup plus indispensable que celui-ci).


Pour ça, je penser utiliser STAX et stocker les bases de donner dans des fichier XML.


Mes questions sont donc les suivantes :
- Est-t-il vraiment pertinent d’utiliser Java, ne vaut-il pas mieux coder ca en C/CPP ?
- Y aurait-il un system que le XML pour faire ce que je veux ?
- Enfin, pour l’édition, je pensais parcourir les fichier XML et les réécrire en simultané sur un autre fichier en faisant les modifications. Y-a-t-il moyen d’écrire a la fin d’un fichier sans l’ouvrir ?

Merci.

beaucoup de données, structurée, idéal pour une base de données, des contraintes de mémoire et de CPU et ta conclusion: utiliser un truc qui va faire exploser ta mémoire et dont les performance seront catastrophiques: du XML. :weird:

Je dois manquer d'informations pour comprendre le lien de cause à effet :aie:


Tu as toi même trouvé déjà la réponse: une base de données fera le travail d'indexation et de recherche. Tu peux très bien embarquer une base de données comme h2 ou derby dans ton application.

Ok, je ne savais pas qu'il existait de tel systèmes (je n'ait pas une très grosse expérience), si j'ai bien comprit H2 ou Derby sont des bibliothèques qui peuvent être inclus dans le programme sans forcement passer par le réseau ?

Il vaut donc effectivement mieux que j'abandonne l'idée de passer par du XML.

Citation:

---

Envoyé par tchize_

beaucoup de données, structurée, idéal pour une base de données, des contraintes de mémoire et de CPU et ta conclusion: utiliser un truc qui va faire exploser ta mémoire et dont les performance seront catastrophiques: du XML. :weird:

---

:plusser:

Que dire de plus, pourquoi faire simple quand on peut faire compliqué :aie:

Sur une base bien construite tu peux faire des requêtes sur des millions d'enregistrements, c'est pas ça qui va lui faire peur :mrgreen:

Et puis y'a une section sur ce forum dédié à la base de donnée. Pour avoir eu à faire avec eux quelques fois, si t'arrive pas à optimiser tes requêtes correctement, eux ils savent faire ;)

Cdt.

Citation:

---

Envoyé par Childerique

si j'ai bien comprit H2 ou Derby sont des bibliothèques qui peuvent être inclus dans le programme sans forcement passer par le réseau ?

---

C'est exact, la base de données avec H2 par exemple peut être:
Dans un fichier local (a priori ce que tu cherche)
Entièrement en mémoire (je ne te recommande pas dans ce cas ci)
Sur un serveur H2 distant (ce que l'on fait quand la base doit être partagée entre plusieurs processus)

Ok, nickel, du coup, dernière question, sera-t-il possible de faire des recherches en temps réel sur la base dans mon cas tout en ne chargeant pas la base en mémoire ?

Citation:

---

Envoyé par tchize_

C'est exact, la base de données avec H2 par exemple peut être:
Dans un fichier local (a priori ce que tu cherche)
Entièrement en mémoire (je ne te recommande pas dans ce cas ci)
Sur un serveur H2 distant (ce que l'on fait quand la base doit être partagée entre plusieurs processus)

---

Ah, encore une dernière chose, après je vais plus faire des recherches de mon coté, tu parle de mettre H2 sur un serveur distant pour le partager entre plusieurs processus, serait-t-il possible de le faire en local, avec un socket par exemple, en créant un thread dédier au démarrage pour la même raison ?

Citation:

---

Envoyé par Childerique

Ok, nickel, du coup, dernière question, sera-t-il possible de faire des recherches en temps réel sur la base dans mon cas tout en ne chargeant pas la base en mémoire ?

---

H2 sait gérer des bases de données de plusieurs G avec seulement quelques M consommés en mémoire. Donc non, pas besoin d'avoir tout en mémoire pour faire une recherche. Pour le "temps réel", je ne vois pas de quoi tu parle. C'est du SQL, tu fais une query, tu as la réponse valable à l'instant T de la query.

Citation:

---

Envoyé par tchize_

H2 sait gérer des bases de données de plusieurs G avec seulement quelques M consommés en mémoire. Donc non, pas besoin d'avoir tout en mémoire pour faire une recherche. Pour le "temps réel", je ne vois pas de quoi tu parle. C'est du SQL, tu fais une query, tu as la réponse valable à l'instant T de la query.

---

Ce que j'entendais par "temps réel" c'est que quand on tape la recherche, le résultat doit être immédiat (+/- 1-5 secondes maximum), vue ce que tu dit ca doit l'être ?

En tout cas merci beaucoup, j‘utiliserait sans doute H2, qui, à priori me plait plus que Derby.

Cdt.