Traiter un fichier plat comme une BDD

Bonjour tout le monde,

Je commence à sécher sur mon sujet et j'ai besoin d'avis d'expert :mouarf:.
En gros, j'ai crée un fichier plat en sérialisant quelques millions de lignes d’enregistrements de BDD, une espèce d'unload.
Plus précisément en créant un Objet par ligne d'enregistrement et en sérialisant l'Objet lui même.
Mais du coup comme se sont des fichiers binaire, je ne peux pas faire de select, d'insert ou d'update.

Comment je peux faire pour "transformer" mon fichier plat en base de donné ou quelque chose se rapprochant pour pourvoir consulter les résultats. L'idéal serai que je puisse passer des conditions à mon

Citation:

---

formatter.Deserialize(fs)

---

Mais je ne sait pas si c'est possible.

à savoir que le déserialisation marche mais prend trop de temps (+ de 5 min).
C'est à dire :

Citation:

---

Mon_Objet mo = (Mon_objet)formatter.Deserialize(fs);
if (mo.get...() = x){}

---

Mais ça ne règle pas le problème des update et insert.

Si tu utilises .NET 4.0, n'est-ce pas possible d'utiliser LINQ ?

Je suis en 3.5

En gros tu veux réimporter un fichier plat dans une BDD?

Citation:

---

Envoyé par rockley

Je suis en 3.5

---

LINQ est aussi disponible en 3.5, tu devrais regarder de ce côté-là, selon moi.

Mais le gros problème avec le link c'est que je ne sais pas l'utiliser sur un reader, je ne vois pas comment faire.

Si je charge tout dans un arrayList, j'y arrive sauf que le fichier *.dat fait 2.6GO.

Il me faudrait que le link se fasse durant la lecture même du fichier sans même avoir crée les objets.

Serialise une fois pour toute dans un fichier xml que tu n'auras qu'à charger pour le questionner...

Ou pareil avec une DB. Je ne vois honnêtement que ça comme solution.

Je pense qu'il n'y a pas de solution.

Citation:

---

Serialise une fois pour toute dans un fichier xml que tu n'auras qu'à charger pour le questionner...

---

Mon problème n'est pas juste liée au fait de devoir lire un fichier *.dat
C'est également lié à la taille du fichier.
Si un fichier binaire fait 2.6 Go imagine ce que ça donnera en XML.
Dans tout les cas le

Code:

---

1 2	XDocument xdoc = XDocument.Load("data.xml"));

---

ne passera jamais, en m'envoyant un outOfMemory.

Je met le sujet en ("non") résolu pour le fermer car je ne pense pas être sur la bonne voix. Il va falloir que je fasse les choses autrement.

Avec un tel amas de données, tu devrais bosser directement avec une BD...

La vraie question est :
- pourquoi utiliser un fichier plat, si les données viennent d'une base de données ?
=> Pourquoi ne pas stocker les données dans une base de données ? Il y a des tas de moteurs embarqués, y compris certains qui n'ont plus la quote mais sont très bien pour des bases simples, tels que DBase (ne nécessite aucun logiciel pour être utilisé avec ADO.NET) MDB (Access) aussi est une très bonne alternative, et ne nécessite pas plus de logiciel, tout en permettant de faire des choses plus évoluées.