Lecture et mise en base de données fichiers volumineux

Bonjour!
Dans le cadre d'un projet je dois étudier la mise en base de données (SQLServer) de fichiers de type XML.
Ces fichiers peuvent être de faible taille ( quelques Mo) mais aussi de très grande taille (quelques Go).

En faisant quelques tests, l'insertion en base (colonne de type string) d'un XML en lecture XMLDocument / InnerXML fonctionne très bien pour les petits fichiers.
Pour les gros fichiers, j'obtiens systématiquement un OutOfMemoryException à la lecture.
J'ai tenté plusieurs fonctions XmlDocument, XmlTextReader ou encore en BinaryReader.

Avez vous des idées sur comment procéder pour arriver à mettre en base de données ces fichiers ? Ou une meilleur approche du sujet ?

Merci de votre aide!

Bonjour,

Probablement que tu lis tout le fichier XML en mémoire ...

Tu dois (je pense ...) connaitre la structure de fichier XLS de sorte à le lire ligne par ligne (ReadLine de StreamReader) et à pouvoir déterminer ce qu'il y a lieu de faire avec les données au niveau de la DB, et le faire. De la sorte, il n'y aura jamais qu'une seule (voire deux ou trois) lignes en mémoire à un moment donné : pas de Out of memory !

J'espère que ceci de te donne une bonne piste ...

:D

Bonjour,

Plusieurs choses :

1/ Un SGBD n'a pas pour vocation à stocker des documents : à partir de là, stocker des fichiers XML dans SQL Server ne doit pas être la première idée qui vous vient en tête. Ces fichiers ont-ils la même structure ? Si oui, alors essayez plutôt de stocker les données qu'ils contiennent dans des tables correctement modélisées de manière à pouvoir les interroger aisément.
2/ Si vous souhaitez stocker de gros fichiers en base de données, il faut utiliser les types nvarchar(max) ou varbinary(max). varchar(max) si vous êtes certains de toujours avoir le même encodage de texte entre la base et les fichiers. Je vous conseille aussi de passer par les mécanismes FILESTREAM ou FILETABLE qui sont ce qu'il y a de plus adapté pour stocker des fichiers en base
3/ Mais attention : vous parlez de fichiers XML... Avez-vous déjà tenté d'utiliser le type XML de SQL Server ? Il a l'avantage de pouvoir utiliser xpath pour indexer et filtrer les documents

Enfin, pour lire de gros volumes il faudra toujours passer par un Stream, qui permettra de ne pas tout charger en mémoire d'un coup.

Que voulez-vous faire avec les fichiers que vous retrouvez à partir de la base de données ?