Discussion :

[pbatty1]

Bonjour,
J'ai une classe ObjectToSerialize qui me sert à serialiser une liste de datatable. Je sauvegarde environ une quarantaine de datatable. Mon problème se trouve au niveau de la performance de la deserealisation des données. Un fichier de 50Mb prend environ 1mn30 à deserialiser. Voici ma classe Serializer qui me permet de faire la serialisation de mon objet

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
public class Serializer
    {
        public void SerializeObject(string fileName, ObjectToSerialize objectToSerialize)
        {
 
            Stream stream = File.Open(fileName, FileMode.Create);
            BinaryFormatter formatter = new BinaryFormatter();
            formatter.Serialize(stream, objectToSerialize);
            stream.Close();
        }
 
        public ObjectToSerialize DeserializeObject(string fileName)
        {
            ObjectToSerialize deserializeObject;
            Stream stream = File.Open(fileName, FileMode.Open);
            BinaryFormatter formatter = new BinaryFormatter();
            deserializeObject = (ObjectToSerialize)formatter.Deserialize(stream);
            stream.Close();
            return deserializeObject;
        }
    }

Y a t-il un moyen d'optimiser la performance au moment de deserealiser mes données? Je constate également que lors de la deserealisation, je n'utilise qu'un processeur de mes tri-coeurs. Y a t-il egalement la possibilité d'exploiter toute la ressource de mon pc?

Merci pour votre aide

[ostenhard]

Bonjour,

Pas facile !!! Déjà pourquoi ne pas sérialiser chaque table dans un fichier différent, c'est nul je sais mais tu pourras paralléliser la désérialisation et la sérialisation d'ailleurs !

[pbatty1]

On voudrait n'avoir qu'un fichier de sauvegarde de nos données.

[Pol63]

c'est pour mettre dans une base de données ou pour utiliser dans le programme ?
dans le 1er cas je pense qu'une base de données fichier serait plus efficace

[pbatty1]

C'est pour le réutiliser dans le programme. Le but du sauvegarde est de permettre de reprendre les opérations en suspend.

[Pol63]

je suis pas expert en sérialisation binaire, mais j'ai l'impression que tu n'as qu'un gros objet dans ton fichier
avec plein de petits, tu devrais pouvoir lire et sur un autre thread déserialiser les objets au fur et à mesure de la lecture

et si c'est un system.data.datatable que tu sérialise, ca pourrait peut etre aller plus vite avec un objet plus simple avec juste des propriétés basiques

[pbatty1]

Oui, Je serialise un objet qui contient une liste de datatable. J'ai déjà simplifier mes datatable en utilisant une classe qui enregistre les noms de colonnes du datable et les lignes.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
Class StructData
{
 List<string> columnsName;
List<object[]> rows;
string name;
}

Sinon comment introduire un thread dans la deserealisation des données?

[pierrev1]

Si tu ne veux sérialiser que des DataTable peut-être font-elles toutes parties du même DataSet. Dans ce cas tu peux utiliser DataSet.WriteXml() et DataSet.ReadXml(). Ce n'est pas efficace en terme d'espace disque mais en lecture oui.

[pbatty1]

Le sauvegarde en format xml ne me convient pas à cause de la taille du fichier. Peut etre y a t-il un moyen d'utiliser toute la capacité de mon pc?

[Pol63]

Sinon comment introduire un thread dans la deserealisation des données?

un ou plusieurs
si tu peux découper tes données dans le fichier, à la lecture tu as x octets par objet obtenu par le stream et peut etre un mécanisme intermédiair ; à partir des octets d'un objet, tu lances un thread par core du pc avec chacun une liste d'objets sous forme octale à désérialiser

mais pour ca il ne faut pas que ton fichier contienne seulement une instance d'un objet
peut etre qu'il faudra alors coder toi même l'enregistrement avec un format en octets pour un datatable et un string de séparation entre les instances

ou sinon ce que tu peux faire pour rester sur de la sérialisation binaire standard, c'est plusieurs fichiers mais en un seul, genre un zip renommé
comme ça à la lecture tu extrais les fichiers et tu les traites en multithreadé (voir #ziplib, 7zip dll ou autre)

car une chose est sûre et annoncée par intel, microsoft et les autres, la fréquence des processeurs monte très doucement, et le nombre de coeur ne va faire que grandir, l'avenir et donc au multithreading, si ce n'est le présent

[pbatty1]

L'idée de créer plusieurs fichier et rassembler le tout dans un zip me semble une piste interessante. Cela permettra également de diminuer la taille de mon fichier de sauvegarde. Je vais faire quelques recherche sur l'utilisation des librairies de compression. merci

[Pol63]

j'ai essayé sharpziplib pour silverlight récemment, avec la doc en .chm ca se fait bien, y a un objet stream de fichier, on lui dit nouveau fichier "tel nom" puis on envoit les octets brut dans le stream et ainsi de suite

[NicoL__]

Pour la compression tu as System.IO.Compression.GZipStream qui est inclue dans le framework.

[pbatty1]

A la suite des réponses données, j'ai réussi à améliorer la performance de ma déserialisation. Au lieu d'une 1mn30 ça me prends environ 30 sec.
Je sérialise chaque datatable dans un fichier, ensuite je mets le tous dans un fichier compressé. Pour cette dernière étape j'utilise la librairie dotnetzip. Cette librairie me semble plus performant que GzipStream.

Merci encore pour l'aide

[Pol63]

et tu as gagné en taille ?

[pbatty1]

Oui environ 50%