[Hashtable][OutOfMemoryException] Une solution ?

**Xploit** · 10/05/2011, 09h43

Bonjour à tous,

Voilà je teste un systeme de distribution de numéros de série.
Pour ce faire je lance un soft sur plusieurs PCs qui ma récupérer des numéros de série sur le PC utilisé et qui va les stocker dans des fichiers de logs pour traitement ulterieur.

En effet, il s'agit de traiter tous ces fichiers créés sur differents PC et d'analyser leur contenu pour s'assurer de l'unicité des numéros.

Les numéros extraits des fichiers de logs sont stockés dans une hashtable (pour une recherche plus efficace).

Le probleme c'est que lorsque j'arrive à un taille de hashtable conséquente (100 000 entrées environ) j'ai une exception outofmemory lorsque je veux ajouter une entrée dans la hashtable.

Y a-t-il un moyen de contourner cette limite de taille de la hashtable ?

Sachant que j'ai plus de 3 Go de ram et qu'au max j'en utilise 2.03(winxp y compris ) avec le soft lorsque j'ai le message d'exception.

Je pensais que la limite en taille d'une hashtable est fixé par la place dispo en RAM.

Vous avez des idées ?

**ostenhard** · 10/05/2011, 09h58

Bonjour,

De quel type sont les objets stockés dan ta hashtable ?

**Xploit** · 10/05/2011, 10h03

Des chaines de caractères
KEY : string de 17 caractères
Value : chemin vers le fichier analysé + 20 caractères

Je vois l'idée. Mettre dans la hashtable des données moins gourmandes en mémoire genre

KEY (entier) | Value (entier )

?

**tomlev** · 10/05/2011, 10h33

Envoyé par Xploit

Des chaines de caractères
KEY : string de 17 caractères
Value : chemin vers le fichier analysé + 20 caractères

Je vois l'idée. Mettre dans la hashtable des données moins gourmandes en mémoire genre

KEY (entier) | Value (entier )

?

100000 entrées comme ça, c'est pas monstrueux... si on considère que le chemin fait 100 caractères, ça fait 100000 * (17 + 100 + 20), soit environ 13Mo (plus l'overhead de la hashtable, mais ça fait pas une grosse différence. Donc y a pas de quoi causer une OutOfMemoryException, le problème doit venir d'ailleurs...

Y a-t-il un moyen de contourner cette limite de taille de la hashtable ?

La hashtable n'a pas de limite de taille (ou alors s'il y en a une ça doit être Int32.MaxValue, autant dire que tu as de la marge.)

**Bluedeep** · 10/05/2011, 10h48

Poster un bout de code serait une bonne idée.

**Xploit** · 10/05/2011, 11h27

Alors en fait je fais une petite précision :

Ma hashtable possede 10 367 102 entrées lorsque que l'ajout d'une entrée me sort en outofmemory exception...

Si je reprends le calcul donné par tomlev ça me ferait du 1.4Go ?! Oo

Voici le code qui traite les fichiers

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
 
 
//membre de la classe
private Hashtable m_allSN;
            try
            {
                m_allSN = new Hashtable();
 
                for (int i = 0; i < m_allFiles.Count; i++)  // Treatment for each File given by the user
                {
                    string line;
                    int line_number =  0;
                    string[] separator = { ";" };
 
                    m_sr = new StreamReader((String)m_allFiles[i]);
 
                    while ((line = m_sr.ReadLine()) != null)    // Reads lines from file til EOF
                    {                    
 
                        //Serials treatment
                        if (m_allSN.ContainsKey(line.Split(separator, StringSplitOptions.None)[0]))
                        {
 
                            m_duplicateSerials.Add(line.Split(separator, StringSplitOptions.None)[0]+ 
                                                "\t" + m_allFiles[i] + 
                                                " at line " + line_number);
                            m_pass = false;
                            //throw new Exception("Serial Number " + line.Split(separator, StringSplitOptions.None)[0] +
                            //                    " already exists in the file " + m_allFiles[i] + 
                            //                    " at line " + line_number);
                        }
                        else m_allSN.Add(line.Split(separator, StringSplitOptions.None)[0], m_allFiles[i]);
                        line_number ++;
                    }

**Bluedeep** · 10/05/2011, 11h39

Envoyé par Xploit

Alors en fait je fais une petite précision :

Ma hashtable possede 10 367 102 entrées lorsque que l'ajout d'une entrée me sort en outofmemory exception...

Là, ça fait un 0 de plus ....

Si je reprends le calcul donné par tomlev ça me ferait du 1.4Go ?! Oo

Et avec XP en 32 bits tu es limité à 2 Go addressable + 1 en cache. Ceci explique cela.

Il faut revoir le concept....

**tomlev** · 10/05/2011, 12h19

Envoyé par Bluedeep

Là, ça fait un 0 de plus ....

Deux en fait, il parlait de 100 000 entrées au début...

Donc oui, effectivement ce n'est pas étonnant que ça pète... c'est vraiment nécessaire de charger toutes ces données en mémoire en même temps ?

**Xploit** · 10/05/2011, 12h34

Et bien ma petite appli consiste à vérifier l'unicité des serials numbers.
Donc il faut pouvoir comparer le numéro traité avec tous les précédents...donc je dirais qu'i il me faut toutes les infos (tous les numéros de série déjà récupéré dans les fichiers de logs) au même moment en mémoire.

Après je pourrais créer une fusion de tous les fichiers de logs en un seul fichier qui contiendrait tous les numéros puis faire le traitement dessus mais c'est pas du tout satisfaisant.

**Bluedeep** · 10/05/2011, 12h59

Envoyé par Xploit

Et bien ma petite appli consiste à vérifier l'unicité des serials numbers.

Ce serait quand même plus simple de balancer le tout dans une table de base de données et de faire une requête en unicité, non ? (dans la mesure où intercepter via une violation de clef dupliquée n'est pas forcément l'idéal ici, si on veut tout garder).

D'où viennent-ils ces fichiers de log ?

**Xploit** · 10/05/2011, 14h41

Tout mettre dans une table de BDD ça serait refaire le chemin inverse de mon processus de distribution de numéro de série. Mais l'idée peut etre interessante.

Sinon les fichiers de logs proviennent d'une application qui récupère des numéros de série sur un serveur mysql et qui les enregistre dans un fichier .txt de log.
Le tout est justement de valider l'unicité des numeros générés.

**Bluedeep** · 10/05/2011, 14h48

Envoyé par Xploit

Sinon les fichiers de logs proviennent d'une application qui récupère des numéros de série sur un serveur mysql et qui les enregistre dans un fichier .txt de log.
Le tout est justement de valider l'unicité des numeros générés.

Mais dans ce cas pourquoi ne pas requêter la base existante pour vérifier l'unicité ?

Ou alors il y aurait plusieurs bases ?

**Xploit** · 11/05/2011, 08h40

l'idée me semble bonne, le problème est que mes numéros de série sont générés à partir d'un seul enregistrement dont un champ est incrémenté à chaque fois qu'on récupère la valeur du champs pour l'attribution d'un numéro de série.
Donc dans ce cas là, je n'ai pas un enregistrement par numéro de série attribué et donc demander à la base l'unicité des numéros générés n'est pas possible, si j'ai bien compris.

**Bluedeep** · 11/05/2011, 08h46

Envoyé par Xploit

l'idée me semble bonne, le problème est que mes numéros de série sont générés à partir d'un seul enregistrement dont un champ est incrémenté à chaque fois qu'on récupère la valeur du champs pour l'attribution d'un numéro de série.
Donc dans ce cas là, je n'ai pas un enregistrement par numéro de série attribué et donc demander à la base l'unicité des numéros générés n'est pas possible, si j'ai bien compris.

Si j'ai bien compris, ce que tu viens d'écrire est antinomique avec ce que tu as écrits au dessus où tu laissez entendre que tes numéros étaient dans une base.

Dans tous les cas de figure, il y a quelque chose que je ne comprends pas : si tes numéros sont délivrés via une sequence de la base, comment pourraient ils être dupliqués ?

**Xploit** · 11/05/2011, 09h08

Dans ma table gerant les numéros de série, j'ai un enregistrement (ligne ) pour chaque clé (VendorID, ServiceID) ayant un champ numéro d'allocation.

En sachant que le client doit d'abord faire un SELECT... FOR UPDATE puis un update de la valeur d'allocation.

Le souci était d'être certain que si plusieurs clients attaquent en meme temps la table, ils ne puissent lire la même valeur de numéro d'allocation.

En faisant un :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
Start transaction
SELECT...FOR UPDATE
UPDATE ...
Commit

Je pense que la table est bien lockée par le client qui fait la transaction et les autres sont en attente.

J'aurais juste aimé pouvoir le démontrer...

Je ne sais pas si c très clair mais je fais de mon mieux pour expliquer le but des applis dont je parle.

**Bluedeep** · 11/05/2011, 09h10

Envoyé par Xploit

Dans ma table gerant les numéros de série, j'ai un enregistrement (ligne ) pour chaque clé (VendorID, ServiceID) ayant un champ numéro d'allocation.

En sachant que le client doit d'abord faire un SELECT... FOR UPDATE puis un update de la valeur d'allocation.

Le souci était d'être certain que si plusieurs clients attaquent en meme temps la table, ils ne puisse lire la même valeur de numéro d'allocation.

Drôle d'idée !
Je ne connais pas MySql mais j'ai quand même du mal à imaginer que ce soit tellement pauvre fonctionnellement qu'il n'y ait pas de notion de séquence.

**jbrasselet** · 11/05/2011, 09h12

Dans MySql je ne crois pas qu'il y ait de sequence mais il y a des champs autoincrement de souvenir

**Xploit** · 11/05/2011, 09h12

La notion de séquence dont tu parles serait comparable à ce que j'utilise ... une TRANSACTION ?

je ne suis pas expert non plus en SQL...

En tout cas la transaction verrouille la table

**Bluedeep** · 11/05/2011, 09h14

Envoyé par jbrasselet

Dans MySql je ne crois pas qu'il y ait de sequence mais il y a des champs autoincrement de souvenir

Oui, je disais "séquence" mais c'est ce que je voulais exprimer comme concept fonctionnel.

**Xploit** · 11/05/2011, 09h14

Envoyé par jbrasselet

Dans MySql je ne crois pas qu'il y ait de sequence mais il y a des champs autoincrement de souvenir

L'autoincrément, si je ne me trompe pas, est utilisé pour auto incrémenter un champ de la table lorsque l'on fait un nouvel enregistrement.

OR dans mon cas il s'agit de faire une mise à jour d'un champ d'un enregistrement existant...

[Hashtable][OutOfMemoryException] Une solution ?

C#

Discussions similaires

Partager

Partager