Discussion :

[Xploit]

Bonjour à tous,

Voilà je teste un systeme de distribution de numéros de série.
Pour ce faire je lance un soft sur plusieurs PCs qui ma récupérer des numéros de série sur le PC utilisé et qui va les stocker dans des fichiers de logs pour traitement ulterieur.

En effet, il s'agit de traiter tous ces fichiers créés sur differents PC et d'analyser leur contenu pour s'assurer de l'unicité des numéros.

Les numéros extraits des fichiers de logs sont stockés dans une hashtable (pour une recherche plus efficace).

Le probleme c'est que lorsque j'arrive à un taille de hashtable conséquente (100 000 entrées environ) j'ai une exception outofmemory lorsque je veux ajouter une entrée dans la hashtable.

Y a-t-il un moyen de contourner cette limite de taille de la hashtable ?

Sachant que j'ai plus de 3 Go de ram et qu'au max j'en utilise 2.03(winxp y compris ) avec le soft lorsque j'ai le message d'exception.

Je pensais que la limite en taille d'une hashtable est fixé par la place dispo en RAM.

Vous avez des idées ?

[ostenhard]

Bonjour,

De quel type sont les objets stockés dan ta hashtable ?

[Xploit]

Des chaines de caractères
KEY : string de 17 caractères
Value : chemin vers le fichier analysé + 20 caractères


Je vois l'idée. Mettre dans la hashtable des données moins gourmandes en mémoire genre

KEY (entier) | Value (entier )

?

[tomlev]

Des chaines de caractères
KEY : string de 17 caractères
Value : chemin vers le fichier analysé + 20 caractères


Je vois l'idée. Mettre dans la hashtable des données moins gourmandes en mémoire genre

KEY (entier) | Value (entier )

?

100000 entrées comme ça, c'est pas monstrueux... si on considère que le chemin fait 100 caractères, ça fait 100000 * (17 + 100 + 20), soit environ 13Mo (plus l'overhead de la hashtable, mais ça fait pas une grosse différence. Donc y a pas de quoi causer une OutOfMemoryException, le problème doit venir d'ailleurs...

Y a-t-il un moyen de contourner cette limite de taille de la hashtable ?

La hashtable n'a pas de limite de taille (ou alors s'il y en a une ça doit être Int32.MaxValue, autant dire que tu as de la marge.)

[Bluedeep]

Poster un bout de code serait une bonne idée.

[Xploit]

Alors en fait je fais une petite précision :

Ma hashtable possede 10 367 102 entrées lorsque que l'ajout d'une entrée me sort en outofmemory exception...

Si je reprends le calcul donné par tomlev ça me ferait du 1.4Go ?! Oo

Voici le code qui traite les fichiers

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
 
 
//membre de la classe
private Hashtable m_allSN;
            try
            {
                m_allSN = new Hashtable();
 
                for (int i = 0; i < m_allFiles.Count; i++)  // Treatment for each File given by the user
                {
                    string line;
                    int line_number =  0;
                    string[] separator = { ";" };
 
                    m_sr = new StreamReader((String)m_allFiles[i]);
 
                    while ((line = m_sr.ReadLine()) != null)    // Reads lines from file til EOF
                    {                    
 
                        //Serials treatment
                        if (m_allSN.ContainsKey(line.Split(separator, StringSplitOptions.None)[0]))
                        {
 
                            m_duplicateSerials.Add(line.Split(separator, StringSplitOptions.None)[0]+ 
                                                "\t" + m_allFiles[i] + 
                                                " at line " + line_number);
                            m_pass = false;
                            //throw new Exception("Serial Number " + line.Split(separator, StringSplitOptions.None)[0] +
                            //                    " already exists in the file " + m_allFiles[i] + 
                            //                    " at line " + line_number);
                        }
                        else m_allSN.Add(line.Split(separator, StringSplitOptions.None)[0], m_allFiles[i]);
                        line_number ++;
                    }