Table de hash limité ??

Version imprimable

11/04/2006, 10h26
elbrujo2323

Table de hash limité ??

Bonjour à tous,

Je voulais savoir si les tables de hash, et d'ailleurs même les tableaux classiques, étaient limité en taille.
En effet, lors de l'execution de mon programme qui se contente de remplir une table de hash à l'aide de données contenu dans plusieurs fichiers, windows m'avertit que la mémoire virtuelle de mon ordinateur n'est pas sufiisante et l'éxecution s'arrête toujours au même endroit. Quand je lance la même execution sur moins de fixhiers, ça passe sans problème, d'où ma question sur l'eventuel limite des tables de hash ?

Merci.
11/04/2006, 10h28
Mr6

ton pc te montre lui-même où se trouve la limite : tu montes trop de données en mémoire et il ne peut plus les stocker...
11/04/2006, 10h31
elbrujo2323

ok, merci. As tu une idée de comment contourner ce problème ?
11/04/2006, 10h47
Mr6

ca dépend... il faut gérer autrement l'accès à tes données, donc déjà il faudrait que tu nous montres comment tu les gères ;)
11/04/2006, 11h42
Invité

Ca représente quel volume de données ?
Sinon, tu peux augmenter ton pagefile.sys
11/04/2006, 12h33
Jedai

Mais de toute façon, s'il commence à devoir taper dans la mémoire virtuelle, ça va être l'enfer point de vue vitesse...
Dis nous ce que tu veux faire, et on pourra peut-être t'indiquer ce que tu peux essayer.

--
Jedaï
11/04/2006, 12h39
Invité

Citation:

Envoyé par Jedai

Mais de toute façon, s'il commence à devoir taper dans la mémoire virtuelle, ça va être l'enfer point de vue vitesse...

Certes, mais en tournant la nuit, ça peut passer. Maintenant, si c'est un batch quotidien, ça va être plus délicat...
11/04/2006, 14h49
elbrujo2323

En fait j'ai pas le code et le fichier sur cet ordi, mais je vais qd même tenter de vous expliquer :
- J'ai 290 fichiers de 100 lignes chacun soit 29000 lignes. Sur chaque ligne il y a différentes mesures.
- Ces mesures sont rangées dans un ordre bien précis qui est décrit dans un autre fichier. Ex : var1 3, var2 5, var3 1.... veut dire que les 3 premières mesures correspondent à la var1, les 5 suivantes correspondent à la var2, etc...
- donc je lis le fichier description, je parcours mes fichiers de mesures et je mets tout ça dans un tableau du style :

push($mesures{$nom_de_la_var},$mesure_lue)

Et donc au bout d'un moment, ça marche plus, j'ai donc supposé que ça venait du fait que je rentrai trop de données dans mon tableau.

Merci pour les réponses
11/04/2006, 14h56
Invité

Oui, mais encore une fois la limite ne viendra pas de perl, mais de ton matériel.
L'idéal aurait été d'avoir un bout de code, pour voir si une optimisation de ton modèle de données résultant est possible.
11/04/2006, 15h28
elbrujo2323

ok, ben j'essaye de poster un bout de code dès que je peux, mais apparament si ça vient de la machine, je vais essayer de contourner le problème...
11/04/2006, 15h33
Invité

As-tu accès à un serveur de qualif ou dev avec quelques GB de RAM ?
11/04/2006, 16h32
elbrujo2323

Malheureusement non, je n'ai que mon ordi perso, PIV 2.4Ghz et 512Mo de RAM...
11/04/2006, 16h36
Jedai

Il faudrait aussi savoir ce que tu fais de ces mesures, parce que c'est cela qui déterminera si tu peux découper ta tâche en petits boûts ou non.

--
Jedaï
17/01/2008, 16h09
spikely95

meme probleme

bonjour,

j'ai également ce probleme sur un serveur sous Unix ayant beaucoup de ressources. Qui dit serveur dit pas touche à la mémoire!!!

pour résumer:
j'ai un fichier de 7,6 millions de lignes avec un ID pour chaque ligne
dès que l'ID est lu une 1ere fois, je le mets dans mon %hash comme clé (avec des valeurs associées biensur)
puis pour chaque ligne lue, je vérifie si l'ID est déjà existant en clé.
Si oui, je mets a jour la valeur associée,
si non, j'ajoute l'ID en clé.

le programme se bloque a 5 millions de lignes lues donc je suppose 2 millions de clé dans mon %hash

une solution svp?? on m'a parlé d'une possibilité de passer ce %hash en fichier de maniere invisible pour sauvegarder la mémoire, comment faire?

Merci
17/01/2008, 21h32
Jedai

Comme pour le posteur précédent, un bout de code pourrait aider...
Sinon, tu peux utiliser l'un des modules DBM pour transformer silencieusement ton hash en petite base de donnée, et ainsi régler le problème de la mémoire.

--
Jedaï