Discussion :

[pmacaro]

Bonjour à tous,

J'espère que vous pourrez m'aider, je viens de passer tout mon temps depuis le début de cette journée à essayer de trouver une solution sur le net, mais rien, alors je fais appel à vos compétences.

J'ai un programme qui doit charger une grosse quantité de données en mémoire (je ne connais pas la taille exacte).
Avant toute chose, une petite description du contexte : je suis sur un serveur avec 2 Go de RAM, 4 disques montés en RAID 5, plus un disque système. La partition de swap est sur l'unité RAID et fait un peu plus de 9Go (ce n'est pas moi qui ai installé ce serveur, et je pense que c'est un peu surdimensionné, mais bon... je fais avec). La version du noyau est 2.6.9, sous Mandrake.

Lorsque je lance mon programme, la mémoire vive est peu à peu remplie, puis à partir de 1,5Go, le swap est de plus en plus utilisé, normal. Lorsque la somme de mémoire demandée par mon programme atteint environ 2,5Go, l'allocation mémoire est refusée, la mémoire vive est utilisée à 80%, et le swap seulement à 10% !
D'où ma question : y a-t-il quelque chose à faire premièrement pour utiliser à fond la mémoire vive, et surtout, deuxièmement, pour utiliser l'énorme espace de swap encore disponible ??
Je n'ai pas besoin de performances dans ce cas, ce qui m'intéresse, c'est que mon programme passe, peu importe que cela prenne des jours...
J'espère vraiment que vous pourrez m'aider...
Merci en tous cas à ceux qui m'auront lu entièrement

[gorgonite]

n'y aurait-il pas une taille maximale de mémoire allouée par processus ?

32 bits => 4 Go

[pmacaro]

Peut-être (je dirais même surement, ça me dis quelque chose), mais là, je ne dépasse pas les 2,5Go...
Et j'ai oublié de préciser que l'allocation qui plante ne demande "que" 400Mo, il reste donc de quoi faire...

[joellel]

Attention! La taille maximale d'un processus (code + données + pile + environnement) sous Linux est de 3Go, tu n'en es pas si loin...
Vérifies bien que tu ne les atteins pas...

[pmacaro]

Attention! La taille maximale d'un processus (code + données + pile + environnement) sous Linux est de 3Go, tu n'en es pas si loin...
Vérifies bien que tu ne les atteins pas...

Merci !! Effectivement, dans le doute, hier, j'ai fait un petit programme de test qui allouait une certaine quantité de données, et je me suis rendu compte que la limite était aux alentours de 3Go... 2,5Go+ les 400Mo demandés et quelques Mo pour le reste, on est bien dans la limite Ce qui confirme mes observations...
Merci quand même pour la réponse, parce que n'ayant pas trouvé cette information sur le net, j'étais persuadé que cette limitation était dûe à une mauvaise configuration de mon système. Maintenant au moins, je sais que c'est "normal".
Mais alors, je me pose une question évidente : y a-t-il un moyen d'augmenter cette limite ? Je ne parle pas de moyens détournés, comme utiliser des fichiers pour stockage temporaire, ou même aller jusqu'à la création de plusieurs processus, j'aimerais simplement savoir si c'est possible, et bien sûr, si oui, comment ?
Merci d'avance !

[joellel]

A part modifier les sources du noyau je ne vois pas...
Toute plaisanterie mise à part, ne peux tu pas optimiser ton programme en libérant un maximum de mémoire au fur et à mesure?