Discussion :

[SuperSeb95]

Bonjour à tous,

voila je suis confronté à un problème, dans mon code j'utilise un malloc qui me sert à mettre tous les octets d'un fichier pour passer le pointeur à une fonction.
Le problème est que certain des fichiers peuvent atteindre plusieurs mégas, et là, le malloc me retourne un pointeur null.
Alors ma question est, comment remplacer le malloc pour avoir un pointeur sur une zone mémoire de grande taille.
Où il y a-t-il une option à mettre dans le makefile ? (pour info je suis sous Linux)

Merci

[SuperSeb95]

oups, j'ai dit méga, je voulais dire giga. Désolé

[phi1981]

Par définition, si ton application est dite "32 bits", tu ne peux accéder au plus qu'à 4 giga octets d'adresses (on parle même pas de mémoire à ce stade).
Le système se réserve 2 gigas d'adresses environ pour des pages partagées, les deux gigas restants pouvant être utilisés par malloc.

Si tu excedes 2 gigas en un seul appel à malloc, la solution la plus simple AMHA consiste à compiler ton programme en 64 bits.

Notes sur la gestion mémoire :
malloc ne fait qu'allouer des adresses, pas de l'espace. L'allocation de l'espace se fait lorsque tu lis ou écrit à une adresse pour la première fois. De fait, tu es tout à fait autorisé à allouer 1 Go de mémoire même si ta machine ne possède que 128 Mo. La mémoire swap peut aider à combler le manque.

[Neckara]

Si ton fichier fait plusieurs Giga, il est presque impossible de faire un malloc pour allouer en mémoire vive un espace mémoire qui pourrait contenir entièrement ton fichier.

malloc alloue un seul bloc en mémoire, c'est à dire qu'il faudrait que ton malloc trouve, en mémoire, un espace de plusieurs giga inoccupé.


EDIT : je ne suis pas sûr que la mémoire swap puisse vraiment combler pour des tailles aussi grande.

Sinon je que veux-tu faire exactement? Je pense que ton problème est surtout un problème de conception.

[SuperSeb95]

Merci pour vos réponses, vous confirmez ce que je pensais. Maintenant comment faire pour passer un pointeur ?

[phi1981]

En passant, si ton but est simplement de charger un fichier énorme, tu peux utiliser mmap().
Cette fonction mappe le contenu d'un fichier en mémoire, exactement comme s'il avait été chargé. En réalité ce n'est qu'une illusion, le système charge le contenu du fichier par pages au fur et à mesure que tu accèdes aux octets qui le composent.
L'avantage énorme est la vitesse : charger ton fichier ne prend concrètement pas beaucoup plus de temps qu'un bête appel à malloc. Et l'algo de chargement des pages est beaucoup plus optimisé que celui que le commun des mortels pourrait coder.
L'autre avantage est la simplicité : tu obtiens un pointeur sur le contenu de ton fichier.

[phi1981]

EDIT : je ne suis pas sûr que la mémoire swap puisse vraiment combler pour des tailles aussi grande.

Non en effet, en 32 bits la mémoire swap ne peut certainement pas aider ton processus à accéder à plus que 2 gigas dans un seul bloc contigü, par définition.

[matafan]

Non en effet, en 32 bits la mémoire swap ne peut certainement pas aider ton processus à accéder à plus que 2 gigas dans un seul bloc contigü, par définition.

C'est faux. Il est tout à fait possible d'allouer plus de 2 GB dans un processus 32 bits, et il est tout à fait possible qu'à un moment où à un autre tout ou partie de cette mémoire soit sur le swap.

[phi1981]

C'est faux. Il est tout à fait possible d'allouer plus de 2 GB dans un processus 32 bits, et il est tout à fait possible qu'à un moment où à un autre tout ou partie de cette mémoire soit sur le swap.

Au temps pour moi, je voulais dire 4 GB. Cependant, même 2 GB ça me parait énorme POUR UNE SEULE ALLOCATION, à cause de la division "adresses systèmes" / "adresses utilisateurs", mais je ne sais pas où elle est située.

[Bktero]

http://www.developpez.net/forums/d12...-tableau-char/