Discussion :

[syrius31]

Bonjour,

Je suis en présence d'une application qui charge plus de 600 fichiers en mémoire et qui plante avant la fin avec un 'MemoryError'.
Il semblerait que l'objet dans lequel est chargé toutes les données (par l'intermédiaire de dictionnaires) prend trop de place.
Le chargement plante après une utilisation de RAM à hauteur de 1,8Go environ et ce, sur n'importe quelle machine.

J'en déduis donc que la mémoire vive allouée à Pyhton est dépassée lors du chargement de tous ces fichiers.

La question arrive donc : comment faire, depuis le code, pour augmenter la mémoire vive allouée à Python? (il parait que c'est possible en rajoutant une ligne comme en Java mais je ne sais pas laquelle).

Merci d'avance car c'est un problème majeur!!!

Bonne journée à vous

[kango]

bonjour,

tu es sur un os 32 ou 64 bits ?
tu es sur Windows ou Linux ?
tu es sur un Python 32 ou 64 bits ?
tu as combien de ram sur la machine (au total) ?

[syrius31]

Merci de ta réponse rapide!

OS 32
Windows
Python 32
3.25Gb de RAM

Mais si je teste le programme sous un autre PC plus puissant (10Gb RAM), le résultat est le même : après utilisation de 1.8Gb de RAM environ, ça plante

[kango]

je pense que tu as atteint la limite de l'os (le max de Ram allouable pour un processus unique).

il me semble que cette limite est de 2Go sur Windows 32bits.

sur ton PC avec 10Go de Ram si tu es aussi sous Windows 32bits (ce qui serait une hérésie ) avec python 32 bits c'est normal que ça change rien.

[wiztricks]

Salut,

Je suis d'accord avec kango, par défaut, l'espace d'adressage des process sous windows 32bit est 2GB.

Cependant, il est possible de booster la chose jusqu'à 3GB (google windows 3GB) et de mettre jusqu'à 32GB via le mode PAE (windows server only sans doute).

Comment c'est possible?
Il y a d'un côté les adresses virtuelles dont l'espace est limité par les 32 bits des registres correspondants. Puis les adresses physiques qui sont elles gouvernées par la taille du bus physique. Les deux ne sont pas "alignés" et d'ailleurs la plupart des processeurs 64 bits ne savent pas adresser la mémoire physique correspondante: pleins de pins sur le chip et pas grand monde peut s'offrir les TB de mémoire.

Mais ce qui me turlupine le plus, c'est le design qui charge 600 fichiers en mémoire est-on vraiment obligé de...
- W

[kango]

intéressant, merci Wiztricks.

j'ai googlé car cela peut potentiellement m’intéresser (pour Windows XP 32 bits):

http://dwf.blogs.com/beyond_the_pape...ows-vista.html

[rambc]

Bonjour.

Mais ce qui me turlupine le plus, c'est le design qui charge 600 fichiers en mémoire est-on vraiment obligé de...

+1

A titre d'exemple, j'ai un projet pour taper des textes via un langage perso. qui gère les fichiers à mettre en forme ligne par ligne et non tout en bloc en stockant les infos dans un fichier via pickle, ceci pour être réutilisé plus tard par d'autres classes.