Problème mémoire readlines

Bien le bonjour braves gens,

Je travaille avec un fichier de 6 Go à parser. Comme je dois le parcourir plusieurs fois au cours de l'exécution du script et récupérer des lignes en amont ou en aval de ma regex, il était assez compliqué et rébarbatif d'ouvrir et fermer à chaque fois le fichier... Du coup, j'aimerais le mettre entièrement en mémoire ce qui me fera certes perdre du temps au début mais je serais gagnant à la fin !

J'utilise un bon f.readlines() mais là j'ai un joli crash d'allocation :

Code:

---

1 2 3

Python(92193) malloc: *** mmap(size=2097152) failed (error code=12) *** error: can't allocate region *** set a breakpoint in malloc_error_break to debug

---

Jusque là rien d'anormal vous me direz... sauf que je dispose de 32 Go de RAM et que j'ai en continu 20 Go de mémoire disponible !!!
Comment se fait-il que je ne puisses pas l'implémenter ? Est ce une sécurité au niveau de python pour limiter l'allocation ?...
Bref avez vous une idée de l'origine de ce crash ?

Merci pour votre aide,
Picui

Et t'as essayé un readline (sans le s) avec une boucle while?
histoire de voir si ca marche, et si non, a quel moment ca plante?

Code:

---

1 2 3 4 5 6 7

liste=[] while 1: line=f.readline() if line=='': break liste.append(line)

---

l

PS: Sympas les 32 Go de Ram... :mrgreen:

Ecoute je viens d'essayer le f.readline() mais j'ai toujours les mêmes problème et message d'erreur !

Pour info, il plante avant d'atteindre la moitié du fichier.
J'ai testé mon programme sur un cluster de calculs et là çà fonctionne nickel !

Une idée ?

Des idées...Oui j'en ai
Est-ce qu'elle sont bonne, la c'est une autre question :(

Je me dit que ca peut venir du faire qu'une liste est peut être limité en terme de nombre d'élément

Je viens de trouver ca sur le net:

Citation:

---

According to the source code, the maximum size of a list is PY_SSIZE_T_MAX/sizeof(PyObject*).

PY_SSIZE_T_MAX is defined in pyport.h to be ((size_t) -1)>>1

On a regular 32bit system, this is (4294967295 / 2) / 4 or 536870912.

Therefore the maximum size of a python list on a 32 bit system is 536,870,912 elements.

As long as the number of elements you have is equal or below this, all list functions should operate correctly.

---

Vu que tu travail avec des fichiers d'une taille assez conséquente, il faut voir combien d'élément tu as dans la dite liste...

fais le afficher le numéro de la ligne pour savoir si c'est lié à ca

Salut,
Questions bêtes...

Citation:

---

malloc: *** mmap(size=2097152)

---

Sous quel environnement/OS?
Est ce une version Python 64bits?
- W

Je suis sous Mac OS X 10.6 et python 2.6.6
Il s'avère que j'ai une version 2.6.1 en 64 bits.
Je l'avais mis à jour avec la version 2.6.6 mais apparemment il est installé en 64 bits.

Y a t'il moyen de passer en 64 bits au niveau de ma version 2.6.6 ou il vaut mieux que j'utilise ma version 2.6.1 ??? Sachant que j'ai installé biopython après ma la mise à jour en 2.6.6 !

Merci pour votre aide
Picui

J'ai finalement supprimé ma version 2.6.6 et installé la version 2.7.1 qui supporte les OS en 32 et 64 bits.

Et depuis mon f.readlines() ne plante plus !

Merci à vous deux pour votre aide

Picui