Bien le bonjour braves gens,
Je travaille avec un fichier de 6 Go à parser. Comme je dois le parcourir plusieurs fois au cours de l'exécution du script et récupérer des lignes en amont ou en aval de ma regex, il était assez compliqué et rébarbatif d'ouvrir et fermer à chaque fois le fichier... Du coup, j'aimerais le mettre entièrement en mémoire ce qui me fera certes perdre du temps au début mais je serais gagnant à la fin !
J'utilise un bon f.readlines() mais là j'ai un joli crash d'allocation :
Jusque là rien d'anormal vous me direz... sauf que je dispose de 32 Go de RAM et que j'ai en continu 20 Go de mémoire disponible !!!
Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3 Python(92193) malloc: *** mmap(size=2097152) failed (error code=12) *** error: can't allocate region *** set a breakpoint in malloc_error_break to debug
Comment se fait-il que je ne puisses pas l'implémenter ? Est ce une sécurité au niveau de python pour limiter l'allocation ?...
Bref avez vous une idée de l'origine de ce crash ?
Merci pour votre aide,
Picui
Partager