limite taille variable ?

Version imprimable

Bonjour,

J'essaye d'ouvrir un fichier en python et j'ai une erreur du type :

IOError: [errno 12] Not enough space

Mon fichier fait plus de 100Mo.

J'ai fait un test avec un fichier txt tout simple et ça marche.
Code:

1 2 3 4 5 6 7 8 9 import os mon_fichier = open("D:/CDR SBC/test/detail-20110503_10", "r") #mon_fichier = open("D:/CDR SBC/code/fichier.txt", "r") contenu = mon_fichier.read() print(contenu) mon_fichier.close() os.system("pause")
Vous pensez que le fichier est trop gros ? Sachant que je vais devoir en ouvrir plusieurs, et certains seront plus dodu que celui-la.

merci d'avance

31/05/2011, 10h58
kango

salut,

sur windows en 32 bit (os + Python), je crois que la limitation mémoire est de 1.6-1.8 Go pour un process Python.

dans ton exemple tu charges tout le fichier en mémoire, il va peut être falloir traiter le fichier ligne à ligne (ou bloc par bloc) si tu as des fichiers de plusieurs centaines de Mo
31/05/2011, 11h25
shonan

Salut Kango,

Merci pour ta réponse rapide.
Comment tu fais pour lire le fichier ligne par ligne ou bloc par bloc ?
Je débute en python et j'essaye de traduire un script que j'avais fait en php pour parser des données.
L'objectif est de parser les données (avec des regex), récupérer les lignes qui m'intéresse et les stocker dans une base de données.

En php j'ouvrais le fichier dans une var et je travaillais directement dessus avant de passer au fichier suivant.

1.8Go ça devrait être largement suffisant en théorie pour un fichier..

comme ça:

Code:

1
2
for line in open('toto.txt', 'r'):
   print line

31/05/2011, 14h06
shonan

et bloc par bloc ?

merci encore
31/05/2011, 14h35
N.tox

Si par bloc tu entends un ensemble de lignes, if faudra le reconstituer à partir des lignes récupérées au fur et à mesure, définir quand un bloc s'ouvre, et quand il se ferme. Ce qui implique que le début et la fin d'un bloc possède chacun un signe distinctif.
31/05/2011, 16h48
shonan
Oui j'ai un début et une fin. Et en plus je sais que j'ai 138 lignes par bloc.
J'ai essayé :
Code:

1 2 3 4 5 6 7 fs = open("D:/CDR SBC/test/detail-20110503_10", "r") while 1: txt = fs.readline(138) if txt =="": break print(txt) fs.close()
Mais ça bloque. Une idée pour ouvrir et faire des regex sur chaque bloc de données ?

Code:

1
2
3
4
5
6
7
8
9
10
BLOC = BLOC_DATA = ''
for line in open(monFichier):
    if not BLOC and re.match(line, debut_bloc_pattern):
        BLOC=True
        BLOC_DATA=line
    elif BLOC and re.match(line, fin_bloc_pattern):
        BLOC=False
        BLOC_DATA += line
    elif BLOC:
        BLOC_DATA += line

Code:

1
2
3
4
5
6
7
8
9
10
11
BLOC = BLOC_DATA = ''
for line in open(monFichier):
    if not BLOC and re.match(line, debut_bloc_pattern):
        BLOC=1
        BLOC_DATA=line
    elif BLOC >= 128:
        BLOC=0
        BLOC_DATA += line
    elif BLOC:
        BLOC_DATA += line
        BLOC += 1