Discussion :

[shonan]

Bonjour,

J'essaye d'ouvrir un fichier en python et j'ai une erreur du type :

IOError: [errno 12] Not enough space

Mon fichier fait plus de 100Mo.

J'ai fait un test avec un fichier txt tout simple et ça marche.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
import os
 
mon_fichier = open("D:/CDR SBC/test/detail-20110503_10", "r")
#mon_fichier = open("D:/CDR SBC/code/fichier.txt", "r")
contenu = mon_fichier.read()
print(contenu)
mon_fichier.close()
 
os.system("pause")

Vous pensez que le fichier est trop gros ? Sachant que je vais devoir en ouvrir plusieurs, et certains seront plus dodu que celui-la.

merci d'avance

[kango]

salut,

sur windows en 32 bit (os + Python), je crois que la limitation mémoire est de 1.6-1.8 Go pour un process Python.

dans ton exemple tu charges tout le fichier en mémoire, il va peut être falloir traiter le fichier ligne à ligne (ou bloc par bloc) si tu as des fichiers de plusieurs centaines de Mo

[shonan]

Salut Kango,

Merci pour ta réponse rapide.
Comment tu fais pour lire le fichier ligne par ligne ou bloc par bloc ?
Je débute en python et j'essaye de traduire un script que j'avais fait en php pour parser des données.
L'objectif est de parser les données (avec des regex), récupérer les lignes qui m'intéresse et les stocker dans une base de données.

En php j'ouvrais le fichier dans une var et je travaillais directement dessus avant de passer au fichier suivant.

1.8Go ça devrait être largement suffisant en théorie pour un fichier..

[kango]

comme ça:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
for line in open('toto.txt', 'r'):
   print line

[shonan]

et bloc par bloc ?

merci encore

[N.tox]

Si par bloc tu entends un ensemble de lignes, if faudra le reconstituer à partir des lignes récupérées au fur et à mesure, définir quand un bloc s'ouvre, et quand il se ferme. Ce qui implique que le début et la fin d'un bloc possède chacun un signe distinctif.

[shonan]

Oui j'ai un début et une fin. Et en plus je sais que j'ai 138 lignes par bloc.
J'ai essayé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
fs = open("D:/CDR SBC/test/detail-20110503_10", "r")
while 1:
        txt = fs.readline(138)
        if txt =="":
            break
	print(txt)	
fs.close()

Mais ça bloque. Une idée pour ouvrir et faire des regex sur chaque bloc de données ?

[N.tox]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
BLOC = BLOC_DATA = ''
for line in open(monFichier):
    if not BLOC and re.match(line, debut_bloc_pattern):
        BLOC=True
        BLOC_DATA=line
    elif BLOC and re.match(line, fin_bloc_pattern):
        BLOC=False
        BLOC_DATA += line
    elif BLOC:
        BLOC_DATA += line

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
BLOC = BLOC_DATA = ''
for line in open(monFichier):
    if not BLOC and re.match(line, debut_bloc_pattern):
        BLOC=1
        BLOC_DATA=line
    elif BLOC >= 128:
        BLOC=0
        BLOC_DATA += line
    elif BLOC:
        BLOC_DATA += line
        BLOC += 1