Discussion :

[maudJ]

Bonjour,
Dans le cadre d'un développement d'extension QGIS (Python 2.7, librairies PyQt4), j'ai besoin de lire plusieurs (essentiellement 2) énormes fichiers .txt (environ 140 Mo) pour les intégrer dans une base de données.
Voici le code utilisé:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
fichier = open(unicode(pathFichier), "r")
	for ligne in fichier:
		ligne = ligne.decode('utf8')
		chaines = ligne.split(";")
                """ puis traitement des différents éléments de chaines"""

Y aurait il une possibilité moins gourmande en temps? J'ai cru comprendre que Python mettait déjà le fichier en mémoire cache lorsque qu'il l'ouvre dans "fichier".
Comment optimiser la lecture pour un très gros fichier?

Merci.

[nekcorp]

Salut,

Bonjour,
Y aurait il une possibilité moins gourmande en temps?

Une première possibilité serait de mettre chaque ligne de ton fichier dans une liste ou dans un dictionnaire.
Pour choisir entre liste ou dictionnaire, faudrait savoir ce que tu traite comme données.
Ensuite tu parcours cette liste ou ce dico pour traiter tes chaines.

Comment optimiser la lecture pour un très gros fichier?
Je pense que cela dépend de tes données.

Dans des cas que j'ai traités avec des fichiers de plus centaines de milliers de lignes, je transférais tout mon fichier dans un tableau et ensuite je travaillais sur le tableau, alors qu'au départ je travaillais directement lignes par lignes depuis mon fichier, le temps c'est vue être diviser par 5.
Ensuite tout dépend également de la machine sur laquelle ton script va tourner, et si tu es en 32bits ou en 64bits.

[maudJ]

Merci pour cette info. Voici le traitement que je fais des données:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
	#traitement
	if nbCh>=5 and self.verifTableGen(chaines[1], chaines[2]):
			if nbCh == 5:
				chaines.append(0)	
			listDonnees.append((nbEnreg, chaines[1], chaines[2], chaines[3], chaines[4], chaines[5]))
                        nbEnreg += 1

en gros je récupère des données que j'insère dans une liste pour former les valeurs nécessaire à l'insert de sqlite.
verifTableGen vérifie que les premières données sont bien dans la base de donnée. Le fichier fourni a chaque ligne commençant par un ; c'est pourquoi je commence à 1 la lecture.
Je pense que l'utilisation d'une liste serait mieux vu ce que j'en fais ensuite, non?

[nekcorp]

Merci pour cette info. Voici le traitement que je fais des données:
Je pense que l'utilisation d'une liste serait mieux vu ce que j'en fais ensuite, non?

C'est à vous de faire le test et constater s'il y a une amélioration ou pas.

[patic]

Bonjour,

En principe, les ETL (logiciel couramment utilisé dans ce genre de tâches) ne mettent pas la totalité du fichier en mémoire. Ils travaillent par séquence (nombre de ligne), un peu comme du streaming, bout par bout. Par contre, cela n'est envisageable que si vous n'avez pas à faire de traitement bloquant sur vos données. Par exemple, si vous devez faire un tri ou une agrégation, obligatoirement vous devez récupérer la totalité des données.

Vous pourriez peut être envisager le traitement puis l'insertion des données à chaque ligne, en itérant notamment avec yield (générateur), cela résoudra vos problèmes de mémoire, un exemple ici : http://sametmax.com/comment-utiliser...urs-en-python/

Vous avez également deux articles sympathiques ici http://www.chicoree.fr/w/Lire_et_%C3...te_avec_Python et ici http://www.chicoree.fr/w/Fichiers_CSV_en_Python.

Avec sqlite, je ne sais pas, mais avec de vraies base de données, on peut faire des insertions en masse (bulk insert), par exemple pour sql server : https://msdn.microsoft.com/fr-fr/lib...=sql.120).aspx

[maudJ]

Bonjour,
Merci pour ces réponses. Vu ce que je fais des données en fait le plus efficace serait d'importer directement un fichier csv dans ma table sqlite.
Problème: je suis en Python 2.7 et toutes les aides concernant cette manip indique python 3. Serait-ce qu'il n'est pas possible de le faire en Python 2.7?

[wiztricks]

Salut,

Merci pour ces réponses. Vu ce que je fais des données en fait le plus efficace serait d'importer directement un fichier csv dans ma table sqlite.
Problème: je suis en Python 2.7 et toutes les aides concernant cette manip indique python 3. Serait-ce qu'il n'est pas possible de le faire en Python 2.7?

"importer directement un fichier csv dans ma table sqlite" se fait avec des commandes du shell sqlite (pas besoin de Python)... poster au moins une URL qui décrit ce dont vous parlez aiderait à comprendre ce que vous racontez.

- W