Questions générales : performance lecture fichier et excel en python

Bonjour,


J'aimerais reproduire le comportement d'Excel sous Python sous la forme d'une IHM. En gros reproduire un onglet, les cellules et permettre de faire des opérations comme sous Excel. L'idée serait de ne plus dépendre de la version d'Excel utilisée.
Savez-vous si ce genre de chose existe déjà en opensource ?

De plus, je rencontre un problème de performance lorsque je lis des fichiers qui sont assez lourd pour mettre en forme ou faire des recherches (plusieurs centaines de mo). Ce que je fais :
- readlines()
- boucle sur les lignes pour mettre en forme

Or quand il y a plusieurs millions de lignes ça prend une éternité. Existe-t-il une méthode pour aller plus vite ? Passer par du fortran serait plus efficace ?

Merci pour votre aide !

Salut,

Application multidocuments, tableur, architecture Modèle Vue Contrôleur ... PyQt est fait pour toi.

Les ressources ne manquent pas, sur ce site d'abord (en français) et quelques ouvrages spécialisés (en anglais généralement).


Pour ta lecture de fichier, qui est une toute autre question, sache que readlines() te retourne une liste de la totalité des lignes de texte du fichier. Pas s'étonner que ça déborde parfois. Utilise readline comme itérateur à la place.

Citation:

---

Envoyé par coolpix77

J'aimerais reproduire le comportement d'Excel sous Python sous la forme d'une IHM. En gros reproduire un onglet, les cellules et permettre de faire des opérations comme sous Excel. L'idée serait de ne plus dépendre de la version d'Excel utilisée.
Savez-vous si ce genre de chose existe déjà en opensource ?

---

Bonjour,
Quelque chose comme Calc de LibreOffice?
Je pense que la tâche est vraiment ardue. Mais alors vraiment!!
(Quelques centaines de codeurs assidus avec une hiérarchie très bien structurée…)

Clodion

@VinsS :

Aurais-tu des exemples de documentation ? Je connais PyQt mais je ne vois pas quel module pourrait m'aider dans ce que je veux faire.

Sinon concernant readlines(). Que je lise les lignes une par une avec readline ou que je lise tout d'un coup et que je boucle ça revient au même non ? J'aurais toujours mon problème de performance

@Clodion : Oép ça m'a l'air un peu hors portée eheh ! Je cherche plus une IHM de type tableur développée sous Python avec des fonctions avancées type Excel (filtre, c/c, etc...)

Citation:

---

Envoyé par coolpix77

...
Je connais PyQt mais je ne vois pas quel module pourrait m'aider ...

---

Ça me paraît contradictoire. Tu as des ressources entre autre ici:

http://pyqt.developpez.com/tutoriels/

Ce livre très complet:

http://pyqt.developpez.com/livres/in...is#L0132354187

Moi personnellement, je cherche l'inspiration avec ce moteur de recherche:

http://nullege.com/

-------------------------------------------------------------------------------------------------------------------------------


for line in inf.readlines() et inf.readline() ne sont pas la même chose. Du tout.

Exemples d'utilisation de readline():

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

# -*- encoding: utf-8 -*-   # Première méthode:   def file_iterator(path): with open(path, "r", encoding='utf-8') as inf: for line in inf: yield line   fi = file_iterator('mongrosfichier') while 1: try: print(next(fi)) except StopIteration: break   # Deuxième méthode:   inf = open('mongrosfichier', "r", encoding='utf-8') src = inf.readline   while 1: l = src() if not l: break print(l)   inf.close()

---

J'ai pas dis que c'était la même chose mais que les méthodes étaient équivalentes en terme de performance.
Après je peux me tromper !

Sinon j'ai trouvé ça : http://manns.github.io/pyspread/index.html
ça a l'air de répondre à mon besoin