Discussion :

[Heathcliff_1]

Bonjour,

Je travaille sur un application desktop avec Python3. Cette application permettra à l'utilisateur d'afficher des données dispersées sur plusieurs fichiers Excel.
J'avais déjà effectué une tache similaire avec Openpyxl et tout marche bien. Le problème c'est que cette fois ci je manipule des gros fichiers Excel (plus de 9Mo) et en utilisant openpyxl, l'application met beaucoup de temps avant de se lancer, ce qui n'est pas très pratique aux yeux de l'utilisateurs.

C'est pour cela, j'ai pensé à faire le taravail en convertissant mes fichiers d'abord en .xlsb et ensuite les manipuler via pyxlsb.
Le problème c'est que je n'arrive pas à lire les colonnes avec pyxlsb et d'où l'objet de ce post.

Avez-vous une idée comment contourner ce problème svp ?

Cdt;

[Heathcliff_1]

Avant de penser à pyxlsb, j'ai tenté de manipulé les fichiers avec openpyxl en mode lecture seule, comme ça les fichiers sont ouverts rapidement. Malheureusement, j'obtiens cette erreur: 'ReadOnlyWorksheet' object has no attribute 'iter_cols'

Donc s'il y a des idées pour contourner l'un de ces problèmes au encore d'autres propositions, je suis preneur.

Merci d'avance.

[charliemtx]

Bonjour,

Avez-vous tenté le module pandas et sa méthode read_excel() ?

[Heathcliff_1]

Oui je l'ai essayé, mais c'est lent.

[charliemtx]

Est-ce que la lenteur est un problème parce que
- vous chargez beaucoup de nouveaux fichier ?
- vous chargez plusieurs fois le même fichier ?

Dans le deuxième cas, je vous invite à essayer de sauvegarder la data au format pickle (avec le module pickle) ; il me semble que la lecture d'un pickle est plus rapide qu'un csv. Voici comment j'aurais fait :
1) lire le fichier .csv (df = pd.read_csv())
2) enregistrer la variable (open + pickle.dump())
3) (optionnel, pour la mémoire) effacer le fichier .csv si seules la data vous intéresse

[Heathcliff_1]

Pour le moment j'essaie de charger uniquement le premier fichier qui pèse 9Mo, J'ai encore 2 fichiers d'environs 2Mo chacun.

Quand l'utilisateur lance l'application, celle ci va se connecter à des fichiers sur le réseau pour les charger une fois pour toute jusqu'à sa fermeture. Ces fichiers sont mis à jours chaque jour, et le but c'est que l'utilisateur ait la dernière mise à jour des données. Donc les fichiers changent pour répondre à ta question.

[wiztricks]

Salut,

Avez-vous une idée comment contourner ce problème svp ?

Vous avez 2 sortes de solutions: changez le format du fichier (et utilisez autre chose qu'OpenpyXL pour le lire), arriver à faire fonctionner le mode readonly d'openpyxl.

Après la solution non technique généralement employée est d'afficher une barre de progression (histoire que l'utilisateur patiente) pendant que le chargement se fait dans un thread séparé.
Suivant ce qu'on fait des données lues on peut commencer le traitement avec ce qui a été lu (par exemple, afficher les premières lignes lues et paginer pendant que la lecture continue en background).

- W

[Heathcliff_1]

Vous avez 2 sortes de solutions: changez le format du fichier (et utilisez autre chose qu'OpenpyXL pour le lire), arriver à faire fonctionner le mode readonly d'openpyxl.

J'ai déjà changé l'extension en .xlsb et j'essaie de manipuler avec pyxlsb mais je suis bloqué pour le moment.
Après pour la deuxième proposition, je la vois pas très pratique dans mon cas vu le contexte du travail.

En tout cas merci