Discussion :

[FadeToBlack]

Bonjour à tous,

Je suis en train de travailler sur un projet PySide6 pour certains utilisateurs de mon entreprise.
Le but de cette appli est de récupérer sur notre réseau des fichiers video, son et photo, d'en extraire les métadonnées voulues et de récupérer le résultat dans des fichiers séparés pour traitement ultérieur.

Le projet en tant que tel fonctionne très bien, mais il pèche au niveau de la phase "Lecture des métadonnées".
POur cela j'utilise PyMediaInfo et Pandas. Nous avons exclue ExifTool car il nécessite l'installation de Perl.

J'ai créé une classe qui récupère les métadatas voulues, puis boucle sur tous les fichiers d'un répertoire (parfois plusieurs milliers) et renvoie le résultat sous forme de fichier excel, avec une sauvegarde pandas/csv.

C'est à ce niveau là que l'application rencontre des lenteurs. Toute la logique se trouve dans une classe qui récupère les infos principales pour traitement.

JE me demandais si je pouvais convertir ce fichier/classe en Cython pour augmenter ma vitesse de lecture/écriture des métadonnées?
Peut-on convertir une classe python classique en Cython ou faut-il que je découpe ma classe ?

Et plus concrètement aurais-je vraiment des résultats nettement supérieurs avec Cython.

JE vous remercie pour votre aide.

Bonne journée

[FadeToBlack]

A titre d''information complémentaire, je voudrais préciser que j'utilise un QThreadPool dans ma classe.
Avec Exiftool, j'obtiens un traitement de 600 fichiers en 2mn. Avec PyMediaInfo, c'est 5 mn...

Une autre solution serait d'utiliser directement la bibliothèque native de mediaInfo qui est en C++, mais je ne sais pas comment elle peut être importée. Tant pour la version DLL que la librairie native en .so, il me semble

[papajoker]

bonjour

Et plus concrètement aurais-je vraiment des résultats nettement supérieurs avec Cython.

Difficile à dire, c'est à toi de profiler ton application pour trouver les goulots d'étranglements

parcourir les répertoires : cela ne va rien changer
lecture des datas : pymediainfo est déjà une lib compilée
Excel/pandas, je n'en parle pas

Si j'enlève ces points, peut-être que le code python de cette classe ne représente plus que 15% du temps ?

note: Cython c'est pour écrire une fonction (goulot d'étranglement), pas une classe aussi diverse.

mais je ne sais pas comment elle peut être importée

C'est justement ce que fait ta librairie pymediainfo (code source est disponible) il n'y a donc rien à gagner de ce coté

[fred1599]

Bonjour,

Cython, permet d'améliorer les boucles en pur python dans ton code, et dans divers autres cas, créer son wrapper d'une librairie C n'existant pas...

Ici, si l'utilisation de pandas et tes wrappers sont utilisés correctement, il n'y a pas lieu d'utiliser cython. Par exemple utiliser des boucles avec pandas n'est souvent pas une bonne idée...

Comme indiqué par @papajoker, détecter les goulots d'étranglement, les isoler et essayer de comprendre pourquoi c'est plus lent que ça ne devrait est un premier travail minimal.

[wiztricks]

Salut,

Une autre solution serait d'utiliser directement la bibliothèque native de mediaInfo qui est en C++, mais je ne sais pas comment elle peut être importée. Tant pour la version DLL que la librairie native en .so, il me semble

Récupérer les metadata, c'est lire quelques blocks de chaque fichier (donc non séquentiel).
Pour donner des ordres de grandeur, lire sur un disque SSD est 10 fois plus rapide que lire sur un disque HDD qui est 1000 fois plus lent que les accès mémoires.

Et pour aller plus vite, il faut savoir quel est le temps passé à attendre côté entrées sorties disques vs. temps de calcul.

note: si on sait découper le boulot en pipeline, on peut utiliser les threads (l'asynchronisme des...) pour aller globalement plus vite... mais ajouter des threads n'importe comment n'aura pas forcément l'effet escompté. En tout cas, ça se mesure et pour mesurer, il faut réaliser des jeux de tests et comparer avec une mouture asyncio car en plus du soucis de "design" on a le Global Interlock qui rend cela plus gourmand en CPU sans permettre d'en consommer plus.

- W

[tyrtamos]

Bonjour

D'accord avec les réponses précédentes: il faut commencer par optimiser le code python. De plus, il y a un aspect peu connu de Cython: le code compilé est très rapide, à condition qu'il ne travaille qu'avec les types de données connus en C. Si on le fait travailler avec des types de données spécifiques à Python (list, dict, etc...), on l'oblige à faire des appels à l'API python, ce qui peut le ralentir méchamment, et même le rendre plus lent que le code Python lui-même (ça m'est déjà arrivé). A voir selon les cas.

[FadeToBlack]

Bonjour à tous,

Après quelques vacances, je reprends le post. Je prends bonnes notes de vos remarques. Je vais revoir les choses et continuer sur des voies plus classiques.

Encore merci à vous