Discussion :

[Supernul]

Bonjour à tous,

Je travaille actuellement sur une simulation à grande échelle et Python3 commence à montrer ses limites, notamment sur les parties itératives qui ne peuvent pas se vectoriser ou se paralléliser (étonnant non ?). Je travaille énormément avec numpy, scipy, scikit-learn, matplotlib, pysal, rasterio, pandas, gdal-python, fiona, ... Principalement des modules géospatiaux.

Je me pose aujourd'hui la question d'une approche à deux langages pour combler les faiblesses de Python3. J'ai pensé à :

• C++ : l'historique, utile si des parties intéressantes dans ce langage existent déjà ou nécessite d'être modifiées
• Julia : fait un peu tout, peut potentiellement remplacer aussi les parties en Python à long terme

Peut-être ai-je manqué un langage ? Ou avez-vous des expériences qui m'orienteraient plus facilement ?

Merci de votre point de vue.

[wiztricks]

Salut,

Python est un langage de scripting. Il permet de réaliser rapidement des applications ou de "programmer" au dessus/avec des bibliothèques efficaces écrites dans d'autres langages plus performants.

Si le soucis est de faire aller plus vite des parties "lentes" d'une application, d'abord on essaie de les identifier avec un "profiler", puis on réfléchit à l'algorithme, puis on remplace le morceau par du code compilé.

Problème quand on fait çà: l'interface entre l'existant et le code compilé (et éventuellement la compatibilité côté gestion mémoire).
C'est ce qui fait l'intérêt d'outils tels que Cython.

Après vous pouvez aussi envisager une architecture "micro-kernel": des composants enveloppés dans des process qui peuvent s'exécuter sur des systèmes différents et un bus de communication pour les relier.

- W

[Supernul]

Merci wiztricks.

La partie analyse avec un profileur est faite et le raisonnement algorithmique a été vérifiée par un collègue informaticien. Je vais déjà voir avec Cython quelles améliorations sont possibles avant d'aller voir vers le C++ sans doute.
Je travaille dans la partie recherche d'où un développement rapide en Python3 avant une industrialisation du simulateur.

Pour la partie "micro-kernel", je vais en discuter avec les collègues informaticiens (les vrais, je suis un amateur) qui s'y connaissent plus.