Bonjour,
Je développe actuellement mon projet en python 2.7, sur une tour avec près de 100 Go de Ram et 12 coeurs.
Une des étapes de mon calcul est une multiplication d'array de très grosse taille (512*512*512*512).
Jusqu'à maintenant, pour des tailles inférieures à celle annoncée au dessus, cela fonctionnait convenablement.
Pour accélérer les choses, j'ai essayé différentes options de multi processing, comme "pool.async" de la bilbiothèque "multiprocessing", ou encore "joblib".
Je me suis à chaque fois heurté à un problème, la taille de mes matrices qui dépassent les limites 32 bits de ces deux solutions énoncées juste au dessus.
Effectivement, je souhaiterai avoir un résultat avec des matrices de 1024.
Je n'aspire pas à devenir un grand programmeur en python, et n'ai pas particulièrement d’appétence pour trouver des solutions qui demandent de se lancer profondément dans les codes de Python et de ses bibliothèques.
Ma question est donc la suivante : Quelles sont les solutions les plus "user friendly" disponibles pour effectuer des calculs de grosses matrices en 64 bits ?
Je connais notamment cette page web : https://wiki.python.org/moin/ParallelProcessing ; mais j'ai beaucoup de mal à faire le tri.
Merci !
Partager