d) C'est fort probable. C'est une bonne partie le principe des BLAS : fournir des calculs d'algèbre linéaire optimisés. Parce que le pipeline aura été utilisé à fond, parce que les spécificités de ta machine auront été exploitées, ...
Et si tu veux faire des inversions matricielle, alors il ne faut surtout pas hésiter. Il est courant que la programmation naïve introduise des biais dans les calculs, en plus de ne pas toujours être très efficaces.
e) "toutes les minutes" ?
N'est pas plutôt à ton "orchestreur" de transférer le dernier état des lieux aux machines qui ont terminé leur traitement et qui sont prêtes à passer à la suite ?
Ou peut-être qu'en bourrinant comme des sauvages pour que chaque machine diffuse via UDP les résultats de ses calculs. Seuleument si il n'y a pas besoin de grosse synchronisation.
Tu as de quoi t'amuser.