Discussion :

[pip1000]

Bonjour,

Quelles librairie me conseillerez vous pour executer des calculs/taches distribuées en Java sur un cluster de machine de facon simple et efficace et avec des données assés consequentes.
Facile à mettre en place pour des petits cluster (2,3 machines) et packagable dans une application standalone facilement (java -jar blabla).
Ce n'est pas pour du web, du reseau local et des appli simple mais avec de gros calculs sur des grosses données.

On oubli docker/kubernetes etc du coup.

Apache Spark à l'air pas mal je vais me pencher dessus pour etre sur que ca correspond à mon besoin mais si vous connaissez des alternatives je suis preneur.

Merci d'avance.

[bouye]

Pour un calcul distribué très simple (c-a-d un même programme que tu vas envoyer sur plein de machines d’exécution mais avec des paramètres différents a chaque fois) HTCondor fait très bien le boulot.

Après sinon pour un programme unique qui est lui-même distribuée pour traiter un lot de données de manière parallèle, Apache Spark semble être une bonne solution.