Clustering de raspberry

Bonjour :)

J'ai un profil plutôt développeur, mais j'aimerai consacrer du temps sur la mise en place d'un cluster de raspberry. Le truc étant que je ne m'y connais pas beaucoup sur ces points-là.

Donc, j'ai plusieurs raspberry que j'aimerai connecter entre eux via un routeur. Est il possible de créer l'architecture suivante ?

=> Un de mes raspberry héberge une application web (php/apache), il fait office de maitre/ordonnanceur
=> Les autres raspberry font office d'esclaves. Ils ont juste pour but de recevoir des données à traiter, et renvoient les résultats au Maitre

Est il possible de déployer une application web sur un raspberry Maitre qui se charge de l'envoie des taches aux autres raspberry ?
Si oui, auriez vous de la doc à me conseiller à bouquiner afin que je puisse mieux comprendre comment attaquer le problème. Connaissez vous des exemples simples qui pourraient me permettre de tester si "l'architecture" fonctionne bien (je branche mes raspberry entres eux, je configure, comment je check si le maitre communique bien 'automatiquement' avec ces esclaves lorsque je solicite son appli web ?)

J'ai conscience que ma demande doit paraitre assez nébuleuse, j'ai taché d'être le plus clair possible.
Peut etre que ma demande est impossible/difficile à réaliser

En vous remerciant :)
Très cordialement,

Bonjour,

t'inquiète pas ta demande est claire, j'espère que j'ai tout compris ;-)

En fait, si tu restes dans le mode WEB, une solution simple consiste à rester dans le niveau application WEB ; cad mettre un Rasp (Maître ou Front End) en reverse proxy qui reçoit toutes les requêtes puis il les balances sur les Rasp Back end (ou esclave).

Tu peux trouver des conf sur le net pour Nginx ou apache2 par exemple :

pour apache

Code:

---

1 2 3 4 5 6 7

<Proxy "balancer://mycluster"> BalancerMember "http://192.168.1.50:80" BalancerMember "http://192.168.1.51:80" </Proxy> ProxyPass "/test" "balancer://mycluster" ProxyPassReverse "/test" "balancer://mycluster"

---

Si tu ne veux faire autre choses (plus évoluées), load balancing IP/TCP/HTTP regarde du côté linux Virtual Server, HA, HAProxy, etc.

Bonne suite

Merci pour ta réponse :)

Le truc, c'est que je souhaite concentrer toutes les applications dans le raspberry maitre, les esclaves sont juste là pour augmenter les ressources dispo dans le système (profiter du CPU et de la RAM)
Du coup, je ne suis pas sur que ça fonctionne avec ta solution.

Si il y a un raspberry front end / Maitre qui redistribue les requetes aux autres raspberry, cela signifie qu'il y aura une part applicative dans les esclaves ?
C'est à dire, si mettons, j'ai 3 applications web. Dans ton système, ça donenrai quelque chose comme :

1 Raspberry Maitre, puis :
-> raspberry esclave A (contient l'application 1)
-> raspberry esclave B (contient l'application 2)
-> raspberry esclave C
-> raspberry esclave D (contient l'application 3)

Alors que je recherche quelque chose comme ça (si c'est possible bien sur)
1 Raspberry Maitre (contient les application 1, 2 et 3), puis :
-> raspberry esclave A (ne contient aucune application, sert juste à partager sa RAM et son CPU)
-> raspberry esclave B (idem)
-> raspberry esclave C (idem)
-> raspberry esclave D (idem)

Bon, lorsque je parle de partage de CPU, je dis ça de manière très raccourcie bien sur :) (il ne s'agit pas d'une 'bête" addiction de CPU et de RAM dans un clustering)

Salut

Citation:

---

Envoyé par kegilko

Merci pour ta réponse :)

Le truc, c'est que je souhaite concentrer toutes les applications dans le raspberry maitre, les esclaves sont juste là pour augmenter les ressources dispo dans le système (profiter du CPU et de la RAM)
Du coup, je ne suis pas sur que ça fonctionne avec ta solution.

---

Ce n'est pas la même sauce ;-), et je ne suis pas sur que cela soit possible comme tu l'as définit,
Dans la théorie, le rasp maître doit être capable de découper en morceaux le calcul puis envoyer des informations aux rasp esclaves pour qu'ils fassent le calcul, il faut installer des agents capable de d'accepter ces messages, faire le traitement puis renvoyer le résultat au maître qui les ordonne, et les assemble.

Il faut voir du côté calcul parallèle/distribué (comme MPI regarde HPC pour le C/C++ java) mais pour faire du web ce n'est pas très utile, car le redimensionnement se fait avec des rajouts des serveurs/ressources, cache et co. c'est plus facile (Je dis ça sans être un spécialiste de HPC)

le fonctionnement que j'ai expliqué :
Un rasp maitre fait la redirection
RaspA à D : contiennent les applications 1,2 et 3 (tu peux mettre les trois ou celle que tu souhaites sur chacun, dépend de la config du maitre)

Voilà