Discussion :

[cs_ntd]

Bonjour à tous,

J'utilise souvent mon pc pour des tâche assez lourdes (conversions de gros fichiers, compression, animation...), et cela durant de longs moments (1 semaine pour certaines animations par exemple )

Et donc je voudrait savoir si il existe une solution pour que plusieurs PC connectés entre eux puisse servir à la réalisation d'une même taches...
J'ai en effet chez moi 3 PC d'une puissance équivalente, et qui pourrait, si je peux les réunir, grandement diminuer les temps de calcul...

Je pense surtout à un soft... car il devrait être capable de fonctionner avec des applications diverses (blender, VLC...)...

Merci de me répondre si vous avez des idées

[Mac LAK]

Ce que tu cherches à faire s'appelle du clustering. A priori, si les logiciels ne sont pas prévus pour fonctionner ainsi, c'est tout simplement impossible à faire.

[cs_ntd]

Boarf je suis sur que ya moyen... ^^

nan mais bon je m'y connais pas assez donc je te fais confiance... tempis

Merci qd même

[Mac LAK]

Boarf je suis sur que ya moyen... ^^

Et comment, si le soft n'accepte pas de faire des calculs partiels, ni de recombiner les résultats ?

Il y a des logiciels autorisant ça, bien entendu, c'est même plutôt courant (3DS Max, pour ne citer que lui). Mais c'est bel et bien le soft lui-même qui sait le faire, tu ne peux pas distribuer un calcul "comme ça". Ce que tu demandes, c'est exactement comme si tu voulais utiliser deux PC "moyens" pour faire tourner un jeu hyper gourmand : ça ne marchera pas, parce que le jeu n'est pas conçu pour tourner sur plusieurs machines simultanément.

Regarde dans les docs de tes logiciels en question, s'ils acceptent le calcul distribué ou pas (cherche "distributed computing" ou "clustering" dans les docs). Si le logiciel sait le faire, alors ce sera possible. Sinon, ça ne le sera pas.

[cs_ntd]

Et comment, si le soft n'accepte pas de faire des calculs partiels, ni de recombiner les résultats ?

J'imaginais une appli (indépendante du logiciel utilisé au dépard pour faire les calculs) installé sur chaque machine devant travailler ensemble, dont une serait serveur.
L'appli "intercepterais" les demandes de calcul au processeurs, qui les enverrait sur l'appli serveur, qui se chargerais de répartir les calculs sur les autres machines.

Lesquels autres machines renverraient leurs résultats au serveur, qui se débrouillerais pour enregistrerles résultats dans un fichier...


Ok c'est peut-être fumeux mais... je m'y connais pas assez dans le domaine de la communication entre appli et processeur pour savoir si c'est faisable ou non.

En concéquences, comme tu en sais plus que moi je m'incline

Merci bcp

[Mac LAK]

J'imaginais une appli (indépendante du logiciel utilisé au dépard pour faire les calculs) installé sur chaque machine devant travailler ensemble, dont une serait serveur.

C'est exactement ce qu'il se passe avec des applications conçues pour ça : tu installes sur les machines "esclaves" une version réduite de ton programme (une option dans l'installation, souvent), et tu bosses sur ta machine "maître" normalement... Sauf que tu auras configuré l'appli pour qu'elle sache qu'elle a N machines à sa disposition pour les calculs.

L'appli "intercepterais" les demandes de calcul au processeurs, qui les enverrait sur l'appli serveur, qui se chargerais de répartir les calculs sur les autres machines.

Impossible : ce serait un hook au niveau CPU, et ce n'est pas possible de faire ça, tout simplement. Quelque chose travaillant aussi bas niveau ne pourrait tout simplement pas distinguer si c'est ton application qui s'exécute, ou l'OS, ou une autre appli... Et même dans ton application : ce pourrait être aussi bien le code rafraîchissant l'IHM que du calcul, ou même des demandes de lecture sur le disque !

Lesquels autres machines renverraient leurs résultats au serveur, qui se débrouillerais pour enregistrerles résultats dans un fichier...

Oui, c'est en effet le principe : les machines esclaves sont en attente, la machine maître prépare (plus ou moins) les données et leur envoie des bouts de calculs à faire (souvent appelés chunks). C'est en général fait par TCP/IP, avec un protocole plus ou moins spécifique à l'application par dessus.
En gros, c'est le même principe qu'un thread, sauf que contrairement à un thread qui a accès à la mémoire totale du processus, là il faut absolument copier (et envoyer) explicitement les données initiales, et récupérer (puis écrire/recombiner) les résultats. Bien entendu, cela n'est rentable QUE si le temps de transmission et de copie est négligeable par rapport au temps de calcul, sinon, tu perds des performances au lieu d'en gagner : il faut donc bien faire attention à la granularité des traitements.

Ok c'est peut-être fumeux mais... je m'y connais pas assez dans le domaine de la communication entre appli et processeur pour savoir si c'est faisable ou non.

Une application ne communique pas avec le processeur : c'est le CPU qui l'exécute, en plus de plein d'autres choses. De ce point de vue, le CPU est parfaitement neutre par rapport à ce qu'il exécute, la seule chose qu'il peut savoir, c'est le niveau de protection/exécution des données (en très grossier, il peut à peine distinguer si le code exécuté est en mode kernel ou en mode utilisateur...).

Mais regarde quand même attentivement les documentations des logiciels que tu utilises, ils offrent peut-être un tel mode de calcul. Blender et POV-Ray, au minimum, le permettent (même si c'est via des programmes externes), pour les autres il faudra fouiller la doc et/ou les sites dédiés.

[cs_ntd]

OK !

Je regrette pas d'avoir posé la question

Effectivement, c'est pas évident de dissocier les informations avec ma méthode

Dommage elle me plaisait bien (j'étais pas loin de la solution en plus !!!!! )

[Dernier truc promis ^^ : ya pas moyen de synchroniser couches bas-niveau et haut-niveau ? par exemple synchroniser mon hook CPU avec mon appli de calculs ?]

Sinon merci pour cette petite balade au coeur des processeurs, elle fut instructive

[Mac LAK]

Dommage elle me plaisait bien (j'étais pas loin de la solution en plus !!!!! )

Dans le principe, en effet. Dans la réalisation... Un peu moins !

[Dernier truc promis ^^ : ya pas moyen de synchroniser couches bas-niveau et haut-niveau ? par exemple synchroniser mon hook CPU avec mon appli de calculs ?

Non, parce qu'il n'est pas possible de hooker un CPU tel que tu l'as décrit. Au mieux, un CPU peut recevoir des interruptions, mais cette faculté est déjà utilisée par le système d'exploitation pour fonctionner. Il faudrait réécrire un scheduler complet pour envisager d'effectuer ceci de façon "automatique", avec 99% de chances de faire effondrer les perfs plutôt que d'en gagner, à cause des copies qui seraient faites en trop grande quantité.

Sinon merci pour cette petite balade au coeur des processeurs, elle fut instructive

De rien ! Bon épluchage de doc, en tout cas !