Parallel toolbox : données communes

Bonjour,

J'ai un gros tableau de cellules (dans les 150000 cellules) et dans chaque cellules des données.

une opération élémentaire sur une cellule nécessite la lecture d'un grand nombre de cellules. Seule la cellule sur laquelle on travaille est modifiée.

Je n'arrive pas à décrire ce travail à la parrallel toolbox car elle ne reconnait pas cette logique dans mon code. Elle la confond avec un scénario problématiqaue où tout le monde lit et écrit n'importe où.

Pour l'instant, je duplique toutes les données pour chaque worker et je consolide les résultats après. Cmment faire mieux ? Dans la doc ils parlent bien de données partagées mais je ne comprend rien à ce charabia.

Bonjour,

Si les taches accèdent en lecture à tous les éléments, même si l'écriture se fait à des endroits disjoints, c'est problématique. En effet, le résultat dépend de l'ordre d’exécution :

si la tâche A lit l'emplacement ou écrit la tache B, le résultat sera différent selon que A y accède avant ou après que B le modifie.

Matlab a donc raison de te prévenir que ton cas n'est pas adaptée à du threading non synchronisé.

Citation:

---

Envoyé par ol9245

une opération élémentaire sur une cellule nécessite la lecture d'un grand nombre de cellules. Seule la cellule sur laquelle on travaille est modifiée.

---

Ne voulais-tu pas plutôt écrire ceci :

Citation:

---

une opération élémentaire sur une cellule nécessite la lecture d'un grand nombre d'éléments. Seule la cellule sur laquelle on travaille est modifiée.

---

?

Citation:

---

Envoyé par VV33D

Bonjour,

Si les taches accèdent en lecture à tous les éléments, même si l'écriture se fait à des endroits disjoints, c'est problématique. En effet, le résultat dépend de l'ordre d’exécution :

si la tâche A lit l'emplacement ou écrit la tache B, le résultat sera différent selon que A y accède avant ou après que B le modifie.

Matlab a donc raison de te prévenir que ton cas n'est pas adaptée à du threading non synchronisé.

---

ouep ouep. Si tu le dis comme ça...
disons que je ne suis pas préoccupé par le caractère imprédicitible de la solution mais en effet il y a un pb de synchronisation qui m'avait échappé.

Je n'ai pas tou lu dans la doc de la toolbox mais je crois bien qu'il n'y a pas les outils de synchronisation appropriés n'est-ce pas ?

Je ne sais, j'espère quand même qu'ils ont prévus un système de locks

Mais quand bien même, s'il faut locker tout le monde et laisser tourner une seule tache à la fois, tu ferais mieux de tout faire séquentiellement sans threading.

J'imagine toutefois plusieurs pistes:
* On passe aux taches un tableau en écriture et un tableau en lecture seule. Ainsi les calculs seront fait comme si aucun thread ne voyait les autres modifier les données en lecture. Mais dupliquer des données volumineuses n'est pas forcément idéal
* Si on sait de quels éléments a besoin chaque tache, et bien on lui passe en lecture seule ces éléments uniquement.

* On passe les données en lecture seule. Au lieu de faire leur modifications, les threads renvoient une fonction à appliquer (que ce soi un handle ou une liste de couple (élément à modifier,new_valeur). On fait les modifications une fois que tout le monde a fini.

Explique nous quand même en quoi une procédure non reproductible est intéressante ? Obtenir une seule des configurations de sortie te satisfait ? Ne vaut il pas mieux paramétrer l'ordre des calculs pour pouvoir les reproduire ?

Justement, j'ai pas vu de portes de synchronisation dans la toolbox (que je connais très peu).

Pourquoi l'inprévisibilité des résultats ne me préoccupe pas ?
car la fonction fait partie d'un groupe de tâches qui doit s'appeler sur ses propres résultats jusqu'à converger. qu'une cellule soit calculée à parir des données éléborées à l'étape n-1 ou à l'étape n n'a donc pas d'importance. Par contre, comme tu as justement mis le doigt dessus, il faudrait locker la cellule au moment de son écriture pour pas qu'un autre thread charge une chimère du nouveau tableau et de l'ancien.

Si je pouvais créer une porte par cellule dans le tableau, ce serait joué.