IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

MATLAB Discussion :

Parallel toolbox : données communes


Sujet :

MATLAB

  1. #1
    Membre éprouvé
    Avatar de ol9245
    Homme Profil pro
    Chercheur
    Inscrit en
    Avril 2007
    Messages
    985
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 62
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Chercheur

    Informations forums :
    Inscription : Avril 2007
    Messages : 985
    Points : 1 158
    Points
    1 158
    Billets dans le blog
    1
    Par défaut Parallel toolbox : données communes
    Bonjour,

    J'ai un gros tableau de cellules (dans les 150000 cellules) et dans chaque cellules des données.

    une opération élémentaire sur une cellule nécessite la lecture d'un grand nombre de cellules. Seule la cellule sur laquelle on travaille est modifiée.

    Je n'arrive pas à décrire ce travail à la parrallel toolbox car elle ne reconnait pas cette logique dans mon code. Elle la confond avec un scénario problématiqaue où tout le monde lit et écrit n'importe où.

    Pour l'instant, je duplique toutes les données pour chaque worker et je consolide les résultats après. Cmment faire mieux ? Dans la doc ils parlent bien de données partagées mais je ne comprend rien à ce charabia.
    "La vraie grandeur se mesure par la liberté que vous donnez aux autres, et non par votre capacité à les contraindre de faire ce que vous voulez." Larry Wall, concepteur de Perl.

  2. #2
    Membre éprouvé
    Inscrit en
    Août 2010
    Messages
    1 124
    Détails du profil
    Informations forums :
    Inscription : Août 2010
    Messages : 1 124
    Points : 1 277
    Points
    1 277
    Par défaut
    Bonjour,

    Si les taches accèdent en lecture à tous les éléments, même si l'écriture se fait à des endroits disjoints, c'est problématique. En effet, le résultat dépend de l'ordre d’exécution :

    si la tâche A lit l'emplacement ou écrit la tache B, le résultat sera différent selon que A y accède avant ou après que B le modifie.

    Matlab a donc raison de te prévenir que ton cas n'est pas adaptée à du threading non synchronisé.

  3. #3
    Rédacteur/Modérateur

    Avatar de Jerome Briot
    Homme Profil pro
    Freelance mécatronique - Conseil, conception et formation
    Inscrit en
    Novembre 2006
    Messages
    20 302
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Freelance mécatronique - Conseil, conception et formation

    Informations forums :
    Inscription : Novembre 2006
    Messages : 20 302
    Points : 53 160
    Points
    53 160
    Par défaut
    Citation Envoyé par ol9245 Voir le message
    une opération élémentaire sur une cellule nécessite la lecture d'un grand nombre de cellules. Seule la cellule sur laquelle on travaille est modifiée.
    Ne voulais-tu pas plutôt écrire ceci :

    une opération élémentaire sur une cellule nécessite la lecture d'un grand nombre d'éléments. Seule la cellule sur laquelle on travaille est modifiée.
    ?
    Ingénieur indépendant en mécatronique - Conseil, conception et formation
    • Conception mécanique (Autodesk Fusion 360)
    • Impression 3D (Ultimaker)
    • Développement informatique (Python, MATLAB, C)
    • Programmation de microcontrôleur (Microchip PIC, ESP32, Raspberry Pi, Arduino…)

    « J'étais le meilleur ami que le vieux Jim avait au monde. Il fallait choisir. J'ai réfléchi un moment, puis je me suis dit : "Tant pis ! J'irai en enfer" » (Saint Huck)

  4. #4
    Membre éprouvé
    Avatar de ol9245
    Homme Profil pro
    Chercheur
    Inscrit en
    Avril 2007
    Messages
    985
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 62
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Chercheur

    Informations forums :
    Inscription : Avril 2007
    Messages : 985
    Points : 1 158
    Points
    1 158
    Billets dans le blog
    1
    Par défaut
    Citation Envoyé par VV33D Voir le message
    Bonjour,

    Si les taches accèdent en lecture à tous les éléments, même si l'écriture se fait à des endroits disjoints, c'est problématique. En effet, le résultat dépend de l'ordre d’exécution :

    si la tâche A lit l'emplacement ou écrit la tache B, le résultat sera différent selon que A y accède avant ou après que B le modifie.

    Matlab a donc raison de te prévenir que ton cas n'est pas adaptée à du threading non synchronisé.
    ouep ouep. Si tu le dis comme ça...
    disons que je ne suis pas préoccupé par le caractère imprédicitible de la solution mais en effet il y a un pb de synchronisation qui m'avait échappé.

    Je n'ai pas tou lu dans la doc de la toolbox mais je crois bien qu'il n'y a pas les outils de synchronisation appropriés n'est-ce pas ?
    "La vraie grandeur se mesure par la liberté que vous donnez aux autres, et non par votre capacité à les contraindre de faire ce que vous voulez." Larry Wall, concepteur de Perl.

  5. #5
    Membre éprouvé
    Inscrit en
    Août 2010
    Messages
    1 124
    Détails du profil
    Informations forums :
    Inscription : Août 2010
    Messages : 1 124
    Points : 1 277
    Points
    1 277
    Par défaut
    Je ne sais, j'espère quand même qu'ils ont prévus un système de locks

    Mais quand bien même, s'il faut locker tout le monde et laisser tourner une seule tache à la fois, tu ferais mieux de tout faire séquentiellement sans threading.

    J'imagine toutefois plusieurs pistes:
    * On passe aux taches un tableau en écriture et un tableau en lecture seule. Ainsi les calculs seront fait comme si aucun thread ne voyait les autres modifier les données en lecture. Mais dupliquer des données volumineuses n'est pas forcément idéal
    * Si on sait de quels éléments a besoin chaque tache, et bien on lui passe en lecture seule ces éléments uniquement.

    * On passe les données en lecture seule. Au lieu de faire leur modifications, les threads renvoient une fonction à appliquer (que ce soi un handle ou une liste de couple (élément à modifier,new_valeur). On fait les modifications une fois que tout le monde a fini.

    Explique nous quand même en quoi une procédure non reproductible est intéressante ? Obtenir une seule des configurations de sortie te satisfait ? Ne vaut il pas mieux paramétrer l'ordre des calculs pour pouvoir les reproduire ?

  6. #6
    Membre éprouvé
    Avatar de ol9245
    Homme Profil pro
    Chercheur
    Inscrit en
    Avril 2007
    Messages
    985
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 62
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Chercheur

    Informations forums :
    Inscription : Avril 2007
    Messages : 985
    Points : 1 158
    Points
    1 158
    Billets dans le blog
    1
    Par défaut
    Justement, j'ai pas vu de portes de synchronisation dans la toolbox (que je connais très peu).

    Pourquoi l'inprévisibilité des résultats ne me préoccupe pas ?
    car la fonction fait partie d'un groupe de tâches qui doit s'appeler sur ses propres résultats jusqu'à converger. qu'une cellule soit calculée à parir des données éléborées à l'étape n-1 ou à l'étape n n'a donc pas d'importance. Par contre, comme tu as justement mis le doigt dessus, il faudrait locker la cellule au moment de son écriture pour pas qu'un autre thread charge une chimère du nouveau tableau et de l'ancien.

    Si je pouvais créer une porte par cellule dans le tableau, ce serait joué.
    "La vraie grandeur se mesure par la liberté que vous donnez aux autres, et non par votre capacité à les contraindre de faire ce que vous voulez." Larry Wall, concepteur de Perl.

Discussions similaires

  1. [Designer V5-V6] Liaisons incorrectes sur des données communes
    Par tang121 dans le forum Débuter
    Réponses: 15
    Dernier message: 06/07/2010, 17h14
  2. Envoi et réception de données : Communication Temps Réel
    Par mehdi_862000 dans le forum VC++ .NET
    Réponses: 8
    Dernier message: 26/05/2008, 15h14
  3. Problème pour trouver les données commune dans une requête
    Par Winterrage dans le forum Langage SQL
    Réponses: 3
    Dernier message: 08/02/2008, 11h14
  4. concatener 2 feuilles de données ayant des données communes
    Par azzar dans le forum Macros et VBA Excel
    Réponses: 0
    Dernier message: 31/01/2008, 23h52
  5. Incorporation d’un sous rapport dans un rapport, sans données communes
    Par sgrosjean94 dans le forum SAP Crystal Reports
    Réponses: 1
    Dernier message: 28/09/2006, 13h05

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo