Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Contribuez Discussion :

[Défis][5] RESHAPE plus rapide que son ombre ?


Sujet :

Contribuez

  1. #1
    Rédacteur/Modérateur

    [Défis][5] RESHAPE plus rapide que son ombre ?


    je vous propose une question qui devrait vous faire aimer la fonction RESHAPE de MATLAB

    Pour permettre à tous le monde de participer, soumettez-moi vos réponses par MP, je donnerai dans cette discussion la liste des membres ayant la bonne réponse.

    ---------------------------------------------------

    Soit le programme suivant :
    Code :Sélectionner tout -Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    clc
    clear all
     
    for n = 500:500:8000
     
        clear X
     
        X = rand(n);
     
        tic
     
        X = reshape(X,1,[]);
     
        t = toc;
     
        fprintf('Taille de X: %5d x%5d (%5.1f Mo) : %.7f s\n',n,n,n*n*8/1024/1024,t);  
     
    end


    Le code ne fait que générer des tableaux aléatoires de dimension nxn de plus en plus gros puis les redimensionne en tableau 1x(nxn) avec RESHAPE.

    La ligne avec FPRINTF affiche à chaque itération les dimensions du tableau, sa taille approximative en Mo et le temps d'exécution du redimensionnement en secondes.

    Voici ce que j'obtiens sur ma machine :
    Taille de X:   500 x  500 (  1.9 Mo) : 0.0003590 s
    Taille de X:  1000 x 1000 (  7.6 Mo) : 0.0000450 s
    Taille de X:  1500 x 1500 ( 17.2 Mo) : 0.0000450 s
    Taille de X:  2000 x 2000 ( 30.5 Mo) : 0.0000410 s
    Taille de X:  2500 x 2500 ( 47.7 Mo) : 0.0000440 s
    Taille de X:  3000 x 3000 ( 68.7 Mo) : 0.0000420 s
    Taille de X:  3500 x 3500 ( 93.5 Mo) : 0.0000440 s
    Taille de X:  4000 x 4000 (122.1 Mo) : 0.0000450 s
    Taille de X:  4500 x 4500 (154.5 Mo) : 0.0000430 s
    Taille de X:  5000 x 5000 (190.7 Mo) : 0.0000440 s
    Taille de X:  5500 x 5500 (230.8 Mo) : 0.0000710 s
    Taille de X:  6000 x 6000 (274.7 Mo) : 0.0000430 s
    Taille de X:  6500 x 6500 (322.3 Mo) : 0.0000440 s
    Taille de X:  7000 x 7000 (373.8 Mo) : 0.0000430 s
    Taille de X:  7500 x 7500 (429.2 Mo) : 0.0000430 s
    Taille de X:  8000 x 8000 (488.3 Mo) : 0.0000430 s
    Si on exclu la première itération, on remarque que la durée du redimensionnement est constante (les valeurs sont très faibles, moins d'1 milliseconde) quelque soit la taille du tableau.

    Il faut aussi peu de temps pour redimensionner le tableau de 8Mo que celui de 500Mo
    Cela peut sembler surprenant sachant qu'il y a 1 000 000 éléments dans le premier et qu'il y en a 64 fois plus dans le second (64 000 000 éléments)

    Comment cela est-il possible ?

    A vos neurones et à vos claviers !
    Mes compétences :
    • conception mécanique 3D (Autodesk Fusion 360)
    • développement informatique (MATLAB, Python, C, VBA)
    • impression 3D (Ultimaker)
    • programmation de microcontrôleur (Microchip PIC et Arduino)

    « J'étais le meilleur ami que le vieux Jim avait au monde. Il fallait choisir. J'ai réfléchi un moment, puis je me suis dit : "Tant pis ! J'irai en enfer" » (Saint Huck)

  2. #2
    Rédacteur/Modérateur

    Liste des membres ayant trouvé la bonne réponse




    Mes compétences :
    • conception mécanique 3D (Autodesk Fusion 360)
    • développement informatique (MATLAB, Python, C, VBA)
    • impression 3D (Ultimaker)
    • programmation de microcontrôleur (Microchip PIC et Arduino)

    « J'étais le meilleur ami que le vieux Jim avait au monde. Il fallait choisir. J'ai réfléchi un moment, puis je me suis dit : "Tant pis ! J'irai en enfer" » (Saint Huck)

  3. #3
    Rédacteur/Modérateur

    Bon... peu de personne se sont manifestées

    Allez, un petit indice : Stockage des matrices en mémoire

    Il vous reste 2 jours pour m'envoyer vos réponses par MP

    Fin du suspens, dimanche soir
    Mes compétences :
    • conception mécanique 3D (Autodesk Fusion 360)
    • développement informatique (MATLAB, Python, C, VBA)
    • impression 3D (Ultimaker)
    • programmation de microcontrôleur (Microchip PIC et Arduino)

    « J'étais le meilleur ami que le vieux Jim avait au monde. Il fallait choisir. J'ai réfléchi un moment, puis je me suis dit : "Tant pis ! J'irai en enfer" » (Saint Huck)

  4. #4
    Rédacteur/Modérateur

    La solution

    ---------------------------------------


    Il faut savoir que quelque soient les dimensions d'un tableau, MATLAB le stocke toujours sous la forme d'un vecteur en mémoire (voir ici)

    Par conséquent, pour s'y retrouver, MATLAB doit bien stocker les dimensions du tableau quelque part ailleurs.

    La clé du problème se trouve dans la définition "profonde" du tableau.

    Pour simplifier, MATLAB stocke en fait le tableau dans une structure (1)
    Cette structure possède un champ "data" qui contient le vecteur des éléments du tableau.
    Elle possède également deux champs correspondant au nombre de lignes (nrows) et au nombre de colonnes (ncols) du tableau.

    On peut donc l'assimiler à la structure MATLAB suivante :
    Code :Sélectionner tout -Visualiser dans une fenêtre à part
    1
    2
    3
    4
     
    S.data = [];
    S.nrows = [];
    S.ncols = [];


    Comme la fonction RESHAPE ne modifie ni l'ordre ni le nombre des éléments du tableau, elle a juste à modifier les valeurs des champs nrows et ncols.

    Ce qui revient, quelque soient les dimensions du tableau, à ne modifier que 2 valeurs.

    D'où le temps d'exécution constant de la fonction RESHAPE.



    ---------------------------------------


    Voila, j'espère avoir été clair tout en restant bref.

    N'hésitez pas à laisser vos commentaires ou questions ici si nécessaire, nous y répondrons avec plaisirs.

    ---------------------------------------


    (1) Pour être plus précis, pour MATLAB, tout tableau est un mxArray (terme courant dans les fichiers MEX) qui n'est autre qu'une structure en langage C.
    Qui plus est, cette structure C est (semi) opaque, on ne sait donc pas exactement ce qu'elle contient.

    La définition de cette structure se trouve dans le fichier matrix.h dans le sous-dossier /extern/include/ du dossier d'installation de MATLAB.

    Plus d'informations en anglais : Undocumented MATLAB - Matlab’s internal memory representation
    Mes compétences :
    • conception mécanique 3D (Autodesk Fusion 360)
    • développement informatique (MATLAB, Python, C, VBA)
    • impression 3D (Ultimaker)
    • programmation de microcontrôleur (Microchip PIC et Arduino)

    « J'étais le meilleur ami que le vieux Jim avait au monde. Il fallait choisir. J'ai réfléchi un moment, puis je me suis dit : "Tant pis ! J'irai en enfer" » (Saint Huck)

  5. #5
    Membre habitué
    peu de réponses à ce défi...

  6. #6
    Membre averti
    Autant le coup de la sauvegarde des matrices, j'avais vu le lien, autant pour la sauvegarde des données, j'étais très loin du compte.

    Me coucherais moins bête

    Merci pour ce petit défi DUT et au prochain défi.
    Je ne réponds pas aux questions techniques via MP. Le but du forum est de permettre de trouver des solutions ensembles pour aider un ensemble de personnes.

    Loi du Chaos Informatique
    L’informatique, ça tient du chaos : une fois ça marche, une fois ça foire, tu sais pas pourquoi, c’est juste que tu viens de changer de lobe sur l’attracteur étrange.