# Discussion: [c++] Régression circulaire

1. ## [c++] Régression circulaire

Salut,

Pour ma première contribution (c++), je vous propose une régression circulaire sur un ensemble de points (x; y).

Voilà la déclaration de la classe Matrix (matrix.h) :

 Code c++ : Sélectionner tout - Visualiser dans une fenêtre à part
 1234567891011121314151617181920212223242526 #ifndef __MATRIX__ #define __MATRIX__   #include   struct Matrix { /// @brief Solve the system AX=Y where A and Y are known and X is unknown. /// @param [in] A A n*n matrix where n = A.size() / 2 = Y.size(). /// @param [in] X The matrix to find. X is resized if needed. /// @param [in] Y A 1*n matrix where n = A.size() / 2 = Y.size(). /// @throw std::runtime_error If an error occured. static void gaussjordan(std::vector const & A, std::vector & X, std::vector const & Y);   /// @brief Process to the regression of the points (xlist; ylist) by a circle. /// @param [in] xlist List of the x coordinates of the points that should fit a circle. /// @param [in] ylist List of the y coordinates of the points that should fit a circle. /// @param [in] xcenter The x coordinate of the center of the circle computed from the points (xlist; ylist). /// @param [in] ycenter The y coordinate of the center of the circle computed from the points (xlist; ylist). /// @param [in] radius The radius of the circle computed from the points (xlist; ylist). /// @param [in] rmse The root mean square error of the regression computed as the root squared sum of the difference between the computed radius and the distances between the computed center and the points (xlist; ylist) /// @throw std::runtime_error If an error occured. static void circularRegression(std::vector const & xlist, std::vector const & ylist, double & xcenter, double & ycenter, double & radius, double & rmse); }; // Matrix   #endif
et voilà l'implémentation de la classe Matrix (matrix.cpp) :

 Code c++ : Sélectionner tout - Visualiser dans une fenêtre à part
 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169 #include #include #include #include #include #include "matrix.h"   void Matrix::gaussjordan(std::vector const & A, std::vector & X, std::vector const & Y) { // get the size of the matrix and check system input unsigned int const n = Y.size(); unsigned int const m = n + 1; if(A.size() != n * n) { throw std::runtime_error("Bad size with A and Y arguments"); }   // resize the ouptut if(X.size() != n) { X.resize(n); }   std::map swapped; for(unsigned int row = 0; row < n; ++row) { swapped[row] = row; }   // here is the system to solve std::vector system(n * n + n);   // array of pointers on each row of the system std::vector rows(n);   // setup the system std::vector::const_iterator a = A.begin(); std::vector::const_iterator y = Y.begin(); std::vector::iterator s = system.begin(); for(unsigned int row = 0; row < n; ++row) { // keep the address of the first item of the current row rows[row] = &(*s);   // set A for(unsigned int col = 0; col < n; ++col, ++a, ++s) { *s = *a; }   // set Y *s++ = *y++; }   // find X to solve the system AX=Y for(unsigned int ipivot = 0; ipivot < n; ++ipivot) { double pivot = rows[ipivot][ipivot];   // if the current pivot is null, search for another line with a valid pivot (for the column ipivot) if(fabs(pivot) <= std::numeric_limits::epsilon()) { // browse next row, searching for a valid pivot at column ipivot for(unsigned int row = ipivot + 1; row < n; ++row) { // if found, swap the rows pointer (not the memory) pivot = rows[row][ipivot]; if(fabs(pivot) > std::numeric_limits::epsilon()) { std::swap(rows[ipivot], rows[row]); std::swap(swapped[ipivot], swapped[row]); break; } } }   // if a valid pivot was not found, then the matrix can not be inversed if(fabs(pivot) <= std::numeric_limits::epsilon()) { throw std::runtime_error("The system can not be solved"); }   // normalize the row of the pivot so as the pivot is set to 1.0 for(unsigned int col = 0; col < m; ++col) { rows[ipivot][col] /= pivot; }   // for all row, except the one of the pivot, set the item of the column "ipivot" ot 0 for(unsigned int row = 0; row < n; ++row) { if(row == ipivot) { continue; }   double const factor = rows[row][ipivot]; for(unsigned int col = 0; col < m; ++col) { rows[row][col] -= factor * rows[ipivot][col]; } } }   // now the system is solved, X is the last column of the system for(unsigned int row = 0; row < n; ++row) { X[row] = system[swapped[row] * m + m - 1]; } }   void Matrix::circularRegression(std::vector const & xlist, std::vector const & ylist, double & xcenter, double & ycenter, double & radius, double & rmse) { xcenter = 0.0; ycenter = 0.0; radius = 0.0; rmse = 0.0;   // compute the A (3x3 matrix) and B (3x1 matrix) std::vector A(9); std::vector B(3); std::fill(A.begin(), A.end(), 0); std::fill(B.begin(), B.end(), 0); for(unsigned int index = 0; index < xlist.size(); ++index) { double const & x = xlist[index]; double const & y = ylist[index]; double const xx = x * x; double const yy = y * y; double const xy = x * y; double const xxx = xx * x; double const xxy = xx * y; double const yyy = yy * y; double const xyy = x * yy; A[0] += 2 * xx; A[1] += 2 * xy; A[2] += x; A[3] += 2 * xy; A[4] += 2 * yy; A[5] += y; A[6] += 2 * x; A[7] += 2 * y; A[8] += 1; B[0] += xxx + xyy; B[1] += xxy + yyy; B[2] += xx + yy; }   // solve the system AX=B using a the gauss-jordan method std::vector X(3); gaussjordan(A, X, B);   // circle details extraction xcenter = X[0]; ycenter = X[1]; radius = sqrt(X[2] + xcenter * xcenter + ycenter * ycenter);   // compute the root mean square for(unsigned int index = 0; index < xlist.size(); ++index) { double const & x = xlist[index]; double const & y = ylist[index]; double const distance = sqrt((x - xcenter) * (x - xcenter) + (y - ycenter) * (y - ycenter)); rmse += (radius - distance) * (radius - distance); }   rmse /= (double)xlist.size(); rmse = sqrt(rmse); }
Le tout s'utilise très facilement (en c++ je rappelle) via le code :

 Code c++ : Sélectionner tout - Visualiser dans une fenêtre à part
 123456789101112131415161718192021 // variables std::vector xlist; // ... The list of the x coordinates of the points that match a circle. std::vector ylist; // ... The list of the y coordinates of the points that match a circle. double xcenter = 0.0; // To store the x coordinate of the center of the circle computed by the function. double ycenter = 0.0; // To store the y coordinate of the center of the circle computed by the function. double radius = 0.0; // To store the radius of the circle computed by the function. double rmse = 0.0; // To store the root mean square error resulted from the regression.   try { // regression of the points by a circle Matrix::circularRegression(xlist, ylist, xcenter, ycenter, radius, rmse); } catch(std::exception const & error) { std::cout << error.what() << std::endl; } catch(...) { std::cout << "An undefined error has occured" << std::endl; }
Et un main (main.cpp) pour tester tout ça :

 Code c++ : Sélectionner tout - Visualiser dans une fenêtre à part
Le code ne requiert aucune autre dépendance que la Standart Template Library (native sur tous les compilateurs), pas de boost, opencv ou autres. Vous compilez sous gcc par la commande suivante :

g++ main.cpp matrix.cpp -o test

La sortie est du style :

 Code : Sélectionner tout - Visualiser dans une fenêtre à part
 123456789101112131415161718192021222324252627282930313233343536373839404142434445 --------------------------------------------------------------------- ||Expected circle : || x center = 20.5 || y center = -3.7 || radius = 8 --------------------------------------------------------------------- ||x original| x noised| noise ||y original| y noised| noise|| --------------------------------------------------------------------- || 28.5| 27.32| -1.18 || -3.7| -4.36| -0.66|| || 28.3252| 29.0052| 0.68 || -2.03675| -2.03675| 0|| || 27.8084| 29.1884| 1.38 || -0.446197| 0.0338029| 0.48|| || 26.9722| 26.5322| -0.44 || 1.00216| 2.16216| 1.16|| || 25.8532| 27.0932| 1.24 || 2.24503| 1.52503| -0.72|| || 24.5002| 24.6002| 0.1 || 3.22808| 4.12808| 0.9|| || 22.9724| 22.5924| -0.38 || 3.90836| 2.44836| -1.46|| || 21.3366| 22.5566| 1.22 || 4.25614| 4.07614| -0.18|| || 19.6642| 21.5642| 1.9 || 4.25622| 5.09622| 0.84|| || 18.0283| 16.5683| -1.46 || 3.90859| 2.62859| -1.28|| || 16.5004| 18.3204| 1.82 || 3.22845| 1.30845| -1.92|| || 15.1474| 15.1874| 0.04 || 2.24552| 3.30552| 1.06|| || 14.0282| 13.8682| -0.16 || 1.00276| 2.64276| 1.64|| || 13.1919| 11.6119| -1.58 || -0.44552| -0.12552| 0.32|| || 12.675| 13.035| 0.36 || -2.03603| -2.13603| -0.1|| || 12.5| 11.44| -1.06 || -3.69926| -3.17926| 0.52|| || 12.6747| 14.0947| 1.42 || -5.36252| -4.60252| 0.76|| || 13.1913| 12.5713| -0.62 || -6.95313| -6.71313| 0.24|| || 14.0273| 13.3673| -0.66 || -8.40156| -8.42156| -0.02|| || 15.1463| 13.8463| -1.3 || -9.64453| -9.76453| -0.12|| || 16.4991| 16.5591| 0.06 || -10.6277| -12.4077| -1.78|| || 18.0269| 18.4669| 0.44 || -11.3081| -10.6481| 0.66|| || 19.6627| 19.1227| -0.54 || -11.6561| -12.3761| -0.72|| || 21.3351| 22.1551| 0.82 || -11.6563| -11.4363| 0.22|| || 22.971| 22.031| -0.94 || -11.3088| -11.9488| -0.64|| || 24.4989| 25.4389| 0.94 || -10.6288| -11.7488| -1.12|| || 25.8521| 25.0921| -0.76 || -9.64602| -8.50602| 1.14|| || 26.9714| 25.7114| -1.26 || -8.40336| -9.22336| -0.82|| || 27.8078| 28.2678| 0.46 || -6.95516| -6.13516| 0.82|| || 28.3249| 28.9049| 0.58 || -5.3647| -3.8047| 1.56|| --------------------------------------------------------------------- ||Computed circle : || x center = 20.3688 || y center = -3.76401 || radius = 8.25942 || rmse = 1.01834 ---------------------------------------------------------------------
Bon je veux pas faire de la pub pour mon blog, mais je veux pas non plus ré-expliquer le fonctionnement du code. Le lien vers des explications détaillées est le suivant :

http://floriansella.free.fr/index.ph...y=ti&billid=92

Histoire de pas faire un truc creux, la régression d'un ensemble de points par un cercle (xc; yc; R) fonctionne comme la régression d'un ensemble de points par une droite. C'est une régression au sens des moindres carrés et on parvient à un système matriciel qu'il suffit de résoudre par la méthode basique de Gauss-Jordan (pivot de Gauss).

Flo.

2. Bonjour,

merci beaucoup pour cette implémentation.
Voici quelques améliorations possibles :

1. ne pas inverser explicitement A pour calculer y=inv(A)*x mais résoudre directement Ax=y par élimination de Gauss;
2. faire en sorte que Matrix soit bien une matrice : en lisant rapidement, je n'ai pas vu de stockage des coefficients;
3. encapsuler tes données;
4. passer par class plutôt que par struct;
5. ne pas mélanger codes d'erreur et exceptions; faire soit l'un soit l'autre.
6. paramétrer avec des templates pour laisser à l'utilisateur le choix de la précision des calculs et éventuellement du type de données;
7. éviter de faire du static quand ce n'est pas la peine.

Bonne continuation

3. Merci pour les commentaires, Aleph69.

Ce code est plutôt destiné à mon éducation (et celle de ceux que mon code intéresse) ... j'ai pas pour objectif de le proposer chez boost (ils doivent déjà avoir des trucs pour faire ça je suppose) .

Ceci étant dit, je vais corriger le point 5 qui est effectivement maladroit même pour un code de ce type, et proposer une autre version en considérant votre point 1, qui m'intéresse évidemment.

Toutefois, si je n'ai rien à redire à vos remarques, qui sont sûrement pertinentes, je laisserai à tout un chacun le choix de l'implémentation d'une version propre à ses besoins, si tant est que quelques uns s'entichent de ces quelques lignes de codes.

Flo.

4. ## Corrections du code initial

J'ai corrigé les points 1 et 5 décrits par Aleph69 en lieu et place du code initial dans mon premier message.

Encore merci Aleph69.

Flo.

5. J'ai encore une remarque, j'espère que ça ne pose de problème. Pour s'assurer qu'on ne provoque pas un overflow, on ne compare pas le pivot avec epsilon. La fonction dlamch de la bibliothèque lapack calcule un nombre safemin correspondant au plus petit nombre par lequel on peut diviser sans provoquer d'overflow. Je pense que c'est à cette quantité que tu devrais comparer les pivots. Moralement, il faut que c=b/a ne dépasse le plus grand nombre flottant représentable en machine MAX ( il est donné par std::numeric_limits<T>::max() en C++ ). On doit donc avoir |b/a|=|b|/|a|<=MAX, soit encore |b| <= MAX*|a|. Je pense que cela revient à passer par dlamch mais à vérifier quand même, il y a peut-être une subtilité. En tous les cas, la routine dlamch est ce qui se fait de plus robuste dans le domaine. En testant avec epsilon, tu arrêtes parfois prématurément l'algorithme alors que la matrice était bien factorisable à la précision machine.

EDIT : ajout du lien vers la routine dlamch.

EDIT2 : encore une chose, en C++, on préfère inclure cmath plutôt que math.h

6. Salut Aleph69,

J'ai remplacé l'include de math.h pour celui de cmath. Quant à ton histoire de l'epsilon, utiliser LAPACK ça ne m'intéresse pas. En revanche, je veux bien essayer de comprendre ce que tu me racontes et de l'intégrer dans mon code. J'ai donc fait une fonction qui teste un pivot sur une ligne et renvoie true si le résultat de la multiplication du dénominateur (de chaque division) par std::numeric_limits<double>::max() est inférieur au pivot, false sinon.

 Code c++ : Sélectionner tout - Visualiser dans une fenêtre à part
 123456789101112131415161718192021 #define INSPECT_PIVOT 0   bool isGoodPivot(double const * const row, unsigned int const size, double const pivot) { #if INSPECT_PIVOT return (fabs(pivot) > std::numeric_limits::epsilon()); #else if(fabs(pivot) < std::numeric_limits::epsilon()) { for(unsigned int col = 0; col < size; ++col) { if(fabs(row[col]) > fabs(pivot * std::numeric_limits::max())) { return false; } } }   return true; #endif }

J'ai fait un gauss-jordan sur le système AX=B suivant (sur ma machine std::numeric_limits<double>::epsilon() vaut 2.22045e-016) :

 Code : Sélectionner tout - Visualiser dans une fenêtre à part
 1234 A[0] = +1e-17; A[1] = +2; A[2] = -9; A[3] = +1 ; A[4] = +6; A[5] = -8; A[6] = +3 ; A[7] = -5; A[8] = +3; B[0] = +2 ; B[1] = +1; B[2] = -3;
Avec INSPECT_PIVOT à 0, il y a un changement de pivots sur la première ligne et les résultats sont corrects. Les valeurs de X sont :

 Code : Sélectionner tout - Visualiser dans une fenêtre à part
 123 X[0] = -0.777778 X[1] = 5.55112e-017 X[2] = -0.222222
Avec INSPECT_PIVOT à 1, il n'y a aucun changement de pivots mais les résultats sont faux. Les valeurs de X sont :

 Code : Sélectionner tout - Visualiser dans une fenêtre à part
 123 X[0] = 0 X[1] = 1 X[2] = 0
Faut dire qu'avec INSPECT_PIVOT à 1, les valeurs du système en cours de résolution montent à des + ou - 1e+17 et les opérations suivantes doivent en pâtir.

Donc je sais pas si j'ai bien tout compris.

Flo.

7. Bonjour,

il y a plusieurs phénomènes en jeu dans ce que tu décris.

Une première question est de savoir si une matrice est factorisable à la précision machine, c'est-à-dire si le processus d'élimination gaussienne peut être mené à son terme sans division par zéro, sans overflow et sans underflow, toute considération sur la stabilité numérique de l'algorithme mis à part. C'est une question d'informatique pur : l'algorithme arrive-t-il à son terme? Ainsi, lorsque tu divises par un pivot, il faut que cette division soit bien représentable en machine. Je te faisais juste remarquer que tu pouvais diviser par un nombre inférieur à epsilon sans nécessairement provoquer d'overflow.

Pour tester cela, je t'ai indiqué la fonction dlamch, non pas pour l'utiliser mais pour regarder ce qui y est fait. Il y est défini un nombre sfmin correspondant au plus petit nombre par lequel on peut diviser un autre nombre sans provoquer d'overflow. Ce nombre est défini de la manière suivante :
 Code : Sélectionner tout - Visualiser dans une fenêtre à part
 123 T sfmin = std::numeric_limits::min(); T small = 1./std::numeric_limits::max(); if (small>=sfmin) sfmin=small*(1+std::numeric_limits::epsilon());
Ensuite, dans ton code, tu dois uniquement comparer la valeur absolue du pivot à sfmin au lieu de epsilon; il n'est pas utile de tester toutes les divisions possibles par ton pivot. Si tu ne trouves aucun pivot admissible, alors la matrice n'est pas factorisable à la précision machine; on la dit quasi-singulière.

La question de la stabilité numérique de l'algorithme est une autre chose. Quelle que soit le choix de ton pivot, l'erreur relative sur la solution sera au mieux bornée supérieurement par un terme supérieur à 2^(n-1) où n désigne la taille de la matrice. On connaît d'ailleurs les matrices pour lesquelles cette borne est atteinte. De ce fait, trouver une solution plus précise avec telle ou telle méthode de pivot ne la rend pas meilleure : on saura toujours trouver des matrices pour lesquelles l'erreur sur la solution explose. A noter que l'approche standard appelée "pivotage partiel par ligne" consiste à choisir pour pivot celui dont la valeur absolue est maximale. Le test de quasi-singularité n'intervient qu'après pour tester si cette valeur maximale est bien supérieure à sfmin.

Par ailleurs, si tu veux améliorer la stabilité de ton algorithme, il faut pré-traiter ton système linéaire à l'aide d'un préconditionneur. Une méthode simple consiste par exemple à diviser chaque ligne par sa norme. Sa variante par colonne est également très utilisée. Tu peux également raffiner itérativement la solution calculée en mélangeant plusieurs degrés de précision (float/double ou double/long double); ceci te permettra également de fournir des estimations des erreurs de calcul à tes utilisateurs.

Enfin, si le sujet t'intéresse, tu peux tenter de percer les derniers mystères de la méthode de Gauss.

#### Règles de messages

• Vous ne pouvez pas créer de nouvelles discussions
• Vous ne pouvez pas envoyer des réponses
• Vous ne pouvez pas envoyer des pièces jointes
• Vous ne pouvez pas modifier vos messages
•