Discussion :

[moooona]

Bonjour,
J'ai besoin d'utiliser une matrice de grandre taille de l'ordre de 1000000 lignes et 1000000 colonnes.
J'ai utilisé cette classe mais il me génére une erreur à chaque fois à cause de la taille de la matrice.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
 
 
class MatrixHD
{
public:
    MatrixHD(size_t rows, size_t cols);
    double& operator()(size_t i, size_t j);
    double operator()(size_t i, size_t j) const;
 
private:
    size_t mRows;
    size_t mCols;
    std::vector<double> mData;
};
 
MatrixHD::MatrixHD(size_t rows, size_t cols)
: mRows(rows),
  mCols(cols),
  mData(rows * cols)
{
}
 
double& MatrixHD::operator()(size_t i, size_t j)
{
    return mData[i * mCols + j];
}
 
double MatrixHD::operator()(size_t i, size_t j) const
{
    return mData[i * mCols + j];
}

Merci pour vos aides

[Neckara]

Bonjour,

Ta matrice a 10^12 éléments de ~8 octets.

Soit environ 7,28 To de données. Je pense qu'il faut que tu trouve une autre solution ^^.

[moooona]

Merci Neckara pour votre réponse. Mais qu'est ce que je peux ajouter au lieu d'une matrice? Est ce que vous pouvez me proposer une solution? EN fait, J'ai un ensemble X (représente les lignes) et Y (représente les colonnes) et pour chaque xiyi j'ai une valeur. Comment je peux représenter ces deux ensembles.
J'ai utilisé un vecteur mais il m'affiche une erreur de taille.

[Neckara]

Est-ce que tu as une valeur qui revient très très souvent dans ta matrice ?
Est-ce que tu as des suites de valeurs qui sont assez courante ? (ex : 1 1 1 1 ou 1 2 3 4, etc.)

Tu ne peux pas stocker 10^12 éléments à moins de te trouver un disque dur de 8To et de l'utiliser comme partition swap

[JolyLoic]

Deux possibilités : Soit ta matrice est très régulière, et il est possible de trouver des astuces pour la stocker entièrement en mémoire (le plus courant étant une matrice creuse, dont la quasi-totalité des éléments sont nuls). Soit tu ne pourras pas travailler en mémoire, mais tu devras travailler sur disque en ne montant à chaque instant en mémoire que la partie nécessaire à ce que tu veux faire.

Sachant que, pour donner un ordre de grandeur, si tu ne mets que 1ms de traitement par élément, il te faudra quand même 115 jours pour traiter toutes ces données. Es-tu certain d'avoir besoin de toutes ces données ? Ne peux-tu pas commencer par sous-échantillonner ?

[moooona]

En fait, je suis en train d'implémenter l'algorithme softassign. vous trouverez l'algorithme dans ce lien http://www.academia.edu/795043/Softa..._EM-ICP_on_GPU
Le problème est dans le stockage de la valeur de mij qui est calculé dans la quatrième instruction.
Le problème est que la valeur de i sera entre 50000 et 1000000 et de même pour j.
Merci