calcul statistique sur une importante quantité de données

**pokie** · 01/04/2013, 17h43

Bonjour,

Pour un projet, je dois calculer le bruit dans une image 12 millions de pixel. Pour avoir une mesure représentative je dois acquérir 100 images que je dois traiter par la suite avec scilab. Ce qui nous fait 1,2 milliards de point à charger.

Pour réduire le nombre de point à charger j'ai divisé cette image en 56 images de 384 x 512 pixel. Je dispose donc de 56 dossiers, contenant 100 fichiers de données enregistrés au format csv (séparateur = ","). J'ai choisit le format csv car je n'ai pas réussit à importer les données en format *.txt ...

Le but du programme que j'ai implémenter est donc de parcourir les 56 dossiers, ouvrir les 100 fichiers. Je me retrouve donc avec une hypermatrice de dimensions (384 x 512 x 100).

Ensuite, je calcul en chaque point la variance sur les 100 points. Le résultat est donc une matrice de variance de dimensions (384 x 512). Celle-ci est enregistrée dans un fichier *txt

Voici mon problème :

la quantité importante de données nécessite une utilisation importante de la mémoire de l'ordinateur.
Le programme parvient à réaliser un tour de boucle, donc le traitement statiistique d'un dossier. Arrivé au second, une erreur d'allocation mémoire est renvoyée. Pour éxecuter à nouveau le programme il me faut redémarrer Scilab pour libérer la mémoire.

J'aimerai pouvoir libérer la mémoire à la fin de la boucle pour ne pas avoir à intervenir pendant le traitement des 56 dossiers. Par l'utilisation de fonctions scilab (clear ne suffit pas avec l'utilisation que j'en fait). Si non par l'implémentation de fonction en C (malloc, halloc) que je ne connais pas très bien.

Voici le code scilab que j'ai implenté

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
 
clc;
 
 
clear all;
 
//augmentation taille pile
stacksize(10.1^8);
 
 
nom_repertoire = "K:\"//modifier selon le repertoire à ouvrir
dossier = input("Saisir le dossier dans lequel se trouve l"'""ensemble des données images :","string")
 
nom_repertoire = nom_repertoire + dossier
clear dossier;
 
ListFolder = dir(nom_repertoire)//Liste le contenue du dossier
FolderName = ListFolder(2) //Recupère le nom des dossiers
[NbrFolder,x] = size(FolderName) // Recupère le nombre de dossiers
clear x;
 
for i = 1:1:NbrFolder   
 
    A = int(zeros(384,512,100)) // déclaration hypermatrice
    TargetFolder = nom_repertoire + "\" + FolderName(i)+'\dataImg_1\' // Construit le chemin où se trouve les fichiers data
    ListFile = dir(TargetFolder) // Liste le contenue du dossier
    FileName = ListFile(2) // Recupère le noms des fichiers
    clear ListFile
    [NbrFile,x] = size(FileName) // Recupère le nombre de fichiers (100)
    clear x;
 
    for i = 1:1:NbrFile
        A(:,:,i) = csvRead(TargetFolder + FileName(i),",") // Importe les données dans une hypermatrice
    end
 
 
 
    for r = 1 : 1 : 384 //nombre de lignes
        for c = 1 : 1 : 512 // nombre de colonnes
 
            a(1,:) =A(r,c,:) // vecteur qui contient les 100 valeurs aux coordonnées (r,c) 
            s(r,c)= variance(a,2)^2 // Calcul de la variance au carrée du vecteur
 
        end
    end
 
    fprintfMat(TargetFolder + "sCarreMat.txt",s,"%.2f") // Enregistre la matrice s dans un fichier txt
    clear TargetFolder;
    clear s;
    clear A;
    xpause(10000);
end
 
clear all;
 
mprintf("\n*******************ANALYSE BRUIT TEMPO TERMINEE********************\n")

**Jerome Briot** · 01/04/2013, 17h59

La ligne A = int(zeros(384,512,100)) n'a rien à faire dans la boucle.

Tu peux faire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
A = zeros(384,512,100); // déclaration hypermatrice
 
for i = 1:1:NbrFolder  
 
    ...
 
    A(:) = 0;
 
end

L'appel à int est également inutile.

Pour finir, utilise la fonction fullfile pour créer les chemins complets des fichiers plutôt que l'opérateur de concaténation +

**pokie** · 02/04/2013, 08h32

Je vous remercie des conseils de programmation apportés.

Toute fois, ces derniers ne règlent pas mon problème d'augmentation de la taille de la mémoire utilisée à chaque tour de boucle.

Comment libérer la mémoire (comme si je redémarrai scilab) à la fin de chaque boucle (NbrFolder) ?

**Jerome Briot** · 02/04/2013, 10h20

Je ne vois pas pourquoi Scilab aurait besoin de plus de mémoire à chaque itération.

Peux-tu essayer le code suivant et nous dire si le problème persiste avec ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
stacksize(10.1^8);
 
A = zeros(384,512,100);
 
NbrFolder = 50;
NbrFile = 100;
 
for i = 1:NbrFolder 
 
    disp(i)
 
    for n = 1:1:NbrFile
        A(:,:,n) = rand(384,512);
    end
 
    fprintfMat("test.txt",A(:,:,1),"%.2f");
 
    A(:) = 0;
 
end

Et peux-tu aussi nous montrer le message d'erreur renvoyer par Scilab, et nous dire la version que tu utilises et sur quel système d'exploitation tu travailles ?

**pokie** · 02/04/2013, 13h55

J'ai testé le code que vous m'avez donné et il fonctionne bien.

Lorsque j'execute mon code, l'ordinateur utilise 92% de la memoire pour extraire les donnees du premier dossier

Au tour de boucle suivant (2iem dossier) erreur
:

A(:,:,j)=csvRead("fichier data") !-- error 999
csvRead : Erreur d'allocation mémoire

Pour Scilab j'utilise la version 5.4.0

OS = windows 7 pro 64 bit
Processeur = Intel core i3 3,30 GHz

**Jerome Briot** · 02/04/2013, 14h05

Essaie en mettant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

stacksize('max');

à la place de

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

stacksize(10.1^8);

Tu peux aussi essayer en utilisant la toolbox csv_readwrite disponible avec ATOMS.

Le bug avait semble-t-il été rapporté à ce sujet : Ticket 502 : memory error using csv_read

**pokie** · 02/04/2013, 16h25

Merci pour vos conseils,

Puisque le problème semblait venir de la lecture du format .csv, j'utilise des fichiers .txt pour stocker mes données.

Je n'ai plus d'erreur d'allocation mémoire.