optimisation lecture de données

**christophe_halgand** · 11/03/2009, 10h40

Bonjour à tous,

Pour un apprentissage et un contrôle de plusieurs réseaux de neurones, j'ai enregistré 18 variables x 262 milles et des bananes fois.

J'ai enregistré dans un fichier texte (400Mo).

Pour lancer mon apprentissage et modifié des paramètres, je relie ce fichier à chaque départ de mon programme et là çà prend beaucoup de temps...

Connaissez vous une méthode pour optimiser ce genre de chose (enregistrement et lecture de gros fichier) ?

Je travaille sous R2008a et/ou R2008b et sous MAC leopard et/ou winXP.

Merci de votre aide

**duf42** · 11/03/2009, 10h44

Bonjour,

Ne te serait-il pas possible d'enregistrer ton fichier au format MAT, quitte à enregistrer les 2 formats si tu as besoin du TXT. Cà permet de pas mal limiter le temps de chargement en ayant en plus des données directement au bon format...

Bonne journée,
Duf

**christophe_halgand** · 11/03/2009, 10h53

Merci duf42,

J'utilise le fichier ".txt" car je sais lire et écrire sur ce type de fichier et c'est uniquement çà.

Donc je vais regarder du côté ".mat"...

Christophe

**duf42** · 11/03/2009, 11h07

Pour les MAT regarde du côté des fonctions SAVE et LOAD, tu vas grandement te simplifier la vie par rapport au TXT (du point de vue de gestion des données en tout cas)...

Bon courage,
Duf

**christophe_halgand** · 11/03/2009, 11h20

Mini question,

La fonction "SAVE" ne s'utilise pas dans une boucle mais à la fin du script !!!

merci

Christophe

**Jerome Briot** · 11/03/2009, 11h55

Envoyé par christophe_halgand

La fonction "SAVE" ne s'utilise pas dans une boucle mais à la fin du script !!!

Si, avec l'argument '-append'

**Jerome Briot** · 11/03/2009, 11h39

Tu peux également utiliser des fichiers binaires à la place des fichiers ascii.

Tu utilises alors les fonctions FOPEN/FWRITE/FCLOSE et FOPEN/FREAD/FCLOSE

Afin de choisir le meilleur codage, il faut connaître l'ordre de grandeur de chacune des 18 variables

Essaie cet exemple très simple mais très parlant sur les avantages des fichiers binaires :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
M  = int8(255*rand(500,100)-127);
 
tic
% Ecriture ascii
fid = fopen('M.txt','wt');
    fprintf(fid,'% d',M.');
fclose(fid);
toc
 
tic
% Ecriture binaire
fid = fopen('M.bin','w');
    fwrite(fid,M.','int8');
fclose(fid);
toc
 
tic
% Lecture ascii
fid = fopen('M.txt','rt');
    Mascii = fscanf(fid,'%d',[100,500]).';
fclose(fid);
toc
 
tic
% Lecture binaire
fid = fopen('M.bin','r');
    Mbinaire = fread(fid,[100,500],'*int8').';
fclose(fid);
toc
 
whos
 
all(Mascii(:) == Mbinaire(:))

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
Elapsed time is 0.043550 seconds.
Elapsed time is 0.004341 seconds.
Elapsed time is 0.018022 seconds.
Elapsed time is 0.001771 seconds.
  Name            Size              Bytes  Class     Attributes
 
  M             500x100             50000  int8                
  Mascii        500x100            400000  double              
  Mbinaire      500x100             50000  int8                
  ans             1x1                   8  double              
  fid             1x1                   8  double              
 
 
ans =
 
     1