optimisation lecture de données

Bonjour à tous,

Pour un apprentissage et un contrôle de plusieurs réseaux de neurones, j'ai enregistré 18 variables x 262 milles et des bananes fois.

J'ai enregistré dans un fichier texte (400Mo).

Pour lancer mon apprentissage et modifié des paramètres, je relie ce fichier à chaque départ de mon programme et là çà prend beaucoup de temps...

Connaissez vous une méthode pour optimiser ce genre de chose (enregistrement et lecture de gros fichier) ?

Je travaille sous R2008a et/ou R2008b et sous MAC leopard et/ou winXP.

Merci de votre aide

Bonjour,

Ne te serait-il pas possible d'enregistrer ton fichier au format MAT, quitte à enregistrer les 2 formats si tu as besoin du TXT. Cà permet de pas mal limiter le temps de chargement en ayant en plus des données directement au bon format...

Bonne journée,
Duf

Merci duf42,

J'utilise le fichier ".txt" car je sais lire et écrire sur ce type de fichier et c'est uniquement çà.

Donc je vais regarder du côté ".mat"...

Christophe

Pour les MAT regarde du côté des fonctions SAVE et LOAD, tu vas grandement te simplifier la vie par rapport au TXT (du point de vue de gestion des données en tout cas)...

Bon courage,
Duf

Mini question,

La fonction "SAVE" ne s'utilise pas dans une boucle mais à la fin du script !!!

merci

Christophe

Tu peux également utiliser des fichiers binaires à la place des fichiers ascii.

Tu utilises alors les fonctions FOPEN/FWRITE/FCLOSE et FOPEN/FREAD/FCLOSE

Afin de choisir le meilleur codage, il faut connaître l'ordre de grandeur de chacune des 18 variables

Essaie cet exemple très simple mais très parlant sur les avantages des fichiers binaires :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

M = int8(255*rand(500,100)-127);   tic % Ecriture ascii fid = fopen('M.txt','wt'); fprintf(fid,'% d',M.'); fclose(fid); toc   tic % Ecriture binaire fid = fopen('M.bin','w'); fwrite(fid,M.','int8'); fclose(fid); toc   tic % Lecture ascii fid = fopen('M.txt','rt'); Mascii = fscanf(fid,'%d',[100,500]).'; fclose(fid); toc   tic % Lecture binaire fid = fopen('M.bin','r'); Mbinaire = fread(fid,[100,500],'*int8').'; fclose(fid); toc   whos   all(Mascii(:) == Mbinaire(:))

---

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Elapsed time is 0.043550 seconds. Elapsed time is 0.004341 seconds. Elapsed time is 0.018022 seconds. Elapsed time is 0.001771 seconds. Name Size Bytes Class Attributes   M 500x100 50000 int8 Mascii 500x100 400000 double Mbinaire 500x100 50000 int8 ans 1x1 8 double fid 1x1 8 double     ans =   1

---

• L'écriture et la lecture se font 10x plus rapidement ici en binaire
• La classe des données n'est pas altérée en binaire
• Fichier binaire 3x plus petit que le fichier ascii (49 ko contre 154 ko)

Voila...voila ;)

Merci Dut,

Je vais tester les deux...

Citation:

---

Envoyé par christophe_halgand

La fonction "SAVE" ne s'utilise pas dans une boucle mais à la fin du script !!!

---

Si, avec l'argument '-append'