Discussion :

[Mlezen]

Bonjour,

Je doit faire un programme matlab qui doit lire une matrice de 16 000 000 de lignes et de 3 colonnes. Mais voila, la première ligne est du texte ("x,y,z"). J'ai essayé avec load et fopen, je n'arrive pas à "sauter" cette ligne. Soit Matlab l'ouvre, mais je suis coincé pour supprimer cette ligne (avec fopen), soit il ne l'ouvre même pas (avec load).

Comment puis-je faire ?

Merci

[Jerome Briot]

Si ton fichier ressemble à ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
x y z
0.48976 0.75127 0.34998
0.44559 0.2551 0.1966
0.64631 0.50596 0.25108
0.70936 0.69908 0.61604
0.75469 0.8909 0.47329
0.27603 0.95929 0.35166
0.6797 0.54722 0.83083
0.6551 0.13862 0.58526
0.16261 0.14929 0.54972
0.119 0.25751 0.91719
0.49836 0.84072 0.28584
0.95974 0.25428 0.7572
0.34039 0.81428 0.75373
0.58527 0.24352 0.38045
0.22381 0.92926 0.56782

Essaie ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
clear xyz
xyz = dlmread('data.txt',' ',1,0);

ou ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
clear xyz
fid = fopen('data.txt','rt');
    fgetl(fid);
    xyz = fscanf(fid,'%f',[3,inf]).';
fclose(fid);

ou encore ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
clear xyz
[xyz(:,1),xyz(:,2),xyz(:,3)] = textread('data.txt','%f%f%f','delimiter',' ','headerlines',1); % idem avec TEXTSCAN

[FR119492]

Salut!

une matrice de 16 000 000 de lignes et de 3 colonnes

A première vue, ce n'est pas une matrice (matrix) mais un tableau (array).

Ce que l'on conçoit bien s'énonce clairement,
Et les mots pour le dire arrivent aisément.
Nicolas Boileau (1636 - 1711)

Jean-Marc Blanc

[Loïc B.]

Ou sinon, si tu ne veux pas coder, tu peux toujours avoir recours à Matlab en cliquant droit sur le nom de ton fichier dans le petit explorateur à gauche de ton interface (par défaut). Là tu fais import, tu spécifies 1 ligne de header, et tu fais importer. Tu peux même générer automatiquement un M-file pour lire des fichiers du même type.

[Mlezen]

Merci Dut,
Tes solutions fonctionnent parfaitement !
Il ne me reste plusqu'un problème : réussir à passer outre le "out of memory" !

Encore merci !

[Jerome Briot]

Il ne me reste plusqu'un problème : réussir à passer outre le "out of memory" !

Si tu stockes l'ensemble de tes données dans une seule variable en classe Double, sa taille sera :

taille = 16000000*3*8/1024/1024 = 366 Mo (environ)

Il serait peut être préférable de lire les trois colonnes dans trois variables séparément.

Par exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
x = textread('data.txt','%f%*f%*f','delimiter',' ','headerlines',1);
y = textread('data.txt','%*f%f%*f','delimiter',' ','headerlines',1);
z = textread('data.txt','%*f%*f%f','delimiter',' ','headerlines',1);

Il nous faudrait un aperçu de quelques lignes de ton fichier pour pouvoir t'aider plus finement. Tu peux aussi en attacher un extrait en le mettant dans une archive zip

[Mlezen]

Voici un morceau de mon fichier, si cela peu aider.
Le fichier .txt complet fait 450 Mo environ.

Je ne comprends pas trop pourquoi j'ai un "out of memory" car je travail sur un ordinateur relativement puissant (2.3 GHz, 2 Go de ram), sous XP et que tous les processus non essentiels ou presque sont arrêtés...
Avant l'ouverture du fichier, j'ai environ 350-400 Mo d'utilisés, donc il me reste de la marge, non ?

Merci

[Jerome Briot]

Avant l'ouverture du fichier, j'ai environ 350-400 Mo d'utilisés, donc il me reste de la marge, non ?

Oui.... mais non => out of memory

Et comme toujours la : Out of memory. Type HELP MEMORY for your options.

[Mlezen]

Dut,
J'ai lu tout cela, je cherche donc une solution aussi de mon côté...
Merci !

[Edit]Je ne trouve pas de solution, peu importe ce que j'essaie, je ne peux même pas importer mon tableau sous matlab et encore moins supprimer la permière ligne... J'ai toujours un dépassement de la capacité de la mémoire et ce, sij'importe par partie, par colonne,...

[nahouto]

Dut,
J'ai lu tout cela, je cherche donc une solution aussi de mon côté...
Merci !

[Edit]Je ne trouve pas de solution, peu importe ce que j'essaie, je ne peux même pas importer mon tableau sous matlab et encore moins supprimer la permière ligne... J'ai toujours un dépassement de la capacité de la mémoire et ce, sij'importe par partie, par colonne,...

tu as lu la FAQ sur la gestion de la mémoire par Matlab ?

[Jerome Briot]

Et si tu nous disais ce que tu comptes faire avec ces données ?

Sinon, je ne comprends pas pourquoi la ligne suivante ne passe pas niveau mémoire...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
[x,y,z] = textread('data.txt','%f%f%f','delimiter',' ','headerlines',1);

As-tu d'autres grosses variables dans ton code dans MATLAB ?

Que retourne MEMORY avant d'exécuter ton code ?

[Mlezen]

Dut,
Tu parles de quelle fonction memory ?

[Jerome Briot]

=> Display memory information

[j_ere_my]

file = ficher d'entrée

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

[h, fic] = hdrload(sprintf('%s%s',file.name)

essaye ca
ta matrice est sous fic, desormais

[Caro-Line]

file = ficher d'entrée

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

[h, fic] = hdrload(sprintf('%s%s',file.name)

essaye ca
ta matrice est sous fic, desormais

Il aurait été bien de préciser où trouver cette fonction : hdrload qui n'est pas par défaut dans MATLAB (ou alors dans les dernières versions ?).

De plus en regardant le code de la fonction (qui soit dit en passant est plein de EVAL), je ne pense pas que cela résoudra son problème de mémoire