Lecture d'un fichier CSV

Version imprimable

Voir 40 message(s) de cette discussion en une page

1 pièce(s) jointe(s)

Lecture d'un fichier CSV

Bonjour à tous,

Je débute un stage et dans cette perspective je dois pouvoir lire des fichiers CSV. Cependant les fichiers sont trop volumineux et je ne peux pas utiliser la fonction csvread de matlab. En fait on m'impose d'utiliser le script suivant :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
fid=fopen('test.csv','r');
fid0=fopen('PhData.int','w');
fid1=fopen('Imp1.int','w');
fid2=fopen('Imp2.int','w');
fid3=fopen('Imp3.int','w');
fid4=fopen('Imp4.int','w');
fid5=fopen('Imp5.int','w');
fid6=fopen('Imp6.int','w');
Imp=zeros(6,1);
for k=0:5
    tline = fgetl(fid);
    if ~ischar(tline),   break,   end
    disp(tline)
end
Num=0;
% Pour ce fichier la valeur max de Num est 3942351!!!
while 1
 
    Num=Num+1
    tline = fgetl(fid);
    if ~ischar(tline),   break,   end
    disp(tline);
    ind = find(tline==',');
     ph = str2num(tline(1:ind(1)-1));
     if (rem(Num,50)==1) fwrite(fid0,ph,'short'); end;
    Imp(1) = str2num(tline(ind(1)+1:ind(2)-1));
     for k=2:6
         Imp(k-1) = str2num(tline(ind(k-1)+1:ind(k)-1));
     end
    Imp(6) = str2num(tline(ind(6):end));
    fwrite(fid1,Imp(1),'short');
    fwrite(fid2,Imp(2),'short');
    fwrite(fid3,Imp(3),'short');
    fwrite(fid4,Imp(4),'short');
    fwrite(fid5,Imp(5),'short');
    fwrite(fid6,Imp(6),'short');
end
 fclose(fid);
 fclose(fid1);
 fclose(fid2);fclose(fid3);
 fclose(fid4);fclose(fid5);
 fclose(fid6);fclose(fid0);

Il suffit simplement d'entrer en haut le nom du fichier csv à lire, en l'occurence test.csv ici. Mais cela ne marche pas et j'ai l'erreur classique In an assignment A(I) = B, the number of elements in B and I must be the same. mais je n'arrive pas à résoudre le problème. En fait le programme s'exécute mais il ne lit pas tout le fichier :

ame= , test
channels= , 13
sf= , 1.000, 50.000, 1.000, 50.000, 1.000, 50.000, 1.000, 50.000, 1.000, 50.000, 1.000, 50.000, 1.000
Types= , pH, Imp, Base, Imp, Base, Imp, Base, Imp, Base, Imp, Base, Imp, Base
sf file= , 1.000

Num =

     1

, 6.80, 1084.00, 812.00, 1014.00, 1134.00, 1617.00, 1384.00, 1282.00, 1524.00, 1461.00, 1805.00, 1136.00, 2064.00
???  In an assignment  A(I) = B, the number of elements in B and
 I must be the same.

Error in ==> lecture_impedance at 30
    Imp(6) = str2num(tline(ind(6):end));

Vous trouverez le csv en pièce-jointe.

22/05/2013, 11h14
Jean Dumoncel

Bonjour,

à la ligne 23, l'opérateur == ne peut pas être utilisé pour comparer des chaines de caractères (cela te renvoie un tableau vide même si il y a des virgules dans ta chaine), il faut utiliser une fonction comme strfind. Et attention, la première colonne de ton fichier ne contient pas de valeur numérique.

Bonjour magelan et merci de cette réponse. J'ai essayé d'utiliser la ligne suivante à la place :

Code:

ind=strfind(fid,',');

Mais cela ne fonctionne pas :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 Types= , pH, Imp, Base, Imp, Base, Imp, Base, Imp, Base, Imp, Base, Imp, Base sf file= , 1.000 Num = 1 , 6.80, 1084.00, 812.00, 1014.00, 1134.00, 1617.00, 1384.00, 1282.00, 1524.00, 1461.00, 1805.00, 1136.00, 2064.00 ??? Index exceeds matrix dimensions. Error in ==> lecture_impedance at 25 ph = str2num(tline(1:ind(1)-1));
Je suis assez novice en la matière donc je ne comprend pas bien ce que je fait ni ce qui se passe. D'autre part que veux-tu dire par ta remarque : "la première colonne...ne contient pas de valeur numérique" et quel problèmes cela pose-t-il ?

22/05/2013, 11h55
Jean Dumoncel

Il faut regarder la doc des fonctions : strfind renverra la position de toutes les virgules dans ta chaine de caractère. Regarde ce que contient ind et ce que renvoie tline(1:ind(1)-1).

Je pense que tu devrais essayer de lire la ligne en une seule fois. Par exemple en utilisant la fonction sscanf :

Code:

S = sscanf(tline,',%f');

Merci, j'ai donc essayé avec cette commande :

Code:

ind= sscanf(tline,',%f')

J'ai toujours un message d'erreur et la lecture s'arrête à nouveau) la première ligne :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
Num =
 
     1
 
, 6.80, 1084.00, 812.00, 1014.00, 1134.00, 1617.00, 1384.00, 1282.00, 1524.00, 1461.00, 1805.00, 1136.00, 2064.00
Warning: Integer operands are required for colon operator when used as index.
> In lecture_impedance at 26
Warning: Integer operands are required for colon operator when used as index.
> In lecture_impedance at 28
??? Index exceeds matrix dimensions.
 
Error in ==> lecture_impedance at 28
    Imp(1) = str2num(tline(ind(1)+1:ind(2)-1));

Il semble donc que ce n'est pas la commande de récupération de l'indice qui soit en cause puisque dans les trois cas le code s'arrête à la première ligne contenant des nombres séparés de virgule. Bref je ne comprend pas bien. J'ai essayé également avec un fichier CSV ne contenant que des nombres séparés de virgule, par ex :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
, 6.80, 1084.00, 812.00, 1014.00, 1134.00, 1617.00, 1384.00, 1282.00, 1524.00, 1461.00, 1805.00, 1136.00, 2064.00
, 6.20, 705.00, 812.00, 1086.00, 1134.00, 1341.00, 1384.00, 1115.00, 1524.00, 1086.00, 1805.00, 1935.00, 2064.00
, 6.70, 848.00, 810.00, 699.00, 1131.00, 767.00, 1382.00, 805.00, 1522.00, 1338.00, 1806.00, 1914.00, 2065.00
, 6.30, 1366.00, 808.00, 549.00, 1128.00, 703.00, 1380.00, 788.00, 1520.00, 1347.00, 1807.00, 1926.00, 2065.00
, 6.40, 1332.00, 805.00, 549.00, 1124.00, 779.00, 1379.00, 864.00, 1518.00, 1031.00, 1808.00, 1662.00, 2066.00
, 6.80, 835.00, 803.00, 566.00, 1121.00, 861.00, 1377.00, 937.00, 1515.00, 1037.00, 1809.00, 1663.00, 2067.00
, 6.70, 880.00, 801.00, 696.00, 1117.00, 965.00, 1376.00, 1015.00, 1513.00, 1175.00, 1810.00, 1726.00, 2067.00
, 6.30, 1350.00, 797.00, 850.00, 1113.00, 1072.00, 1373.00, 910.00, 1511.00, 1128.00, 1811.00, 1797.00, 2068.00
, 6.70, 717.00, 795.00, 764.00, 1110.00, 1010.00, 1372.00, 947.00, 1508.00, 1175.00, 1812.00, 1867.00, 2069.00
, 6.60, 534.00, 793.00, 722.00, 1106.00, 987.00, 1370.00, 1222.00, 1506.00, 1265.00, 1812.00, 1910.00, 2070.00
, 6.50, 1014.00, 790.00, 968.00, 1103.00, 1221.00, 1369.00, 1000.00, 1504.00, 1137.00, 1813.00, 1791.00, 2070.00
, 6.60, 567.00, 788.00, 1004.00, 1100.00, 1211.00, 1367.00, 1032.00, 1502.00, 1367.00, 1814.00, 2035.00, 2071.00
, 7.00, 504.00, 786.00, 713.00, 1096.00, 1033.00, 1365.00, 1292.00, 1500.00, 1311.00, 1815.00, 2013.00, 2072.00
, 6.40, 603.00, 784.00, 953.00, 1093.00, 1190.00, 1364.00, 1016.00, 1498.00, 1105.00, 1816.00, 1812.00, 2072.00
, 6.90, 537.00, 781.00, 814.00, 1090.00, 1117.00, 1362.00, 1277.00, 1496.00, 1404.00, 1817.00, 1950.00, 2073.00
, 6.90, 575.00, 778.00, 840.00, 1086.00, 980.00, 1360.00, 1197.00, 1494.00, 1334.00, 1818.00, 2247.00, 2074.00
, 6.60, 683.00, 776.00, 1123.00, 1082.00, 1353.00, 1359.00, 1104.00, 1492.00, 1410.00, 1819.00, 2488.00, 2074.00
, 6.50, 611.00, 774.00, 850.00, 1079.00, 997.00, 1357.00, 987.00, 1490.00, 1675.00, 1819.00, 1623.00, 2075.00
, 6.70, 552.00, 772.00, 629.00, 1076.00, 944.00, 1356.00, 983.00, 1488.00, 1652.00, 1820.00, 2312.00, 2076.00
, 6.50, 636.00, 770.00, 713.00, 1073.00, 850.00, 1354.00, 709.00, 1486.00, 1915.00, 1821.00, 2555.00, 2076.00
, 6.70, 565.00, 768.00, 765.00, 1070.00, 974.00, 1353.00, 816.00, 1484.00, 1341.00, 1822.00, 2076.00, 2077.00
, 6.80, 567.00, 766.00, 751.00, 1067.00, 1094.00, 1351.00, 1108.00, 1482.00, 1377.00, 1822.00, 1678.00, 2078.00
, 6.70, 581.00, 764.00, 1020.00, 1064.00, 1284.00, 1350.00, 1015.00, 1480.00, 1369.00, 1823.00, 1924.00, 2078.00

La lecture ne marche toujours pas et s'arrête à la 6ème ligne sans raison apparente. Bref je suis assez perdu ! Je ne suis pas censé modifier le code en fait et je ne le comprends pas bien.

22/05/2013, 13h59
Jean Dumoncel

Code:

doc sscanf

pour te rendre compte que sscanf ne renvoie pas d'indice...

Quelles sont les colonnes qui doivent être lues? Je ne crois pas que le code soit bien adapté à ton fichier, puisque apparemement le code récupère la colonne pH et les colonnes Imp or toi tu as également des colonnes base.

Si tu veux essayer d'adapter le code, il faut que tu comprennes ce qu'il fait, par exemple pour récupérer la valeur du ph, il faut corriger la ligne par :

Code:

ph = str2num(tline(ind(1)+1:ind(2)-1));

car c'est la valeur entre la première et la deuxième virgule.

Après, quitte à modifier le code, il me semble plus simple d'utiliser sscanf.
22/05/2013, 14h55
abel413

En fait, en regardant un peu mieux ce code (qui m'est fourni et en théorie devrait fonctionner mais ce n'est pas le cas) et, pour être en accord avec ce que je dois faire, il se trouve que je dois analyser une courbe de pH qui est unique et sera commune à 6 mesures différentes d'impédance (Imp) ; les colonnes base ne sont en fait pas à récupérer : il s'agit d'une "ligne de base" où doit osciller l'impédance en l'abscence de signal. Bref, disons que cette ligne ne nous intéresse pas pour le moment. Je devrais vraisemblablement réaliser une moyenne des colonnes base pour chaque impédance par la suite.

Ainsi, si je comprend bien, 7 fichiers sont crées et doivent contenir les données relatives au ph et aux 6 mesure d'impédances. Il s'agit donc de récupérer les valeurs dedans i.e. les colonnes et de lire les colonnes pH et Imp sans tenir compte des colonnes base. Avec ce code les fichier int sont crées mais semblent vides.

D'après ce que tu me dis, quand on fait : str2num(tline(ind(1)+1:ind(2)-1)) on considère donc la première colonne pH, est-ce correcte ? Le fichier pHData.int pèse alors 2 octets mais je ne peux pas regarder ce qu'il y a dedans : saurais-tu comment "lire" un tel fichier et voir son contenu ?

D'autre part si je veux donc faire de même avec les colonnes Imp, le code propose une boucle de 2 à 6 mais elle est apparement mal faite car les int récupérés semblent bien vide.
22/05/2013, 15h10
Jean Dumoncel

Les fichier créés sont des fichiers binaires, tu ne peux pas les lire avec un éditeur de texte classique. A quoi vont te servir ces fichiers?

Après réflexion, je peux sans doute me passer de boucle non ? Par exemple, je pourrais écrire :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 fid=fopen('test2.csv','r'); fid0=fopen('PhData.int','w'); fid1=fopen('Imp1.int','w'); fid2=fopen('Imp2.int','w'); fid3=fopen('Imp3.int','w'); fid4=fopen('Imp4.int','w'); fid5=fopen('Imp5.int','w'); fid6=fopen('Imp6.int','w'); Imp=zeros(6,1); for k=0:5 tline = fgetl(fid); if ~ischar(tline), break, end disp(tline) end Num=0; % Pour ce fichier la valeur max de Num est 3942351!!! while 1 Num=Num+1 tline = fgetl(fid); if ~ischar(tline), break, end disp(tline); ind = find(tline==','); %ind=strfind(fid,','); %ind= sscanf(tline,',%f'); %ph = str2num(tline(1:ind(1)-1)); ph = str2num(tline(ind(1)+1:ind(2)-1)); if (rem(Num,50)==1) fwrite(fid0,ph,'short'); end; Imp(1) = str2num(tline(ind(2)+1:ind(3)-1)); %for k=2:6 %Imp(k-1) = str2num(tline(ind(k-1)+1:ind(k)-1)); %end %Imp(6) = str2num(tline(ind(6):end)); fwrite(fid1,Imp(1),'short'); fwrite(fid2,Imp(2),'short'); fwrite(fid3,Imp(3),'short'); fwrite(fid4,Imp(4),'short'); fwrite(fid5,Imp(5),'short'); fwrite(fid6,Imp(6),'short'); end fclose(fid); fclose(fid1); fclose(fid2);fclose(fid3); fclose(fid4);fclose(fid5); fclose(fid6);fclose(fid0);
Je n'ai pas défini les Imp autres que Imp(1) mais en tout cas en exécutant ce code le programme semble tourner mais il est extrêmement lent. Ce qui m'embête c'est que pH s'écrit mais aussi tous les Imp ; à fortiori je m'attendrai à ce que seul Imp(1) soit écrit mais là tous les Imp de 1 à 6 ont été écrit et ont même taille. Il semble donc que les résultats Imp(1) aient été recopiés dans tous les autres Imp(2), Imp(3)...est-ce correcte ? Mais bon moi j'ai besoin de sélectionner tous les Imp séparément. Je vais essayer avec l'indicage mais je voudrais être bien sûr que l'indicage permet de récupérer les bonnes colonnes.

Sinon, en gros ce que j'ai besoin c'est de récupérer les données des colonnes pH et Imp, la base est là pour donner un ordre d'une valeur moyenne de consigne en l’absence de signal. Ensuite, je dois détecter dans les différents Imp des pics. La détection doit donc s'effectuer à partir des données binaires recueillies. Je ne sais pas exactement comment je vais faire cela pour le moment mais en tout cas je voudrais être sûr du contenu des int et ainsi vérifier le fonctionnement du script précédent.

23/05/2013, 08h51
Jean Dumoncel

Citation:

Envoyé par abel413

à fortiori je m'attendrai à ce que seul Imp(1) soit écrit mais là tous les Imp de 1 à 6 ont été écrit et ont même taille. Il semble donc que les résultats Imp(1) aient été recopiés dans tous les autres Imp(2), Imp(3)...est-ce correcte ?

Tu as définis : Imp=zeros(6,1); donc de toute manière, toutes tes valeurs Imp sont initialisées à 0.

As-tu besoin d'écrire ces valeurs dans un fichier? ne peux-tu pas juste les stocker dans une variable pour les utiliser ensuite?

1 pièce(s) jointe(s)

Bonjour,

Le problème est en fait plus subtile que je ne le pensais : je dois extraire la colonne du pH d'une part et les colonnes Imp d'autre part mais pour ces colonnes Imp je dois à chaque fois retrancher la valeur de Base qui joue le rôle de valeur moyenne. Donc cela revient à isoler Imp2=Imp - Base ; bref, en tout j'aurais donc 7 colonnes à isoler. C'est donc ce que j'ai essayé de faire dans le code ci-dessous mais cela ne marche pas bien je crois :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 fid=fopen('test4.csv','r'); fid0=fopen('PhData.int','w'); fid1=fopen('Imp1.int','w'); fid2=fopen('Imp2.int','w'); fid3=fopen('Imp3.int','w'); fid4=fopen('Imp4.int','w'); fid5=fopen('Imp5.int','w'); fid6=fopen('Imp6.int','w'); Imp=zeros(6,1); for k=0:5 tline = fgetl(fid); if ~ischar(tline), break, end disp(tline) end Num=0; % Pour ce fichier la valeur max de Num est 3942351!!! while 1 Num=Num+1 tline = fgetl(fid); if ~ischar(tline), break, end disp(tline); ind = find(tline==','); %ind=strfind(fid,','); %ind= sscanf(tline,',%f'); ph = str2num(tline(2:ind(2)-1)); if (rem(Num,50)==1) fwrite(fid0,ph,'short'); end; Imp(1) = str2num(tline(ind(2)+1:ind(3)-1)); for k=2:12 Imp(k-1) = str2num(tline(ind(k)+1:ind(k+1)-1)); end Imp(13) = str2num(tline(ind(13):end)); for i=1:6, Imp2(i)=Imp(2*i)-Imp(2*i+1); end fwrite(fid1,Imp2(1),'short'); fwrite(fid2,Imp2(2),'short'); fwrite(fid3,Imp2(3),'short'); fwrite(fid4,Imp2(4),'short'); fwrite(fid5,Imp2(5),'short'); fwrite(fid6,Imp2(6),'short'); end fclose(fid); fclose(fid1); fclose(fid2);fclose(fid3); fclose(fid4);fclose(fid5); fclose(fid6);fclose(fid0);
Je joins le fichier test 4 en PJ. Avec ce code la lecture s'effectue bien mais je n'arrive pas à vérifier le contenu des fichiers int générés. Aurais-tu une idée de comment procéder ? Ou sinon sur matlab ?

En fait on m'impose de les stocker dans un fichier int comme je viens de le faire mais j'ignore comment je vais pouvoir exploiter ces fichiers.

D'autre part, comment pourrais-t-on stocker dans une variable les résultats dans ce cas ?

1 pièce(s) jointe(s)

J'apporte une petite modification au message précédent. J'ai finalement un code qui semble faire ce que je veux : il isole la colonne du pH, il isole les colones Imp en soustrayant à chaque fois la valeur de base (c'est le calcul de Imp2), le voici :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 [filename, pathname] = uigetfile('*.*', 'Pick a file'); nomfich=strcat(pathname,filename); fid=fopen(nomfich); %fid=fopen('test4.csv','r'); fid0=fopen('PhData.int','w'); fid1=fopen('Imp1.int','w'); fid2=fopen('Imp2.int','w'); fid3=fopen('Imp3.int','w'); fid4=fopen('Imp4.int','w'); fid5=fopen('Imp5.int','w'); fid6=fopen('Imp6.int','w'); Imp=zeros(6,1); for k=0:5 tline = fgetl(fid); if ~ischar(tline), break, end disp(tline) end Num=0; while 1 Num=Num+1 tline = fgetl(fid); if ~ischar(tline), break, end disp(tline); ind = find(tline==','); %ind=strfind(fid,','); %ind= sscanf(tline,',%f'); ph = str2num(tline(2:ind(2)-1)); if (rem(Num,50)==1) fwrite(fid0,ph,'short'); end; Imp(1) = str2num(tline(ind(2)+1:ind(3)-1)); for k=2:12 %Imp(k-1) = str2num(tline(ind(k)+1:ind(k+1)-1)); Imp(k-1) = str2num(tline(ind(k)+1:ind(k+1)-1)); end Imp(12) = str2num(tline(ind(13):end)); for i=0:5, %Imp2(i)=Imp(2*i)-Imp(2*i+1); Imp2(i+1)=Imp(2*i+1)-Imp(2*i+2); end fwrite(fid1,Imp2(1),'short'); fwrite(fid2,Imp2(2),'short'); fwrite(fid3,Imp2(3),'short'); fwrite(fid4,Imp2(4),'short'); fwrite(fid5,Imp2(5),'short'); fwrite(fid6,Imp2(6),'short'); end fclose(fid); fclose(fid1); fclose(fid2);fclose(fid3); fclose(fid4);fclose(fid5); fclose(fid6);fclose(fid0);
Il marche donc mais le problème c'est que les fichiers que j'ai attaché en PJ sont petit. Je vais devoir traiter des données importantes et de ce fait ce code prend un temps immense (quelques minutes) pour s’exécuter entièrement. Voici un exemple de données CSV typiques en PJ, fichier 12-2-1.rar ; lance simplement matlab et mon code qui permet de sélectionner le CSV décompressé. Normalement, la lecture va se faire et prendre pas mal de temps. Mais, je dois trouver une solution pour que ca aille plus vite. Aurais-tu une suggestion pour optimiser ce code ?

Je sais ça fait pas mal de questions en deux post !

23/05/2013, 17h06
Jean Dumoncel

Enlève déjà les affichages que tu fais, cela te fera gagner du temps de calcul. Ensuite, tu peux regarder mon message 4 pour optimiser ton code, sscanf te permettra de supprimer ta première boucle et les str2num.

Mais lire le fichier ligne par ligne, ce sera toujours gourmand en temps de calcul. Tu dois traiter des fichiers plus grand en taille que l'exemple que tu donnes? Pourquoi ne peux-tu pas utiliser une fonction telle que csvread ou mieux importdata?

Oui je dois traiter des fichiers contenant environ 1 million de lignes (sans compter les 5 premières qui ne nous intéressent pas) ce qui fait des fichiers de l'ordre de 400 Mb ! D'après les travaux antérieurs qui ont été effectués, il est impossible d'utiliser csvread sur de tels fichiers et je suis donc contraint d'utiliser un code comme je l'ai fait. Mais, voilà en appliquant le code que j'ai proposé précédemment, la lecture se fait mais dure plus de deux heures ce qui n'est pas acceptable. Je voudrais que la lecture se fasse en quelques minutes au plus mais j'ignore si cela est possible.

EDIT : De plus je ne comprend pas bien comment utiliser sscanf ne serait-ce que pour la lecture du pH par exemple et sans str2num. Je comprends qu'en faisant S=sscanf(tline,',%f') je vais stocker dans S les lignes une à une. Ensuite j'ai envie d'écrire bêtement le code suivant :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 tic [filename, pathname] = uigetfile('*.*', 'Pick a file'); nomfich=strcat(pathname,filename); fid=fopen(nomfich); %fid=fopen('test4.csv','r'); fid0=fopen('PhData.int','w'); fid1=fopen('Imp1.int','w'); fid2=fopen('Imp2.int','w'); fid3=fopen('Imp3.int','w'); fid4=fopen('Imp4.int','w'); fid5=fopen('Imp5.int','w'); fid6=fopen('Imp6.int','w'); Imp=zeros(6,1); for k=0:5 tline = fgetl(fid); if ~ischar(tline), break, end disp(tline) end Num=0; while 1 Num=Num+1; tline = fgetl(fid); if ~ischar(tline), break, end disp(tline); S=sscanf(tline,',%f'); %ind = find(tline==','); %ind=strfind(fid,','); %ind= sscanf(tline,',%f'); %ph = str2num(tline(2:ind(2)-1)); ph=S(1); if (rem(Num,50)==1) fwrite(fid0,ph,'short'); end; %Imp(1) = str2num(tline(ind(2)+1:ind(3)-1)); for i=1:13 Imp(i)=S(i); end % for k=2:12 % %Imp(k-1) = str2num(tline(ind(k)+1:ind(k+1)-1)); % Imp(k-1) = str2num(tline(ind(k)+1:ind(k+1)-1)); % end % Imp(12) = str2num(tline(ind(13):end)); for i=0:5, % %Imp2(i)=Imp(2*i)-Imp(2*i+1); Imp2(i+1)=Imp(2*i+2)-Imp(2*i+3); end fwrite(fid1,Imp2(1),'short'); fwrite(fid2,Imp2(2),'short'); fwrite(fid3,Imp2(3),'short'); fwrite(fid4,Imp2(4),'short'); fwrite(fid5,Imp2(5),'short'); fwrite(fid6,Imp2(6),'short'); end fclose(fid); fclose(fid1); fclose(fid2);fclose(fid3); fclose(fid4);fclose(fid5); fclose(fid6);fclose(fid0); toc
Mais j'ai tout de même des boucles.

Tu peux l'utiliser comme ceci :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
tic
[filename, pathname] = uigetfile('*.*', 'Pick a file');
nomfich=fullfile(pathname,filename);
fid=fopen(nomfich);
fid0=fopen('PhData.int','w');
fid1=fopen('Imp1.int','w');
fid2=fopen('Imp2.int','w');
fid3=fopen('Imp3.int','w');
fid4=fopen('Imp4.int','w');
fid5=fopen('Imp5.int','w');
fid6=fopen('Imp6.int','w');
for k=0:5
    tline = fgetl(fid);
    if ~ischar(tline),   break,   end
end
Num=0;
while 1
    Num=Num+1;
    tline = fgetl(fid);
    if ~ischar(tline),   break,   end
    S=sscanf(tline,',%f');
    if (rem(Num,50)==1) fwrite(fid0,S(1),'short'); end;
    S2=S(2:2:end)-S(3:2:end);
    fwrite(fid1,S2(1),'short');
    fwrite(fid2,S2(2),'short');
    fwrite(fid3,S2(3),'short');
    fwrite(fid4,S2(4),'short');
    fwrite(fid5,S2(5),'short');
    fwrite(fid6,S2(6),'short');
end
fclose(fid);
fclose(fid1);
fclose(fid2);fclose(fid3);
fclose(fid4);fclose(fid5);
fclose(fid6);fclose(fid0);
toc

Les manipulations de S sont à vérifier selon tes besoins.

Merci Magelan, fantastique script ! Effectivement c'est bien rapide ! Je suis en train de le tester sur un gros fichier d'1 million de lignes. Auparavant, cela prenait 2 heures et plus mais là cela prend 632 secondes. J'ai l'impression que le code que tu proposes est condensé au maximum et qu'il repose sur sscanf. Y-a-t-il une autre fonction plus rapide encore ? Et à propos de ImportData, comment l'utiliser dans ce contexte ? En fait je voudrais le script le plus rapide possible.

Enfin, je te demandais également plus haut ce que je pouvais faire des fichiers int générés. Après des recherches, je suis parvenu à "lire" le contenu binaire de ces fichiers grâce au script suivant par exemple :
Code:

1 2 3 4 5 6 7 8 9 10 11 fid0=fopen('PhData.int','rb'); fid1=fopen('Imp1.int','rb'); fid2=fopen('Imp2.int','rb'); fid3=fopen('Imp3.int','rb'); fid4=fopen('Imp4.int','rb'); fid5=fopen('Imp5.int','rb'); fid6=fopen('Imp6.int','rb'); A0 = fread(fid0) max(A0) min(A0)
Bref, j'ai donc accès aux différentes valeurs mais je ne sais si ce contenu est pertinent. L'idée c'est que je dois exploiter les valeurs de pH et d'Imp stockées dans ces fichiers pour détecter par exemple des pics ou des changements de variations sur les courbes réelles de pH et d'Imp. Mais j'ai l'impression que ces fichiers ne seront d'aucune aide. De plus, sur les exemples proposés les données sont échantillonnées à 1 Hz ce qui signifie que j'ai un point toutes les 1 secondes donc que deux valeur de Ph ou d'Imp sont séparés d'une seconde. J'aurais donc besoin d'exprimer des courbes de Ph et d'Imp en fonction du temps à partir des données receuillies.

24/05/2013, 14h47
Jean Dumoncel

Citation:

Envoyé par abel413

Merci Magelan, fantastique script ! Effectivement c'est bien rapide ! Je suis en train de le tester sur un gros fichier d'1 million de lignes. Auparavant, cela prenait 2 heures et plus mais là cela prend 632 secondes. J'ai l'impression que le code que tu proposes est condensé au maximum et qu'il repose sur sscanf. Y-a-t-il une autre fonction plus rapide encore ? Et à propos de ImportData, comment l'utiliser dans ce contexte ? En fait je voudrais le script le plus rapide possible.

en même temps tu aurais dit : "je voudrais le script le plus rapide possible", j'aurai trouvé cela bizarre. Il est peut-être possible d'accéler les choses ou du moins de réduire le nombre d'opération en utilisant fscanf. Pour importdata, je te laisse essayer, il suffit de regarder la doc, tu peux spécifier le séparateur de valeur ainsi que le nombre de ligne de l'entête à passer.

Citation:

Envoyé par abel413

Bref, j'ai donc accès aux différentes valeurs mais je ne sais si ce contenu est pertinent. L'idée c'est que je dois exploiter les valeurs de pH et d'Imp stockées dans ces fichiers pour détecter par exemple des pics ou des changements de variations sur les courbes réelles de pH et d'Imp. Mais j'ai l'impression que ces fichiers ne seront d'aucune aide. De plus, sur les exemples proposés les données sont échantillonnées à 1 Hz ce qui signifie que j'ai un point toutes les 1 secondes donc que deux valeur de Ph ou d'Imp sont séparés d'une seconde. J'aurais donc besoin d'exprimer des courbes de Ph et d'Imp en fonction du temps à partir des données receuillies.

Je ne vois pas le problème, si tu connais le nombre de valeurs, tu connais le temps?
27/05/2013, 10h32
abel413

1 pièce(s) jointe(s)

Bonjour et merci pour ton aide à nouveau. Je vais essayer de résumer les différentes choses afin d'éclaircir mon problème. Je te propose de faireles choses en même temps que moi.

Tout d'abord, prend le fichier de test en PJ : magelan
Ensuite, tu lance le code qui finit par OPT2. On fait ainsi ce que je veux : les données à utiliser sont stockées dans les différents fichiers .int ; lance ensuite le code lecturecontenu_1ph ; on peut ainsi "lire" les différentes valeurs que j'avais préalablement stockées dans les .int. Je précise que, après discussion avec mon encadrant, j'ai multiplié dans le fichier finissant par OPT2 par 10 le pH et ainsi les résultats obtenus dans valeurs_Imp1 sont donc multipliés par 10.

A présent les différents problèmes :

1) Puis-je me passer de cette multiplication par 10 et afficher les "vrai" pH avec virgule ? Tu remarqueras que pour les résultats du pH une valeur (ici 7) traîne en position 1 et ne correspond à "rien". Je n'arrive pas à comprendre d'où elle vient et comment l'enlever.

2) A présent que j'ai donc les différentes valeurs qui m'intéressent dans les int et que je peux donc les afficher à chaque instant avec la fonction lecturecontenu_1Ph je voudrais pouvoir les exploiter. Mais je ne sais pas bien comment faire : j'ai pensé à réaliser un histogramme ou une sorte de représentation du Ph en fonction des points (ou du temps) et de même pour les Imp. Mais comment faire précisément ?

3) J'ai un autre problème plus embarrassant : je voudrais réussir à automatiser la lecture (à l'aide du ...OPT2.m) ; je m'explique : disons que j'ai un répertoire qui contient un certain nombres de fichiers .csv. Ce que je voudrais faire c'est automatiser les processus de la manière suivante : la fonction lit un à un chaque .csv du répertoire et pour chacun crée un sous-répertoire contenant les différents int :

en gros si mon répertoire s'appelle Test et qu'il contient 1.csv, 2.csv et 3.csv je voudrais faire un script matlab qui me permette de lire les trois fichiers et de créer les trois sous-répertoires 1,2,3 avec les fichiers .int respectif. Mais je n'ai aucune idée de comment procéder et si je dois modifier le fichier OPT2.
27/05/2013, 12h14
abel413
Entre temps j'ai trouvé une sorte d'astuce pour le pH : je supprime la première valeur et e divise les autres par 10. Cela donne "l'illusion" que j'obtiens bien les pH attendu.

Pour ma troisième question 3) j'ai commencé un code comme ceci :
Code:

1 2 3 4 5 6 7 [addpath('C:\Documents and S....') [c, w] = dos('dir *.csv /b'); % P=find(w=='.csv') while(strfind(w,'.csv')) lecture_impedance_1pH_code_correct_OPT2; end
L'ensemble semble se lancer : un csv m'est demandé puis un autre ect ; cependant les différent int sont ainsi écrasés à chaque fois. Il est clair que je dois modifier le script lecture_impedance_1pH_code_correct_OPT2 pour permettre cette automatisation et que tous les csv soient lus sans mon intervention. Après, pour avoir comme je le veux un répertoire pour chacun je ne sais pas comment faire.
27/05/2013, 14h28
Jean Dumoncel

Pense à toujours utiliser fclose lorsque tu utilises fopen.

La première valeur du pH vient de cette ligne :

Code:

if (rem(Num,50)==1) fwrite(fid0,S(1),'short'); end;

Si tu ne la veux pas, il suffit de supprimer la ligne en question.

Après je n'ai pas compris la division par 10...

Pour lister les fichiers d'un répertoire, voir la :faq: :
Comment lister les fichiers d'une certaine extension dans un répertoire ?
Cela t'évitera d'utiliser des commandes dos.
Pour la suite, il y a plusieurs choix possibles, que veux-tu faire exactement? quelle est le formalisme pour les noms des fichiers de sortie? ou doivent-ils être enregistrer?

Voir 40 message(s) de cette discussion en une page