Optimiser temps de lecture d'un fichier

Bonjour,

Pour analyser mes données, je dois lire des fichiers txt allant de 30 à 500 mo. Actuellement, j'utilise la fonction importdata mais parfois je peux attendre 1 à 2 minutes avant de lire et stocker les variables de mon fichier.

Le fichier à lire contient le nom des variables dans la première ligne et dans les autres lignes on a les données. Sur chaque ligne les données sont séparées par une tabulation. Pour le moment je lis mon fichier de cette manière :

Code:

---

1 2 3 4 5

D = importdata(name,'\t',1); % importe le log Datas = D.textdata; % enregistre les données au format string I = cellfun(@(x) isempty(x),D.textdata); % récupère les indices des donnees au format double Datas(I) = num2cell(D.data); % concatène les données string avec les donnees double

---

Ensuite pour chaque variable que je veux récupérer je fais :

Code:

---

1 2 3 4 5 6 7 8

ind = find(strcmp(Datas(1,:),'Date')); if (ind >= 1) Wind(i).Values = Datas(2:nb_lignes,ind); Wind(i).Name = 'Date'; Wind(i).Number = 120; Wind(i).Unit = 'dd/mm/yyyy'; i = i + 1; end

---

Ceux qui peut me faire perdre du temps est aussi que je lis tout le fichier alors que je n'exploite pas toutes les variables.

Voilà. Si quelqu'un a une idée à proposer je suis preneur !!!

Merci d'avance.

Bonjour,

Tu as la possibilité d'utiliser la fonction textscan. Tu peux regarder cette entrée de la FAQ.

Ok. merci pour la réponse.

Je vais regarder cette fonction et voir si elle permet d'être plus rapide.

Sinon je crois que le mieux serait que je transforme mon log via un programme en C ou Visual Basic pour par exemple le mettre au format '*.mat'.

Je viens de tester la fonction textscan et effectivement elle est plus rapide pour la lecture. Mais je perd tout mon temps ensuite à convertir les chaine de caractère en double et je me retrouve quasiment au même temps d’exécution qu'avec ma fonction précédente.

voici le code

Code:

---

1 2 3 4 5 6 7 8 9 10

fid = fopen(name); % ouverture du fichier lig = fgetl(fid); % lecture de la première ligne lig = textscan(lig,'%s','delimiter','\t'); % Decomposition de la premiere ligne Data = textscan(fid,'%s','delimiter','\t'); % lecture de tout le fichier. fclose(fid);   nb_colonnes = length(lig{1,1}); % nombre de colonne du fichier   Mat_Data = reshape(Data{1,1},nb_colonnes,[]); % reconstruit la matrice Mat_Data = Mat_Data'; % transpose la matrice

---

Je sauvegarde ensuite mes valeurs de la manière suivante

Code:

---

1 2 3 4 5 6 7 8

ind = find(strcmp(lig{1,1},'Tension_1')); if (ind >= 1) Wind(i).Values = str2double(Mat_Data(:,ind)); Wind(i).Name = 'Tension_1'; Wind(i).Number = 5; Wind(i).Unit = 'Voltage'; i = i + 1; end

---

Le souci est que mon fichier contient des chaines de caractères sur les 5 à 6 premières colonnes. Et que je ne peux donc pas tout lire en double directement. Est qu'il y aurait un moyen de définir par exemple les 5 premières colonnes je les lis en caractère et tous les autres en double ?

Merci 8-)

Oui c'est tout à fait possible, tu peux regarder l'exemple 2 de la documentation de cette fonction.

Merci pour cette réponse. Du coup j'ai pu optimisé le code de cette manière :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

fid = fopen(name); % ouverture du fichier lig = fgetl(fid); % lecture de la première ligne lig = textscan(lig,'%s','delimiter','\t'); % Decomposition de la premiere ligne nb_colonnes = length(lig{1,1}); % compte le nombre de colonne du fichier nb_string = 3; % Initialise le nombre de colonne de chaine de caractère en debut du fichier Vecteur_chaine = []; Vecteur_double = []; for i=1:1:nb_string % Initialise le vecteur du nombre de chaine de caractère Vecteur_chaine = [Vecteur_chaine '%s ']; end for i=nb_string+1:1:nb_colonnes % Initialise le vecteur du nombre de double Vecteur_double = [Vecteur_double '%f ']; end Vecteur = [Vecteur_chaine Vecteur_double]; % Conccatène les 2 vecteurs Data = textscan(fid,Vecteur,'delimiter','\t'); % lecture de tout le fichier fclose(fid);

---

ça fait pas super propre mais je suis beaucoup plus rapide qu'avec la fonction importdata !! Maintenant si je veux aller plus vite je crois qu'il va falloir modifier la façon de logger les données, mais pour le moment je n'y ai pas accès !!

Une petite optimisation:

Citation:

---

Envoyé par kronanberg

Code:

---

1 2 3 4 5 6 7 8 9

Vecteur_chaine = []; Vecteur_double = []; for i=1:1:nb_string % Initialise le vecteur du nombre de chaine de caractère Vecteur_chaine = [Vecteur_chaine '%s ']; end for i=nb_string+1:1:nb_colonnes % Initialise le vecteur du nombre de double Vecteur_double = [Vecteur_double '%f ']; end Vecteur = [Vecteur_chaine Vecteur_double]; % Conccatène les 2 vecteurs

---

---

Remplacé par:

Code:

---

Vecteur = [repmat('%s ',1,nb_string) repmat('%f ',1,nb_colonnes - nb_string)];

---

Bonjour Winjerome!

Merci pour ta réponse (je viens juste de la voir !!!).

C'est sur ta solution fait un plus propre. Par contre après quelques essaies j'ai remarqué que finalement elle était un peu plus longue que les 2 boucles for !!

Environ 2.8 ms pour les boucles for et 5.2 ms sans les boucles for !!

Dans mon cas je suis pas à 2 ms près, mais si il y aurait vraiment un grand nombre d'itération c'est assez intéressant d'utiliser la solution avec les boucles for !!

Pour la lisibilité du code, c'est quand même mieux d'écrire en 1 ligne ce que j'écris en 10 ligne :D

A+