IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

MATLAB Discussion :

Lecture de gros fichiers txt


Sujet :

MATLAB

  1. #1
    Candidat au Club
    Femme Profil pro
    Inscrit en
    Mai 2012
    Messages
    19
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations forums :
    Inscription : Mai 2012
    Messages : 19
    Points : 4
    Points
    4
    Par défaut Lecture de gros fichiers txt
    Bonjour à tous et à toutes,

    J'espère que vous allez bien.

    Bon voilà j'expose mon problème:

    Je souhaiterais lire ligne par ligne un fichier txt (juste le lire car il est très volumineux en données) et mettre les n premières lignes lues dans un autre fichier.

    Voilà le code que j'ai écrit:

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    hfile = uigetfile('*.txt');
     
    fidID = fopen(hfile,'rt');
     
    for i=1:100
    ligne = fgetl(fidID);
     
    fidID2 = fopen('test.txt','wt');
     
    fprintf(fidID2,'%f \t',ligne);
     
    end
     
    fclose(fidID);
    fclose(fidID2);
    Mais quand j'exécute le programme voilà ce qu'il m'affiche:

    Invalid file identifier.  Use fopen to generate a valid file
    identifier.
    ???? Je ne comprend où viens le problème. Pourriez vous m'aider ou m'indiquer des pistes.

    MERCI beaucoup.

  2. #2
    Rédacteur/Modérateur

    Avatar de Jerome Briot
    Homme Profil pro
    Freelance mécatronique - Conseil, conception et formation
    Inscrit en
    Novembre 2006
    Messages
    20 302
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Freelance mécatronique - Conseil, conception et formation

    Informations forums :
    Inscription : Novembre 2006
    Messages : 20 302
    Points : 52 882
    Points
    52 882
    Par défaut
    Une solution plus robuste :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    [hfile,pathname] = uigetfile('*.txt');
     
    if ~hfile
        return
    end
     
    fidID = fopen(fullfile(pathname,hfile),'rt');
     
    if fidID==-1
        error('Ouverture du fichier %s impossible',fullfile(pathname,hfile))
    end
     
    fidID2 = fopen('test.txt','wt');
     
    for i=1:100
     
        ligne = fgetl(fidID);
     
        fprintf(fidID2,'%f \t',ligne);
     
    end
     
    fclose(fidID);
    fclose(fidID2);
    Ingénieur indépendant en mécatronique - Conseil, conception et formation
    • Conception mécanique (Autodesk Fusion 360)
    • Impression 3D (Ultimaker)
    • Développement informatique (Python, MATLAB, C)
    • Programmation de microcontrôleur (Microchip PIC, ESP32, Raspberry Pi, Arduino…)

    « J'étais le meilleur ami que le vieux Jim avait au monde. Il fallait choisir. J'ai réfléchi un moment, puis je me suis dit : "Tant pis ! J'irai en enfer" » (Saint Huck)

  3. #3
    Candidat au Club
    Femme Profil pro
    Inscrit en
    Mai 2012
    Messages
    19
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations forums :
    Inscription : Mai 2012
    Messages : 19
    Points : 4
    Points
    4
    Par défaut
    Whouuu Dut!

    C'est du charabia pour moi ton code. Je suis débutante en matlab^^.

    Je vais tester merci.

  4. #4
    Candidat au Club
    Femme Profil pro
    Inscrit en
    Mai 2012
    Messages
    19
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations forums :
    Inscription : Mai 2012
    Messages : 19
    Points : 4
    Points
    4
    Par défaut
    Ton code fonctionne, il ne m'affiche plus de messages d'erreur. En revanche, il ne m'écrit pas, mais alors pas du tout, les n lignes du 1er ficher dans le 2nd!?!

    Mon 1er fichier est un fichier contenant une colonne de double avec les signes devant. Tandis que le fichier créer me donne des nombres qui n'ont rien à voir, en colonne et en pyramide!

  5. #5
    Invité
    Invité(e)
    Par défaut
    Bonjour,

    Une petite erreur :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    for i=1:100
        
        ligne = fgetl(fidID);
        
        fprintf(fidID2,'%s \t',ligne);
        
    end

  6. #6
    Candidat au Club
    Femme Profil pro
    Inscrit en
    Mai 2012
    Messages
    19
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations forums :
    Inscription : Mai 2012
    Messages : 19
    Points : 4
    Points
    4
    Par défaut
    Bonjour Winjerome,

    Merci pour ton aide.

    En réalité, j'avais moi aussi une erreur dans mon code du départ.

    Bravo les garçons mission réussi!

    Merci beaucoup.

  7. #7
    Candidat au Club
    Femme Profil pro
    Inscrit en
    Mai 2012
    Messages
    19
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations forums :
    Inscription : Mai 2012
    Messages : 19
    Points : 4
    Points
    4
    Par défaut
    Bonjour à tous,

    Me voilà de retour parmi vous^^

    J'ai constaté qu'avec le code de Dut, lorsque je cherche à lire un très très gros fichier (plusieurs 10zaines de millions de lignes), matlab m'indique un out of memory ce qui signifie que je ne peux pas lire le fichier!!!!

    Avez vous déjà rencontré ce problème? Avez vous une idée de comment résoudre ce problème?

    Merci de votre aide.

  8. #8
    Invité
    Invité(e)
    Par défaut
    Le code de Dut ne fait la lecture que ligne par ligne, donc je vois mal comment tu pourrais avoir une erreur pareille.
    À moins que le fichier ne comporte aucun retour à la ligne

    As-tu modifié quelque chose ?

  9. #9
    Candidat au Club
    Femme Profil pro
    Inscrit en
    Mai 2012
    Messages
    19
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations forums :
    Inscription : Mai 2012
    Messages : 19
    Points : 4
    Points
    4
    Par défaut
    Salut Winjerome,

    Oui en effet, j'ai rajouté une ligne de code afin de shunter le header du fichier à l'aide de :

    %textscan(fidID,'%s',n,'delimiter',';');
    Oui mais voilà quand le nombre de lignes n à zapper est trop grand j'ai le fameux out of memory qui vient me casser les pieds! :s

    Donc j'ai tenté autre chose, j'ai démarré l'indice i (du programme de Dut) non pas par 0 mais N (plusieurs 10zaines de millions) mais il ne me lit le fichier à partir de la ligne N mais par la ligne 1 (en zappant le header).

    Je ne sais pas si je suis claire? Je suis une noob en MatLab j'avoue^^

  10. #10
    Invité
    Invité(e)
    Par défaut
    Citation Envoyé par July38000 Voir le message
    Je ne sais pas si je suis claire? Je suis une noob en MatLab j'avoue^^
    À vrai dire, non pas vraiment... je comprends mal ta partie
    Citation Envoyé par July38000 Voir le message
    Donc j'ai tenté autre chose, j'ai démarré l'indice i (du programme de Dut) non pas par 0 mais N (plusieurs 10zaines de millions) mais il ne me lit le fichier à partir de la ligne N mais par la ligne 1 (en zappant le header).
    la fonction textscan possède un paramètre 'HeaderLines' dont tu pourrais peut-être te servir (si j'ai bien compris).
    Que cherches-tu à faire exactement ?

  11. #11
    Candidat au Club
    Femme Profil pro
    Inscrit en
    Mai 2012
    Messages
    19
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations forums :
    Inscription : Mai 2012
    Messages : 19
    Points : 4
    Points
    4
    Par défaut
    Citation Envoyé par Winjerome Voir le message
    À vrai dire, non pas vraiment... je comprends mal ta partie

    Que cherches-tu à faire exactement ?
    Je cherche à découper un ENORME fichier .txt, en petits fichiers qui seraient la succession des données contenues dans le fichier de base, et ce sans ouvrir le dit fichier afin de ne pas être jeter comme une vilaine par MATLAB sous prétexte que monsieur le langage ne peut ouvrir les très très gros fichiers!

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Lecture de la dernière ligne d'un gros fichier txt
    Par megamario dans le forum VB 6 et antérieur
    Réponses: 10
    Dernier message: 16/09/2011, 06h38
  2. Optimisation de lecture de gros fichier
    Par uriotcea dans le forum Windows
    Réponses: 3
    Dernier message: 23/11/2006, 19h00
  3. Réponses: 4
    Dernier message: 13/11/2006, 22h30
  4. Lecture et ecriture fichier txt
    Par jeanmy dans le forum Delphi
    Réponses: 12
    Dernier message: 07/08/2006, 17h23
  5. [debutant] lecture d'un fichier txt de 10mo
    Par karamazov994 dans le forum Entrée/Sortie
    Réponses: 11
    Dernier message: 19/04/2005, 15h55

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo