Repérer la dernière ligne d'un fichier

Version imprimable

Voir 40 message(s) de cette discussion en une page

12/10/2009, 18h52
rambc

Repérer la dernière ligne d'un fichier
Bonjour,
je dois parcourir un fichier ligne par ligne. J'utilise :
Code:

1 2 for oneLine in fileToAnalyse: ...
Je voudrais savoir si oneLine est la dernière ligne ou non du fichier. Est-ce possible ? Par contre, je ne cherche pas à enregistrer la toute dernière ligne.

Toute réponse est la bienvenue.

en sortant de ta boucle, oneLine sera la dernière:
Code:

1 2 3 4 for oneline in fileToAnalyse: doSomething(oneline) if oneline: doSomethingWithEndLine(oneline)

12/10/2009, 20h25
rambc

Citation:

Envoyé par rambc

Par contre, je ne cherche pas à enregistrer la toute dernière ligne.

Je vais modifier ma question.

Comment retirer les lignes vides à la toute fin d'un fichier ?

Pour savoir si l'on est sur la dernière ligne, personnellement je te proposerais cette solution.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 f = open(r'e:\temp1\test1.py') oldl = "" for l in f: if oldl: print "pas derniere -> " + oldl[:-1] oldl = l if oldl: print " derniere -> " + oldl f.close()
Ce qui permets par exemple d'avoir un traitement différent si l'on est ou pas sur la dernière ligne, ce que ne permets pas, d'après moi, la solution de pacificator.

[Edit]Ajout d'informations par rambc entre temps, du coup ça répond pas vraiment à la question !!

12/10/2009, 20h42
rambc

Pas mal cette méthode mais il est vrai que j'ai changé de problème entre temps. Désolé. I beg your pardon... :oops:

Pour répondre à la deuxième question, c'est en gros la première réponse un peu modifié.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
def lis_fichier(filename):
    f = open(filename)
 
    buffer = []
 
    for l in f:
        buffer.append(l)
        if l.strip():
            for l in buffer:
                yield yield l.rstrip('\r\n')
            buffer = []
 
    f.close()
 
for l in lis_fichier(r'e:\temp1\test1.py'):
    print "* " + l

P.S. : J'ai encore une petite erreur, mais suis en train de regarder !!
P.S.2: Voilà corrigé.

12/10/2009, 21h15
Antoine_935

Parcourir tout le fichier peut vite devenir long.
Pourquoi ne pas plutôt aller à la fin, puis revenir petit à petit en arrière pour trouver la première ligne non vide. Quand on connait sa position, on peut alors tronquer le fichier à la bonne dimension.
12/10/2009, 21h19
DelphiManiac

Il n'a jamais dis qu'il ne voulais que la dernière ligne non vide, mais qu'il voulais supprimer du fichier les dernières lignes non vide.
12/10/2009, 21h25
rambc

Il me semble que vous vous soyez mal compris.

Antoine_935, peux-tu donner un petit exemple ?
12/10/2009, 21h52
Antoine_935
Effectivement je n'ai pas du être assez clair.
Prenons un exemple de fichier
Code:

1 2 3 Une ligne Deuxième ligne Troisième ligne
Notez bien les lignes vides à la fin.

Le principe serait d'ouvrir le fichier, et d'aller directement à la fin.
Ensuite, en rebroussant petit à petit chemin:
- oh, une ligne vide
- ah, une autre
- ah, jusqu'ici c'est encore vide
- oh ? ok, le dernier caractère est à la position 235
Voilà, coupons le fichier après le 235ième caractère.

Evidemment rien n'oblige à lire caractère par caractère, ce serait même plus lent.
Le mieux est de lire, disons, les 512 derniers caractères, et trouver dedans où se trouve la dernière ligne. Si elle n'est pas dedans (ce serait étonnant), remonter un peu plus loin, etc.
12/10/2009, 22h04
DelphiManiac

Et le début du fichier tu le lis quand ? après avoir la trouvé la dernière ligne non vide ? Si oui ca reviens au même !!

Il n'a jamais dis qu'il ne voulais pas lire le début, enfin je ne crois pas :p
12/10/2009, 22h21
Antoine_935

Je le cite:

Citation:

Comment retirer les lignes vides à la toute fin d'un fichier ?
12/10/2009, 22h32
DelphiManiac
Citation:
Envoyé par rambc

Bonjour,
je dois parcourir un fichier ligne par ligne. J'utilise :

Code:

1 2 for oneLine in fileToAnalyse: ...

Je voudrais savoir si oneLine est la dernière ligne ou non du fichier. Est-ce possible ? Par contre, je ne cherche pas à enregistrer la toute dernière ligne.

Toute réponse est la bienvenue.
1er message
12/10/2009, 22h39
Antoine_935

Oui, et troisième message:

Citation:

Je vais modifier ma question.

Comment retirer les lignes vides à la toute fin d'un fichier ?

Bref... j'ai pas l'intention de batailler sur des choses aussi stupides.
J'ai passé une solution à la question qu'il pose. Soit j'ai bon, soit pas.
Dans ce dernier cas, soit je comprends quedal à ce que les gens disent, soit il ferait sérieusement mieux d'apprendre à formuler ses question.
Au vu du faut que je parle français couramment et que je n'ai aucun souci pour comprendre la plupart des gens, je pencherais pour la deuxième option.
12/10/2009, 22h50
rambc

Je dois parcourir ligne par ligne mon fichier texte pour l'analyser. Je veux le nettoyer en ne gardant pas les lignes vides au début et celles tout à la fin, et ce sont ces dernières qui posent problème.

Malheureusement, aller voir les lignes à partir de la fin ne semble pas faisable sans traiter le fichier en un seul bloc. Ce traitement en un seul bloc ne serait pas cohérent avec celui ligne par ligne, lequel est fait pour minimiser les coûts "mémoire".

Est-ce plus clair ?

Une méthode serait (mais je ne demande à personne de taper le code) de stocker les lignes vides dans une chaîne et dès qu'une ligne non vide est repérée on ajouterait la chaîne stockant les précédentes lignes vides juste avant celle non vide qui vient d'être repérée. Du coup les dernières lignes non vides ne seront jamais ajoutées.
Ce fonctionnement sous entend que les lignes non vides à la suite ne seront pas trop nombreuses. Comme mon fichier sera le contenu d'un livre, cette situation n'apparaîtra pas en pratique.

Qu'en pensez-vous ?

Citation:
Envoyé par DelphiManiac
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 def lis_fichier(filename): f = open(filename) buffer = [] for l in f: buffer.append(l) if l.strip(): for l in buffer: yield l.rstrip('\r\n') buffer = [] f.close() for l in lis_fichier(r'e:\temp1\test1.py'): print "* " + l
P.S.2: Voilà corrigé.
J'étais passé à côté de cette correction qui marche. Cela semble être l'implémentation de l'idée que je proposais en toute honnêteté juste avant.

Merci pour ce code ! :ccool:

J'ai une dernière question. Quel est le rôle du yield ? Je suis un peu fâché avec ces petites bêtes.

12/10/2009, 23h21
rambc

Pas la peine, je viens de piger, c'est pour renvoyer les différentes valeurs, chose qui ne serait pas possible avec un return.

Pour clore ce post (enfin je l'espère), voici une toute petite amélioration du code ci-dessus qui ignore les lignes vides au tout début :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
#!/usr/bin/env python
#coding=utf-8
 
# Source : http://www.developpez.net/forums/d821212-2/autres-langages/python-zope/general-python/reperer-derniere-ligne-fichier/#post4710983
 
def readContent(filePath):
    """
    This iterator allows to read a text file line by line without keeping
    the first empy lines, and the last ones.
    """
    with open(filePath, 'r') as fileToAnalyse:
        numberOfEmptyLinesBefore = 0
        contentFound = False
 
        for oneLine in fileToAnalyse:
            if oneLine.strip():
                if contentFound:
                    for i in range(numberOfEmptyLinesBefore):
                        yield ''
                    yield oneLine.rstrip('\r\n')
                else:
                    contentFound = True
                    yield oneLine.rstrip('\r\n')
                numberOfEmptyLinesBefore = 0
            else:
                numberOfEmptyLinesBefore += 1
 
for l in readContent(r'test/TestNo1.txt'):
    print "* " + l

Eh non, ce n’est pas clos.....
J’ai moi aussi cogité sur "le" fluctuant sujet en étant moi aussi gêné par l’imprécision de l’objectif, sa variabilité, ce que signifie "dernière ligne" ou d’autres notions, etc.
La question posée était initialement «comment connaître, ou repérer, la dernière ligne ? ».
Repérer, qu'est à dire exactement ? J’ai malgré cette imprécision pensé à plusieurs solutions

L’une est celle de Pacificator évidemment: après une itération for ln in f: , la valeur de la dernière ligne persiste dans ln, mais c’est après parcours du fichier:
Code:

1 2 3 4 5 f = open('fichier.txt') for ln in f: x = ln[0:8] f.close() print 'ln :',repr(ln)
Pour examiner la dernière ligne sans avoir à parcourir le fichier préalablement:
- pour obtenir la dernière ligne avec son éventuel séparateur
Code:

1 2 3 4 f = open('fichier.txt') fh = f.readlines() f.close() print 'repr(fh[-1]) :',repr(fh[-1])
- pour obtenir la dernière ligne sans son éventuel séparateur
(splitlines() sans argument enlève les newlines)
Code:

1 2 3 4 f = open('NEWS.txt') fh = f.read().splitlines() f.close() print 'repr(fh[-1]) :',repr(fh[-1])
Mais dans ces deux méthodes, même si le fichier n’est pas parcouru, la totalité du fichier est chargée en mémoire avant son traitement.
Ces deux méthodes sont lourdingues si le fichier est volumineux.
On peut alors faire un peu de gymnastique sur indices pour ne pas solliciter la mémoire vive:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 from os.path import getsize fich = raw_input('Entrer le nom du fichier :') nob = getsize(fich) # nob = number of bytes f = open(fich,'rb') x = -1 recul = 1 while x==-1 and nob-recul: recul += min(100,nob-recul) f.seek(-recul,2) ch = f.read() chcut = ch.rstrip('\n\r') x = max(chcut.rfind('\n'),chcut.rfind('\r')) f.close() if not chcut: print '\nLe fichier ne contient que des caracteres \\n et \\r' else: dernonvide = chcut[x+1:] finfich = '\n' if ch[len(chcut):].startswith('\n'): dernonvide += '\n' elif ch[len(chcut):].startswith('\r\n'): dernonvide += '\r\n' elif ch[len(chcut):].startswith('\r'): dernonvide += '\r' if ch[x+1+len(dernonvide):]: finfich += repr(ch[x+1+len(dernonvide):]) + '\n' print '\nDerniere ligne non vide du fichier, sous forme repr() :\n\n'+repr(dernonvide)\ +'\n\nFin du fichier apres la derniere ligne non vide :\n'+ finfich\ +'\n\nLe debut de la derniere ligne non vide '\ +'dans le fichier ouvert en mode binaire\nest a la position : '+str(nob-recul+x+1)\ +'\nLa taille de la derniere ligne non vide '\ +'(sans separateur de fin de ligne) est : ' +str(len(chcut)-x-1)

14/10/2009, 17h37
rambc

Citation:

Envoyé par eyquem

Eh non, ce n’est pas clos...
La question posée était initialement «comment connaître, ou repérer, la dernière ligne ? ».

Pour mon appli. le sujet est bien clos car je dois au moins une fois parcourir ligne par ligne le fichier. Du coup, je n'ai pas à me soucier de faire autre chose.

Merci quand même pour le dernier code.

Voir 40 message(s) de cette discussion en une page