Discussion :

[Rmc_Kay]

Bonjours,

J'aurais aimé savoir s'il existe une fonction qui permet de récupérer le nombre de ligne d'un fichier CSV.

Pour le moment je fait défiler tous mon fichier avec un For et une fois que tous le fichier est passé j'utilise la fonction line_num, mais c'est pas génial.


merci d'avance.

[fred1599]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
def mapcount(filename):
    with open(filename, "r+") as f:
        buf = mmap.mmap(f.fileno(), 0)
        lines = 0
        readline = buf.readline
        while readline():
            lines += 1
    return lines

ou

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
def bufcount(filename):
    with open(filename) as f:
        lines = 0
        buf_size = 1024 * 1024
        read_f = f.read
        buf = read_f(buf_size)
        while buf:
             lines += buf.count('\n')
             buf = read_f(buf_size)
    return lines

[tyrtamos]

Bonjour,

Il y a bien line_num de csvreader, mais il faut avoir lu le fichier une fois pour qu'il donne la bonne valeur:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
import csv
with open("fichier.csv", 'rb') as f:
    reader = csv.reader(f, delimiter=';')
    for row in reader:
        print row
    print reader.line_num

Sinon, il n'y a qu'une solution du genre:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
def csvcount(filename):
    with open(filename, 'r') as f:
        i = 0
        for ligne in f:
            i += 1
    return i

Même si ce n'est pas très élégant, c'est assez rapide!

On peut aussi lire le fichier csv par bloc binaire, et compter le nombre de fins de lignes.

[fred1599]

Même si ce n'est pas très élégant, c'est assez rapide!

C'est la moins rapide de toutes celles que j'ai tenté, mais tout dépend de la taille du fichier à lire. Pour des fichiers de grande taille, il est fortement conseillé d'utiliser les fonctions que je propose.

[tyrtamos]

Bonjour fred1599,

J'ai essayé avec un fichier que j'avais de 4000 lignes et 20 champs par ligne, et j'ai obtenu moins de 1/100 seconde. Pour ce qui me concerne, cela couvre largement mes besoins, et le code reste très simple. Pour de plus grands fichiers, je regarderai tes solutions.

[fred1599]

J'ai essayé avec un fichier que j'avais de 4000 lignes et 20 champs par ligne, et j'ai obtenu moins de 1/100 seconde. Pour ce qui me concerne, cela couvre largement mes besoins, et le code reste très simple. Pour de plus grands fichiers, je regarderai tes solutions.

je n'en doute pas, les tests sont là, en ce qui concerne les fonctions que je propose.

Tu te rendras compte que la fonction simplecount est la fonction la moins optimisée, mais comme tu dis, tout dépend des besoins.

J'avoue que je n'ai pas d'ordre de grandeurs de la taille d'un fichier csv.

[wiztricks]

Salut,
Comme les lignes d'un fichier texte sont de longueur variable, difficile de compter les lignes sans lire tout le fichier. Après la question est de savoir
quelle est la primitive Python qui va déléguer le plus grand nombre d'itérations aux fonctions C.
Une solution pourrait être d'utiliser readlines avec un sizehint (pour ne pas lire tout le fichier d'un coup):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
SIZEHINT = 100
def get_linecount(path):
    count = 0
    with open(path) as f:
        while True:
            lines = f.readlines(SIZEHINT)
            if not lines: return count
            count += len(lines)

Si le fichier est "très gros", aller vite sans tout lire signifiera peut être de se contenter d'une approximation obtenue en lisant un nombre fini de blocs de x bytes répartis uniformément sur l'ensemble du fichier. Mais c'est plus compliqué ;-)
Cordialement,
- W