Nombre de ligne d'un fichier CSV

Bonjours,

J'aurais aimé savoir s'il existe une fonction qui permet de récupérer le nombre de ligne d'un fichier CSV.

Pour le moment je fait défiler tous mon fichier avec un For et une fois que tous le fichier est passé j'utilise la fonction line_num, mais c'est pas génial.


merci d'avance.

Code:

---

1 2 3 4 5 6 7 8

def mapcount(filename): with open(filename, "r+") as f: buf = mmap.mmap(f.fileno(), 0) lines = 0 readline = buf.readline while readline(): lines += 1 return lines

---

ou

Code:

---

1 2 3 4 5 6 7 8 9 10

def bufcount(filename): with open(filename) as f: lines = 0 buf_size = 1024 * 1024 read_f = f.read buf = read_f(buf_size) while buf: lines += buf.count('\n') buf = read_f(buf_size) return lines

---

Bonjour,

Il y a bien line_num de csvreader, mais il faut avoir lu le fichier une fois pour qu'il donne la bonne valeur:

Code:

---

1 2 3 4 5 6

import csv with open("fichier.csv", 'rb') as f: reader = csv.reader(f, delimiter=';') for row in reader: print row print reader.line_num

---

Sinon, il n'y a qu'une solution du genre:

Code:

---

1 2 3 4 5 6

def csvcount(filename): with open(filename, 'r') as f: i = 0 for ligne in f: i += 1 return i

---

Même si ce n'est pas très élégant, c'est assez rapide!

On peut aussi lire le fichier csv par bloc binaire, et compter le nombre de fins de lignes.

Citation:

---

Même si ce n'est pas très élégant, c'est assez rapide!

---

C'est la moins rapide de toutes celles que j'ai tenté, mais tout dépend de la taille du fichier à lire. Pour des fichiers de grande taille, il est fortement conseillé d'utiliser les fonctions que je propose. ;)

Bonjour fred1599,

J'ai essayé avec un fichier que j'avais de 4000 lignes et 20 champs par ligne, et j'ai obtenu moins de 1/100 seconde. Pour ce qui me concerne, cela couvre largement mes besoins, et le code reste très simple. Pour de plus grands fichiers, je regarderai tes solutions.

Citation:

---

J'ai essayé avec un fichier que j'avais de 4000 lignes et 20 champs par ligne, et j'ai obtenu moins de 1/100 seconde. Pour ce qui me concerne, cela couvre largement mes besoins, et le code reste très simple. Pour de plus grands fichiers, je regarderai tes solutions.

---

je n'en doute pas, les tests sont là, en ce qui concerne les fonctions que je propose.

Tu te rendras compte que la fonction simplecount est la fonction la moins optimisée, mais comme tu dis, tout dépend des besoins.

J'avoue que je n'ai pas d'ordre de grandeurs de la taille d'un fichier csv.

Salut,
Comme les lignes d'un fichier texte sont de longueur variable, difficile de compter les lignes sans lire tout le fichier. Après la question est de savoir
quelle est la primitive Python qui va déléguer le plus grand nombre d'itérations aux fonctions C.
Une solution pourrait être d'utiliser readlines avec un sizehint (pour ne pas lire tout le fichier d'un coup):

Code:

---

1 2 3 4 5 6 7 8

SIZEHINT = 100 def get_linecount(path): count = 0 with open(path) as f: while True: lines = f.readlines(SIZEHINT) if not lines: return count count += len(lines)

---

Si le fichier est "très gros", aller vite sans tout lire signifiera peut être de se contenter d'une approximation obtenue en lisant un nombre fini de blocs de x bytes répartis uniformément sur l'ensemble du fichier. Mais c'est plus compliqué ;-)
Cordialement,
- W

Si tu es sous linux, tu peux utiliser la commande sh wc -l $fichier, elle compte le nombre de lignes de ton fichier ... je vois pas comment python pourrait faire plus rapide

Pour windows, ya find /c

@ZZelle

Je sais car c'est indiqué dans un des liens de mon lien.

wc n'est pas portable, j'ai tendance à ne pas l'admettre dans les solutions.

Bonjour,

Juste un petit complément.

Je m'étais déjà amusé avec la solution "lecture binaire et comptage des fins de ligne": http://python.jpvweb.com/mesrecettes...lignes_fichier. C'est effectivement très efficace: avec 1 million de lignes, on divise le temps de traitement par 10... Et en bonus: si on se débrouille bien, on évite la fragmentation de la mémoire avec les lectures successives.

Il y a cependant une petite précaution à prendre: si la dernière ligne n'est pas terminée par un fin de ligne, il faut tout de même la compter!

Salut tyrtamos,

Merci de la confirmation ;)

Citation:

---

Je m'étais déjà amusé avec la solution "lecture binaire et comptage des fins de ligne"

---

Oui le temps des lectures et écritures de fichier, ça à toujours été notre dada :)

Citation:

---

Il y a cependant une petite précaution à prendre: si la dernière ligne n'est pas terminée par un fin de ligne, il faut tout de même la compter!

---

Bonne remarque!

Pas très étonnant que le binaire soit plus rapide que le texte, ne serait-ce que parce qu’il n’y a pas de décodage (bin -> unicode)…

Par contre, même si ça n’est plus guère courant de nos jours, certains OS ont utilisé CR ('\r') seul pour marquer le retour à la ligne, à prendre en compte éventuellement… ;)

Merci pour tous ces informations j'en ferais bon usage ;)

En tous cas j'ai pu solutionner mon problème ! Merci a vous !