Nombre de lignes dans un fichier

**KiLVaiDeN** · 04/05/2006, 14h11

J'ai une question pour fearyourself : as-tu utilisé fread au lieu de fgets pour une raison particulière ?

Etant donné qu'il s'agit de donné de type "Texte", fgets me parrait plus approprié, mais peut-être moins rapide ?

**fearyourself** · 04/05/2006, 14h13

Envoyé par KiLVaiDeN

J'ai une question pour fearyourself : as-tu utilisé fread au lieu de fgets pour une raison particulière ?

Etant donné qu'il s'agit de donné de type "Texte", fgets me parrait plus approprié, mais peut-être moins rapide ?

Avec fread je peux lui dire de lire 4k par 4k or fgets s'arrête à chaque ligne. Donc de toute façon, avec fgets on est perdant vu qu'il y a un vérificateur de caractères dans la fonction (pour s'arrêter à la fin de la ligne...)...

Le fait que ce soit du texte ne veut pas dire qu'on ne peut pas utiliser fread...

Jc

**Emmanuel Delahaye** · 04/05/2006, 14h14

Envoyé par fearyourself

Donc pour le moment tu es plus lent Emmanuel.

Hum. Fait le test 2 fois de suite pour voir ? Je me méfie des caches...
Idem avec les autres codes...

Pour le tien, il devrait être encore plus efficace avec une taille de BUFSIZ.

**DaZumba** · 04/05/2006, 14h17

Attention quand meme a ce genre de test. Le facteur limitant est l'acces disque, qui n'est pas deterministe (il depend des acces demandes par d'autres applications). Il faut faire des moyennes.

**KiLVaiDeN** · 04/05/2006, 14h22

Merci pour l'info fearyourself

Je comprend mieux pourquoi fread est plus rapide ^^

**fearyourself** · 04/05/2006, 14h22

Envoyé par DaZumba

Attention quand meme a ce genre de test. Le facteur limitant est l'acces disque, qui n'est pas deterministe (il depend des acces demandes par d'autres applications). Il faut faire des moyennes.

J'ai fait les tests 10 fois pour chaque version avant de donner les résultats (je suis aussi méfiant!

)

Les temps changent mais l'ordre de grandeur est toujours le même...

Ma version: 0.2
Emmanuel: 1.2
fgets: 2.4

Hum. Fait le test 2 fois de suite pour voir ? Je me méfie des caches...
Idem avec les autres codes...

Voir ci-dessus

Testez sur vos machines

, on verra si ça fonctionne avec d'autres disques
Jc

**KiLVaiDeN** · 04/05/2006, 14h30

Question pour fearyourself : par curiosité, si dans tes tests tu testais la différence plutot que l'inégalité ?

Peut-être que ça irait encore plus vite...

**Emmanuel Delahaye** · 04/05/2006, 14h34

Envoyé par fearyourself

Testez sur vos machines

, on verra si ça fonctionne avec d'autres disques

Ou d'autres systèmes...

**theshark85** · 04/05/2006, 14h38

Ce qui est important pour moi c'est le temp oui, quelque chose de portable. Sinon, pas de longueur fixe pour les enregistrements.
En gros du total inconnu a par la forme de l'enregsitrement.

**Emmanuel Delahaye** · 04/05/2006, 14h43

Envoyé par fearyourself

Les temps changent mais l'ordre de grandeur est toujours le même...

Ma version: 0.2

Et avec BUFSIZ à la place de 4096 ?

**theshark85** · 04/05/2006, 14h53

Moi mon, fichier test fait juste 5,52 go

**Jean-Marc.Bourguet** · 04/05/2006, 15h01

Quelque chose du genre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
    while ( (size = fread(buf, 1, N, f)) > 0) {
        char* start = buf;
        char* end;
        while ( (end = memchr(start, '\n', size)) != NULL) {
            size -= (end-start) + 1;
            start = end+1;
            cnt++;
        }
    }

devrait etre legerement mieux, du moins si memchr est correctement implemente.

**fearyourself** · 04/05/2006, 15h50

Envoyé par Emmanuel Delahaye

Et avec BUFSIZ à la place de 4096 ?

Même temps, 0.2

devrait etre legerement mieux, du moins si memchr est correctement implemente.

0.5 avec ton implémentation

Moi mon, fichier test fait juste 5,52 go

Je vais faire les tests sur ma machine avec un fichier de 5.52 Go, on verra ce que ça donne

A suivre...

Jc

**KiLVaiDeN** · 04/05/2006, 15h55

fearyourself : Je n'ai pas de compilo C ici, peux-tu juste me dire la vitesse de ça ? ( ton code un peu modifié )

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
#include <stdlib.h>
#include <stdio.h>
 
#define N 4096
 
int main(int argc, char **argv)
{
        char buf[N];
        int i,size;
        int cnt=0;
 
        if(argc!=2)
                return 1;
 
        FILE *f = fopen(argv[1],"r");
 
        if(f==NULL)
                return 1;
 
        while((size=fread(buf,1,N,f))!=0)
                for(i=0;i!=size;i++)
                        if(buf[i]=='\n')
                                cnt++;
        fclose(f);
        printf("Lignes: %d\n",cnt);
        return 0;
}

Juste par curiosité !

**fearyourself** · 04/05/2006, 16h25

Ok, j'ai limité le fichier à 1 gig avec 37996448 lignes...

J'ai pris 1Go pour gardé le temps relativement bas...

Voici les résultats, 3 exécutions pour vérifier que les résultats sont pareils...

Ma version avec BUFSIZ:

Lignes: 37996448

real 1m50.907s
user 0m3.357s
sys 0m1.111s

Version d'Emmanuel:

37996448 lines

real 1m53.072s
user 0m22.407s
sys 0m1.623s

Donc même temps global par contre, temps user c'est catastrophique... L'attente des appels doit se cacher par le temps accès disque...

La version fgest utilisant aussi BUFSIZ comme taille maximale:

Lignes: 37996449

real 1m50.811s
user 0m8.579s
sys 0m1.218s

Version de Jean-Marc:

Lignes: 37996448

real 1m54.894s
user 0m2.527s
sys 0m1.148s

Donc plus lent sur real mais pareil que moi sur user... Reste une version...

Version de KiLVaiDeN:

Lignes: 37996448

real 1m52.317s
user 0m2.940s
sys 0m1.146s

Donc presque pareil... Finalement, on voit que sur un grand fichier, toutes les versions se ressemblent

dans le temps total mais pas le temps user.

Par contre, comment tu fais pour faire tourner sur un fichier de 5go une version en 2-3 minutes? Moi je pensais avoir un ordi correct mais si j'interpole j'arrive à 10m minimum...

Voili voilou,
Jc

**Franck.H** · 04/05/2006, 17h06

Hum pas mal comme test, tu utilise quoi pour le chrono, ca pourrais m'être utile en cas de besoin d'optimisation pour les test

**theshark85** · 04/05/2006, 17h08

Avec un while(fgets()).
Mon fichier fait 11 800 000 lignes pour 5.52 GO
Et comme je trouvais que mes 2 à 3 minutes était longue, je profite de mon fgets pour executer un premier traitement juste comparatif et du coup il met 4 minutes.

Sinon, je ne sais pas la config du PC. Comme c'est le PC du taff, tout du moins de mon stage.

**KiLVaiDeN** · 04/05/2006, 17h09

Il y a un intru dans tes tests, qui retourne un mauvais nombre de lignes

**fearyourself** · 04/05/2006, 17h14

Envoyé par KiLVaiDeN

Il y a un intru dans tes tests, qui retourne un mauvais nombre de lignes

Nan, en fait l'intru est le seul qui rend le bon nombre, problème de nombre de bout de bois et de piquets dans un jardin...

Nos versions comptes les '\n', fgets compte les lignes...

Jc

**KiLVaiDeN** · 04/05/2006, 17h18

Une question me turlupine : pourquoi compter les lignes ?

Je ne vois pas forcément l'interêt, si il s'agit d'un fichier sur lequel tu vas faire un traitement, je pense qu'il vaudrait mieux que tu fasses une structure de fichier un peu plus puissante, avec plus d'informations.

Je dis ça au posteur initial hein!

A+ et en tout cas merci pour les tests, c'était interessant

Nombre de lignes dans un fichier

C

Discussions similaires

Partager

Partager