Bug strtok sur chaine de type x;y;;z

Version imprimable

03/01/2006, 17h09
CanardJM

Bug strtok sur chaine de type x;y;;z

Salut et bonnes années à tous !

Cette année commence fort avec un bug qui me perturbe et que je ne sais comment contrer !

J'ai un programme C qui lit chaque ligne d'un fichier et décompose la ligne en plusieurs chainés (délimiteur : ;)

j'utilise donc strtok : field = strtok(line, ";")

Cela fonctionne correctement jusqu'au moment ou j'utilise des cas particulier (des champs vides)

Par exemple avec la ligne suivante : x;y;;z
strtok(line, ";") => x OK !
strtok(NULL, ";") => y OK !
strtok(NULL, ";") => z KO !
Il zappe totalement le 3ème champs parce que il est vide !

Y a t-il un moyen d'éviter cela, y a t-il une autre fonction .... ?

Merci.

Remarque: strtok n'est pas conseillé comme fonction du fait qu'il modifie les arguments qu'on lui passe en argument...

Ce code semble bien marcher:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
 
#include <stdio.h>
#include <string.h>
 
int main()
{
        char s[32] = "x;;;;;;;;;;;;y;;;;;;;;z;;a";
        char *ps;
        int i = 1;
        ps = strtok(s,";");
 
        while(ps)
        {
 
        if(ps)
                printf("%d) %s\n",i,ps);
        i++;
        ps = strtok(NULL,";");
 
        }
        printf("Fin\n");
 
        return 0;
}

03/01/2006, 18h13
Trap D

Si strtok ne fonctionne pas, simule le en utilisant strchr(str, ';'). au moins si ça ne marche pas ce sera de ta faute :lol:
03/01/2006, 19h41
Emmanuel Delahaye

Re: Bug strtok sur chaine de type x;y;;z

Citation:

Envoyé par CanardJM

Par exemple avec la ligne suivante : x;y;;z
strtok(line, ";") => x OK !
strtok(NULL, ";") => y OK !
strtok(NULL, ";") => z KO !
Il zappe totalement le 3ème champs parce que il est vide !

Oui, bug connu de strtok()... Essaye strsep() (C'est POSIX, donc relativement portable)
04/01/2006, 09h29
Médinoc

Euh, ça, je ne dirais pas que c'est un bug...
Mais strtok() ne sert pas à séparer des champs, mais des tokens...
il est ainsi normal qu'en utilisant l'espace comme séparateur,

Code:

"a b"

donne les mêmes résultats que

Code:

"a b"

(Seuls a et b doivent être reconnus comme tokens, pas l'espace vide...)

Citation:
Envoyé par fearyourself
Remarque: strtok n'est pas conseillé comme fonction du fait qu'il modifie les arguments qu'on lui passe en argument...

Ce code semble bien marcher:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 #include <stdio.h> #include <string.h> int main() { char s[32] = "x;;;;;;;;;;;;y;;;;;;;;z;;a"; char *ps; int i = 1; ps = strtok(s,";"); while(ps) { if(ps) printf("%d) %s\n",i,ps); i++; ps = strtok(NULL,";"); } printf("Fin\n"); return 0; }
Jc
Ce code ne marche pas :( il me renvoie :
1) x
2) y
3) z
4) a
Fin

Or je voudrai qu'il me renvoie
1) x
12) y
19) z
21) a
Fin

04/01/2006, 12h27
CanardJM

Re: Bug strtok sur chaine de type x;y;;z

Citation:

Envoyé par Emmanuel Delahaye

Oui, bug connu de strtok()... Essaye strsep() (C'est POSIX, donc relativement portable)

Je n'ai pas strsep sur mon environnement :( Et ce n'est pas un environnement que je peux toucher comme ça !
04/01/2006, 12h28
CanardJM

Citation:

Envoyé par Médinoc

Euh, ça, je ne dirais pas que c'est un bug...
Mais strtok() ne sert pas à séparer des champs, mais des tokens...

ok donc en clair ce n'est pas ce qu'il me faut, il n'y a pas une fonction équivalente pour ce que je veux ?

Il n'y a pas de fonction standard qui fasse ce que tu souhaites. Par contre, il est relativement facile d'en faire une (fonction - pas standard, evidemment).
Voici ma solution:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 int strsplit(char *str, int token, char *words[], int maxwords) { char *p = str; int nwords = 0; while(1) { while(*p == token) { p++; } if(*p == '\0') { return nwords; } words[nwords++] = p; while(*p != token && *p != '\0') { p++; } if(*p == '\0') { return nwords; } *p++ = '\0'; if(nwords >= maxwords) { return nwords; } } }
Cela s'utilise comme ca:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 #include <stdio.h> #include "strsplit.h" #define MAXWORD 10 int main(void) { char str[] = "x;;;;;;;;;;;;y;;;;;;;;z;;a"; char *words[MAXWORD]; int n; int nwords = strsplit(str, ';', words, MAXWORD); if(nwords) { for(n=0; n<nwords; n++) { fprintf(stderr, "%02d : %s\n", words[n] - str + 1, words[n]); } } return 0; }
et on obtient bien en sortie:

Citation:

01 : x
14 : y
23 : z
26 : a

La fonction ci-dessus a quelques defauts (elle modifie la chaine passee en parametre, elle a besoin d'un nombre maximum de mot a ne pas depasser [histoire de ne pas avoir a malloc()/realloc() le tableau de mots]), mais elle fait son boulot...

04/01/2006, 13h36
fearyourself
Tant qu'à faire des différence entre valeurs de pointeurs, j'ai une préférence pour passer en (void *) (histoire de lancer une nouvelle discussion)...

Mais si tu le fais, pourquoi ne pas juste modifier mon code pour que ce soit comme ceci:
Code:

1 2 3 if(ps) printf("%d) %s\n",((int) (((void *) ps) - ((void *) s))) / (sizeof(char))+1,ps);
Jc

PS: Ta méthode finalement fais strtok qui je vais m'efforcer de le rappeler est déconseillé pour les gens qui débutent en C...
04/01/2006, 13h51
Emmanuel Delahaye

Citation:

Envoyé par fearyourself

Tant qu'à faire des différence entre valeurs de pointeurs, j'ai une préférence pour passer en (void *)

Ben non.

Comme une différence de pointeurs renvoi le nombre d'éléments (et non le nombre de bytes), un void* ne permet pas de faire de calcul (du moins en C standard). Il faut donc bien laisser le type. Une fois de plus, le cast est signe d'une bêtise en cours...

Nota : le type retourné est ptrdiff_t. Il est signé.
04/01/2006, 13h53
Emmanuel Delahaye

Citation:

Envoyé par fearyourself

PS: Ta méthode finalement fais strtok qui je vais m'efforcer de le rappeler est déconseillé pour les gens qui débutent en C...

C'est pas une question de débuter ou pas. Le principal problème de strtok() est qu'il n'est pas réentrant. C'est tout. Ca peut être génant ou non. La fonction de Dazumba (qui ressemble à strtok_r()) a au moins l'avantage d'être réentrante.
04/01/2006, 15h55
CanardJM

Le problème aussi était que mon fichier d'entrée est très très gros !
Il contient des dizaines et des dizaines de millier de lignes de plus de 1000 caractères.

Donc si je compare chaque char avec le séparateur j'ai pas fini !

Mais j'ai trouvé une solution, certes pas belle du tout mais bon ça marche ;)

C'est avant de commencer à lire mon fichier je remplace tous les ";;" par des "; ;". Comme ça il me trouve un token entre chaque ';'.

Aussi le problème étant que il n'y a pas de fonction standard pour faire un substring, donc j'utilise la fonction sed system.

system("sed 's/;;/; ;/g' input_file.tmp > input_file.tmp2");
system("sed 's/;;/; ;/g' input_file.tmp2 > input_file.tmp");
system("rm input_file.tmp2");

Apres je test si le token vaut " " alors c'est qu'il est NULL !

Et voilà :)
Je sais c'est pas beau du tout :)
04/01/2006, 17h31
fearyourself

Citation:

Donc si je compare chaque char avec le séparateur j'ai pas fini !

Tu crois vraiment que sed ne fait pas ça... Du coup tu fais trois passes dans ton fichier...
Jc
05/01/2006, 10h03
CanardJM

oui mais le truc c'est que la différence de temps d'exécution entre le sed et mon while/if est énorme !

Le sed est beaucoup plus rapide il y a pas photo !
05/01/2006, 10h16
DaZumba

Citation:

Le sed est beaucoup plus rapide il y a pas photo !

Tant mieux - mais cela signifie que ton programme est plus que douteux. Le facteur limitant pour un algorithme aussi simple devrait etre la vitesse du disque dur. Remarque aussi que le C n'est surement adapte a ton probleme (i.e. tu utilises un marteau pilon pour ecraser une mouche). Un bon script shell, a coup de awk, sed, peut donner des resultats plus rapidement.