sed et expression reguliere [Résolu]

[pseudobidon57]

Bonjour, je travaille avec cygwin, et je suis un debutant de chez debutant pour les expression reguliere.. voila, j'ai un fichier csv classique, et je voudrais supprimer la colonne 2 et 5 avec sed..je m'approche de la solution avec sed:

Code :

's/^\([^,]*,\)\{3\}//'

mais ce code ne supprime dans ce cas que tout ce qu'il y a avant la troisieme virgule.. si quelqu'un pouvais m'aider ce serait super sympa.
Merci

[LLB]

Cut est plus adapté pour ce genre de travail.

Code :

cut -d',' -f1,3,4,6-

ou

Code :

cut -d',' --complement -f2,5

Dans ton code sed, la parenthèse indique : "tout, jusqu'à la première virgule". Et la répétition supprime donc tout, jusqu'à la 3e virgule. Je ne comprends pas trop ce que tu as voulu faire.

Bon, et comme tu demandais la solution en sed, voici plusieurs façons possibles :

Code :

1
2
3
4
sed -r 's/^([^,]*,)([^,]*,)([^,]*,)([^,]*,)([^,]*,)/\1\3\4/'
sed -r 's/[^,]*,//2; s/[^,]*,//4'
sed -r 's/,[^,]*//;s/[^,]*,//4'
sed -r 's/^([^,]*,)[^,]*,([^,]*,)([^,]*,)[^,]*,/\1\2\3/'

L'option -r permet d'utiliser les expressions rationnelles étendues. Cette option est pratique, car elle simplifie beaucoup le code et permet d'enlever beaucoup de backslash. Je recommande de l'utiliser en général, sauf quand la portabilité est nécessaire.

[pseudobidon57]

Merci beaucoup, mais je precise que j'avais deja la solution en utilisant cut. mais cette solution est absolument inadaptee dans la mesure ou je dois effectuer ce traitement sur plusieurs fichiers dont certains font plusieurs go.
Le temps de traitement est beaucoup, beaucoup trop long..( plusieurs jours sur certains fichiers)
voila.

Merci beaucoup pour l'expression reguliere. a+

[ggnore]

Pour des traitements lourds, il vaut mieux utiliser perl qui est plus véloce.

[pseudobidon57]

si je pouvais oui, mais j'ai rien d'autre que cygwin, et a mon grand regret, je suis pas un pro du script unix, et encore moins des expressions regulieres..

Mais je demande qu'a apprendre..

[LLB]

Envoyé par pseudobidon57

Merci beaucoup, mais je precise que j'avais deja la solution en utilisant cut. mais cette solution est absolument inadaptee dans la mesure ou je dois effectuer ce traitement sur plusieurs fichiers dont certains font plusieurs go.

Et tu remarques une différence significative de vitesse entre cut et sed ? J'aurais pensé que cut allait plus vite pour faire ça.

Pour des traitements lourds, il vaut mieux utiliser perl qui est plus véloce.

Et tu remarques une différence significative de vitesse entre sed et perl ? Là, c'est juste du remplacement... je ne pense pas que perl fasse vraiment mieux...

[pseudobidon57]

oui, je remarque une difference tres significative entre cut et sed. mais mon probleme est en fait beaucoup plus complique que tel que je l'ai exposer.
en fait, j'ai un repertoire qui contient plusieurs fichiers csv.
De ces fichiers, je dois extraire certaine colonne (par exemple la col1, col4, col5)
les nombre de colonnes de chaque fichier est variable. ces information se trouve dans un fichier de configuration
qui se presente de la facon suivante:
report1.csv [1,4,5]
report2.csv [2,4,5,8]
report3.csv [4,7]
etc..
cela signifie que par exemple pour le fichier report1.csv je dois produire un nouveau fichier ou j'aurais extrais les colonnes 1, 4 et 5. pour le report2, les colonnes 2, 4, 5, et 8.
Ces fichier peuvent tous avoir un nombre de colonne different( par exemple report1.csv peut comporter 23 colonnes, et report2 en contenir 10.
donc je souhaite produire une expression reguliere parametree qui soit applicable a tout les cas.
Je galere, mais d'une force..
j'ai deja fait le script qui extrai l'indice de la colonne pour chaque rapport.
quelqu'un aurait une expression reguliere a me propose

[LLB]

Avec sed, utilise la première expression rationnelle que j'ai donnée, c'est la plus simple à paramétrée, sauf si tu as plus de 10 colonnes (certains sed ne le gèrent pas).

Avec cut, ça aurait été assez simple à générer. Je suis surpris que ce soit si lent. Je ferai des tests.

Le plus simple est d'écrire un script sed qui génère la commande sed à exécuter.

[pseudobidon57]

c'est tres tres lent avec cut, car je donis prendre chaque fichier ligne par ligne et avec un cut parametree, cle prens 0.5 seconde par ligne en gros ( le cut est dans une boucle) c'est absolument impossible dans mon cas.. peut etre aussi que je m'y suis mal pris avec mon script.. je sais pas..
En tout cas merci pour vos posts..

[LLB]

Cut peut lire tout le fichier, tout seul (comme sed et perl). Donc, ne le mets pas dans une boucle... Si c'est le shell qui fait une boucle en appelant read et cut sur chaque ligne, c'est évident que ce soit très lent : à chaque ligne, il doit créer un processus (cut) !

Petit benchmark :

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
$ wc -l in
320001 in
 
 
$ time sed -r 's/,[^,]*//;s/[^,]*,//4'
0,90s user 0,03s system 99% cpu 0,933 total
 
$ time sed -r 's/[^,]*,//2; s/[^,]*,//4' in > out
1,05s user 0,03s system 100% cpu 1,083 total
 
$ time sed -r 's/^([^,]*,)([^,]*,)([^,]*,)([^,]*,)([^,]*,)/\1\3\4/' in > out
2,88s user 0,06s system 99% cpu 2,944 total
 
$ time sed -r 's/^([^,]*,)[^,]*,([^,]*,)([^,]*,)[^,]*,/\1\2\3/' in > out
2,93s user 0,04s system 99% cpu 2,967 total
 
 
$ time cut -d',' -f1,3,4,6- in > out
0,15s user 0,02s system 98% cpu 0,170 total
 
$ time cut -d',' --complement -f2,5 in > out
0,12s user 0,05s system 97% cpu 0,176 total

Perl a une vitesse comparable à sed sur les tests (il est légèrement plus rapide). Cut va vraiment plus vite, ce qui me semble logique.

[pseudobidon57]

oui, c'est ce que je viens de voir en relisant vos posts, simplement, je ne savais pas que cut -d pouvais prendre plusieur arguments pour plusieurs occurences du delimiteur et s'ecrire de cette facon . De toute maniere, j'ai mal concu mon script, car j'ai mal apprecier le probleme qui m'etait pose.

Mille fois merci. j'ai resolu mon probleme une fois de plus grace a ce merveilleux forum, et les merveilleuse personnes qui y participe