Problème de calcul dans sed

Version imprimable

15/11/2016, 01h30
bobolecoco

Problème de calcul dans sed

Bonjour.

Pourquoi

Code:

echo 300 euros | sed "s/[0-9]*/$(( & - 2 ))/g"

renvoit-il

Code:

bash: & - 2 : erreur de syntaxe : opérande attendue (le symbole erroné est "& - 2 ")

au lieu de sortir "298 euros" ?

Merci d'avance.
15/11/2016, 02h20
RaphaelG
Je ne suis pas le guru de sed et je comprends rien à ta commande.
Mais c'est la première fois que je vois quelqu'un essayer de faire des calculs avec sed.
D'habitude en shell, on utilise la built in command expr ou bc.

Exemple avec bc:
Code:

1 2 3 brouillons$ echo "300 - 2" | bc 298 brouillons$
Exemple avec expr:
Code:

1 2 3 brouillons$ echo 300 euros | expr $(awk '{print $1}') - 2 298 brouillons$
Pour reproduire exactement l'affichage que tu recherches :
Code:

1 2 3 brouillons$ echo 300 euros | awk '{print ($1 - 2) " " $2}' 298 euros brouillons$
En espérant t'avoir aidé.
15/11/2016, 03h12
N_BaH
Citation:

Envoyé par RaphaelIG

on utilise la built in command exp

wrong ! exprest une commande externe. :aie:
expr n'a déjà pas de sens dans un shell un peu moderne, mais expr| awk, c'est vraiment très moyen :(
ta dernière proposition est bien meilleure. :)

et, non, sed ne sait pas compter.

Edit : ah ! j'ai retrouvé : sed ne sait pas compter, mais
il peut exécuter des commandes :
Code:

1 2 echo 300 euros | sed 's/[0-9]*/echo $(( & - 2 ))/e' 298 euros
en général, dans des cas comme celui-là, je passe à awk, qui possède des capacités de calcul très importantes.

Bonjour,

Pour moi, l'execute du sed est buggé (voir le deuxième cas) :
Code:

1 2 3 4 $ echo 300 euros | sed 's/[0-9]*/echo $(( & - 2 ))/e' 298 euros $ echo il y a 300 euros | sed 's/[0-9]*/echo $(( & - 2 ))/e' -2il y a 300 euros
Dans le cas donné, cela fonctionne, et donc si c'est un cas comme ça, on peut le faire en builtin:
Code:

1 2 3 $ XX="300 euros" $ echo $((${XX//[^0-9]/}-2))${XX//[0-9]} 298 euros

15/11/2016, 11h06
RaphaelG

Citation:

Envoyé par N_BaH

wrong ! exprest une commande externe. :aie: ...

Oui, au temps pour moi, expr est bien une commande externe.

Citation:

expr n'a déjà pas de sens dans un shell un peu moderne, mais expr| awk, c'est vraiment très moyen :(

L'OP n'a pas précisé avec quel shell il travaille. Si il utilise du pur bourne shell (si si, ça existe encore sous Solaris par exemple) ou si il utilise le dash de Debian, les "$((compteur+1))" et "let compteur=compteur+1" ne fonctionnent pas.
J'ai utilisé un awk, pour récupérer le 1er champ de sa commande echo. C'était juste pour illustrer l'usage d'expr qui a l'avantage de marcher partout (dash, bash, ... mais c'est normal, c'est une commande externe:mrgreen: ) au risque de paraître un peu old school.

Code:

echo 300 euros | sed 's/[0-9]*/echo $(( & - 2 ))/e'

Pourrais tu nous en dire plus ?
Comment sed sait que "echo $(( & - 2 ))" est une commande à exécuter plutôt qu'une expression rationnelle devant se substituer à "[0-9]*" ?
Que veut dire le "/e" à la fin ?
15/11/2016, 11h24
N_BaH
Citation:

Envoyé par RaphaelG

[...]si il utilise le dash de Debian, les "$((compteur+1))" et "let compteur=compteur+1" ne fonctionnent pas.
Code:

1 2 3 $ dash $ echo $(( 2 + 2 )) 4
ah, bon.

Citation:

Envoyé par RaphaelG

Pourrais tu nous en dire plus ?

Code:

info sed 'Extended Commands'
15/11/2016, 17h54
ctac_
Bonjour,

Citation:

Envoyé par disedorgue

Bonjour,

Pour moi, l'execute du sed est buggé (voir le deuxième cas) :
Code:

1 2 3 $ echo il y a 300 euros | sed 's/[0-9]*/echo $(( & - 2 ))/e' -2il y a 300 euros
Je ne dirais pas que c'est buggé car
Code:

1 2 echo il y a 300 euros | sed 's/[0-9]*/&/' il y a 300 euros
renvoie la phrase complète et pas uniquement les chiffres.
Comme ça, on obtient le résultat attendu.
Code:

1 2 echo il y a 300 euros | sed 's/$.* $$[0-9]*$$ .*$/echo \1 $(( \2 - 2 )) \3/e' il y a 298 euros
Ici , on construit la commande dans le patern space.
Je n'arrive pas a trouver la syntaxe pour utilser cat fichier par exemple pour insérer fichier avant le patern space et remplacer la commande r qui va insérer fichier après le patern space

Si quelqu'un a une idée ?

Cordialement.
15/11/2016, 17h54
CosmoKnacki
Citation:
Envoyé par disedorgue

Pour moi, l'execute du sed est buggé (voir le deuxième cas) :

Code:

1 2 3 4 $ echo 300 euros | sed 's/[0-9]*/echo $(( & - 2 ))/e' 298 euros $ echo il y a 300 euros | sed 's/[0-9]*/echo $(( & - 2 ))/e' -2il y a 300 euros
En fait, il n'est pas buggé et fait exactement ce qu'on lui demande. Seulement dans le deuxième cas la première position de la chaîne comptant entre zéro ou plusieurs chiffres est la chaîne vide au début de la chaîne. Pour éviter ça, il faudrait imposer au moins un chiffre:
Code:

1 2 echo il y a 300 euros | sed 's/[0-9][0-9]*/echo $(( & - 2 ))/e' il y a 298 euros
15/11/2016, 18h51
ctac_

Citation:

Envoyé par ctac_

Je n'arrive pas a trouver la syntaxe pour utilser cat fichier par exemple pour insérer fichier avant le patern space et remplacer la commande r qui va insérer fichier après le patern space

En fait c'est tout simple ...

Code:

sed '/Texte_Cherché/e cat fichier' fichier_de_travail

Cordialement.
15/11/2016, 19h11
bobolecoco

En effet @disedorgue, la formule du type

Code:

echo il y a 300 euros | sed 's/[0-9]*/echo $(( & - 2 ))/e'

ne fonctionne pas dans mon cas de figure (plus compiqué que ma simple demande avec 300 euros...
Mais j'ai trouvé une solution grâce à @ctac_ et sa proposition

Code:

echo il y a 300 euros | sed 's/$.* $$[0-9]*$$ .*$/echo \1 $(( \2 - 2 )) \3/e'

J'arrivais à obtenir ce que je voulais avec des variable, mais voulais réussir à le faire en une seule ligne, c'est chose faite. J'ai pu comparer les deux scripts (avec variables ou "en une ligne"), il mettent (sensiblement) le même temps à s’exécuter. Le but était de récupérer un chat Twitch et le convertir au format fichier ".srt" pour le joindre à la vidéo, ce qui prend, dans les deux cas, plus ou moins 2min30 pour une heure de vidéo (config pas très puissante).

Je mets mes deux scripts dans les deux prochains posts (je ne mets pas de sortie vers un fichier dans ces exemples). J'ai mis le calcul du temps écoulé au sein du script, bien qu'on peut tout aussi bien l'obtenir avec

Code:

time Script.sh

Version "avec variables"

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
Vid=100035542
 
StartTime=`curl "https://rechat.twitch.tv/rechat-messages?start=1478717947&video_id=v$Vid" | sed "s/.*between \| and .*//g"`
EndTime=`curl "https://rechat.twitch.tv/rechat-messages?start=1478717947&video_id=v$Vid" | sed "s/.* and \|\"}].*//g"`
export StartTime=$StartTime
Debut=`date`
debut=`date +%s`
 
echo $Debut
 
echo "Récupération du chat..." | grep --color=auto ".*"
echo "Durée de traitement estimée : 2'30'' par heure de vidéo"
 
for var in `seq $StartTime 30 $EndTime` ; do
Test=`wget -qO- "https://rechat.twitch.tv/rechat-messages?start=$var&video_id=v$Vid" | sed "s/\"type\"/\n/g" |grep -o "timestamp.*tags" |sed "s/.*/&::&/g" | sed "s/deleted\|from/DELETEHERE/" | sed "s/from/ENDHERE/" |sed "s/DELETEHERE.*ENDHERE/from/g" | sed "s/tags.*message/message/g" |sed "s/\",\"from.*//g" |sed "s/\",\"message\":\"/ : /g" | sed "s/timestamp\"://g" | sed "s/[0-9][0-9][0-9],\"/,&/g" | sed "s/ /--espace--/g"`
for time in `echo $Test |sed "s/ /\n/g"|grep -o "^[0-9]*,[0-9]*"` ; do
Milli=`echo $time | sed "s/.*,//g"`
Full=`echo $time | sed "s/,$Milli//g"`
Test=$(echo $Test | sed "s/$Full/`date -ud @\`echo $(( $Full - $StartTime ))\` +%H:%M:%S`,$Milli--espace---->--espace--`date -ud @\`echo $(( $Full - $(( $StartTime - 4 )) ))\` +%H:%M:%S`/g")
done
echo $Test | sed "s/ /\n/g" | sed "s/--espace--/ /g"
done  | grep -v "^$"|grep -n "^" | sed "s/,\"from\":\"/\n/g" |sed "s/^[0-9]*:/\n&\n/g" | sed "s/:$//g"
 
echo "$Debut"
date
fin=`date +%s`
date -ud @$(( $fin - $debut )) "+Durée de traitement : %H:%M:%S"

15/11/2016, 19h12
disedorgue
Citation:
Envoyé par CosmoKnacki

En fait, il n'est pas buggé et fait exactement ce qu'on lui demande. Seulement dans le deuxième cas la première position de la chaîne comptant entre zéro ou plusieurs chiffres est la chaîne vide au début de la chaîne. Pour éviter ça, il faudrait imposer au moins un chiffre:

Code:

1 2 echo il y a 300 euros | sed 's/[0-9][0-9]*/echo $(( & - 2 ))/e' il y a 298 euros
Etrange, chez moi, ça ne fonctionne pas (et pourtant, ce que tu dis me semble tout à fait logique) :
Code:

1 2 $ echo 'il y a 300 euros' | sed 's/[0-9][0-9]*/echo $(( & - 2 ))/e' sh: 1: il: not found
Mais pour le coup, c'est ctac_ qui à raison :lahola:

Version "en une ligne"

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
Vid=100035542
 
StartTime=`curl "https://rechat.twitch.tv/rechat-messages?start=1478717947&video_id=v$Vid" | sed "s/.*between \| and .*//g"`
EndTime=`curl "https://rechat.twitch.tv/rechat-messages?start=1478717947&video_id=v$Vid" | sed "s/.* and \|\"}].*//g"`
export StartTime=$StartTime
Debut=`date`
debut=`date +%s`
 
echo $Debut
 
echo "Récupération du chat..." | grep --color=auto ".*"
echo "Durée de traitement estimée : 2'30'' par heure de vidéo"
 
for var in `seq $StartTime 30 $EndTime` ; do wget -qO- "https://rechat.twitch.tv/rechat-messages?start=$var&video_id=v$Vid" | sed "s/\"type\"/\n/g" |grep -o "timestamp.*tags" |sed "s/.*/&::&/g" | sed "s/deleted\|from/DELETEHERE/" | sed "s/from/ENDHERE/" |sed "s/DELETEHERE.*ENDHERE/from/g" | sed "s/tags.*message/message/g" |sed "s/\",\"from.*//g" |sed "s/\",\"message\":\"/ : /g" | sed "s/timestamp\"://g" | sed "s/[0-9][0-9][0-9],\"/,&/g"  | sed "s/ /--espace--/g"| sed "s/\"/,/g"| sed 's/\(^[0-9]*\)\(,[0-9]*\)\(.*\)/echo "$(date -d @$(( \1 - $StartTime )) +%H:%M:%S)\2--espace---->--espace--$(date -d @$(( $(( \1 - $StartTime )) +20 )) +%H:%M:%S)\2\3"/e' | sed "s/ /\n/g" | sed "s/--espace--/ /g" ; done  | grep -v "^$"|grep -n "^" | sed "s/,,from,:,/\n/g" |sed "s/^[0-9]*:/\n&\n/g" | sed "s/:$//g"
 
echo "$Debut"
date
fin=`date +%s`
date -ud @$(( $fin - $debut )) "+Durée de traitement : %H:%M:%S"

Merci à tous pour votre aide en tout cas, je maitrise à présent mieux "sed" !

15/11/2016, 19h29
disedorgue

A priori, tu aimes perdre du temps pour lancer un sed par commande...
15/11/2016, 20h06
bobolecoco

Qu'entends-tu par là (un sed par commande) ?
15/11/2016, 20h23
disedorgue

Exemple:

Code:

sed "s/.*/&::&/g" | sed "s/deleted\|from/DELETEHERE/" | sed "s/from/ENDHERE/" |sed "s/DELETEHERE.*ENDHERE/from/g" | sed "s/tags.*message/message/g" |sed "s/\",\"from.*//g" |sed "s/\",\"message\":\"/ : /g" | sed "s/timestamp\"://g" | sed "s/[0-9][0-9][0-9],\"/,&/g" | sed "s/ /--espace--/g"| sed "s/\"/,/g"| sed 's/$^[0-9]*$$,[0-9]*$$.*$/echo "$(date -d @$(( \1 - $StartTime )) +%H:%M:%S)\2--espace---->--espace--$(date -d @$(( $(( \1 - $StartTime )) +20 )) +%H:%M:%S)\2\3"/e' | sed "s/ /\n/g" | sed "s/--espace--/ /g"

Ici, tu dois pouvoir remplacer tous les sed par un seul sed, comme par exemple via la syntaxe: sed -e "s/.*/&::&/g" -e "s/deleted\|from/DELETEHERE/" -e ..... parmi les syntaxes possibles...
15/11/2016, 20h27
bobolecoco

Sans doute oui, je n'y avais pas pensé et j'ai pris l'habitude d'enchainer les "sed" au fur et à mesure pour tester chaque étape, mais c'est tout aussi possible avec cet méthode.

Merci !
15/11/2016, 21h18
CosmoKnacki

En fait cette option e ne fait pas ce à quoi on pourrait s'attendre (ce qui se passe pour les autres langages), c'est à dire que la commande echo $((&-2)) n'est pas interprétée au moment du remplacement qui est un simple remplacement, par contre, une fois le ou les remplacements effectués, c'est l'ensemble du pattern space qui est interprété.