Commande sed en une seule passe

Bonjour,

Pourquoi ces 3 lignes de commandes qui marchent bien :

Code:

---

1 2 3

sed -e "1,${VAR2}d" ftmp2.csv > ftmp3a.csv #suppression des VAR2 premières lignes (suivant la valeur de VAR2) sed -n "/\;OPCVM\;/p" ftmp3a.csv > ftmp3b.csv #ne garder que les lignes contenant ";OPCVM;" sed -e "s/$/THIPEA/" ftmp3b.csv > ftm3.csv #ajouter en fin de ligne (dernier champ) : "THIPEA"

---

ne sont pas équivalentes à cette commande ci-dessous :

Code:

---

1 2 3

sed -e "1,${VAR2}d" \ -n "/\;OPCVM\;/p" \ -e "s/$/THIPEA/" ftmp2.csv > ftmp3.csv

---

¿ Ne peut-on pas faire ce traitement en une seule passe avec la commande sed ?

Bonjour

Citation:

---

Envoyé par Liamm

Pourquoi ces 3 lignes de commandes qui marchent bien...ne sont pas équivalentes à cette commande...

---

A mon avis (hypothèse) c'est le "-n" au milieu qui doit foutre la grouille. Tu devrais tenter l'expérience seulement avec les "-e" (je l'ai déjà fait et ça fonctionne bien). Et si ça marche, rajouter le "-n" mais peut-être en le mettant en premier.
Et si le "-n" même en premier ne fonctionne pas, ben reste toujours le "une seule passe" mais via des pipes... sed -n ... ftmp2.csv | sed -e "..." -e "...". De là, on peut embrayer voir éventuellement ensuite si remplacer un sed -n par un bon vieux grep ne serait pas plus avantageux (de même que la suppression des $VAR2 premières lignes peut s'obtenir via un tail +$VAR2)

je ferais différemment :

Code:

---

sed -n $VAR2',${ s/$/THIPEA/; /\;OPCVM\;/p}' ftmp2.csv > ftmp3.csv

---

soit
pour les lignes entre $var2 (tu parles d'un nom de variable évocateur ! :roll:)
ajouter THIPEA en fin de ligne
afficher les lignes contenant \;OPCVM\; (pourquoi les point-virgules sont-ils protégés ??? )

si j'ai correctement interprété ce que tu veux faire...

edit:
voire

Code:

---

sed -n $nbL',${/\;OPCVM\;/s/$/THIPEA/p}' ftmp2.csv > ftmp3.csv

---

(nbL pour nombre de lignes !) :)

@Sve@r

>> ne mettre que des -e ne fonctionne pas!

En effet, les lignes auxquelles je rajoute "THIPEA" se retrouve en double :
- une sans "THIPEA" à la fin
- et l'autre identique avec "THIPEA" à la fin.

>> mettre pour la deuxième commande -ne ne fonctionne pas non plus!

En effet, les lignes auxquelles je rajoute "THIPEA" n'apparaissent plus.

@N_BaH que je salue

quand je copie

Code:

---

sed -n "${VAR2},${ s/$/THIPEA/, /\;OPCVM\;/p' ftmp2.csv > ftmp3.csv

---

dans mon éditeur, la coloration m'indique une erreur de "syntaxe"

mais je vais encore cherché.

Bonjour :coucou:

Citation:

---

Pourquoi ces 3 lignes de commandes qui marchent bien ne sont pas équivalentes à cette commande ci-dessous :

---

Ben ! La différence majeure est que la première version remplace les lignes, alors que la deuxième version va, potentiellement, écrire les lignes 2 fois. A priori. Je n'ai rien testé.

J'explique : les logiciels n'ont aucune règle, ou norme, sur le traitement des options. Certains les considèrent au global (donc si 2 options sont contradictoires, c'est la deuxième qui gagne), d'autres respectent une séquence (on peut faire une option avec une cible et un autre paramètre avec une autre cible), d'autres, enfin, mixent les 2 (je pense a mplayer qui considère les options avant la liste de cibles comme globales et celle après chaque cible comme individuelle pour ce fichier). Du coup, quand je vois "-n" en plein milieu du sed, je ne sais pas comment il sera traité. Mais si j'imagine que le traitement est individuel, la ligne en cours sera écrite une fois par le "p" de la deuxième ligne, et une fois avec la troisième ligne. Si "-n" est gardé en mémoire, la troisième ligne n'affiche rien et ne sert à rien.

@Flodelarab

Merci pour cette analyse.

J'ai déjà remarqué que la commande sed est puissante, mais délicate à manier.

Je n'ai jamais trouvé une bonne documentation expliquant le principe de fonctionnement de cette commande.

Je ne suis pas assez calé en anglais pour exploiter directeman le man, la référence ($man sed).

Notamment quand on parle de "pattern space" !
Cette notion doit être importante à la compréhension du fonctionnement de la commande sed.

Alors, je vais chercher encore (pour ne pas exploser le nombre de mes fichiers temporaires)

Tu réponds sur la forme mais pas sur le fond. :(

"Pattern space", c'est l'espace de travail de sed. Il a 2 espaces : une mémoire (hold space) et un espace de travail. Il prend une ligne, la met dans son espace de travail, la travaille (modification, suppression, etc), et vide l'esapce pour passer à la ligne suivante. C'est précisément ce qui ne va pas dans ton message initial. Ta deuxième version va l'afficher, puis continuer à la travailler, puisqu'elle est toujours sur l'établi. Dans la première version, chaque ligne est remplacée à chaque passe.

@Flodelarab
Je vais réfléchir à tête reposée à cela.
Merci.

Je sais que ce n'est pas un fin en soit mais si il n'y a pas de raison particulière pour n'utiliser QUE sed, j'utiliserais plutôt awk qui est très adapté pour ce genre de modifications

Citation:

---

Envoyé par Liamm

@Sve@r

>> ne mettre que des -e ne fonctionne pas!

En effet, les lignes auxquelles je rajoute "THIPEA" se retrouve en double :
- une sans "THIPEA" à la fin
- et l'autre identique avec "THIPEA" à la fin.

---

8O

Fichier "xxx"

Code:

---

1 2 3 4 5 6 7 8 9 10 11

null null null null null null null null Hello World Le temps est beau

---

Code:

---

1 2 3 4

$ sed -e "1,8d" -e "s/$/THIEPA/" xxx HelloTHIEPA WorldTHIEPA Le temps est beauTHIEPA

---

Je ne vois aucune ligne dupliquée avec les "-e" à suivre...

Citation:

---

Envoyé par Liamm

Alors, je vais chercher encore (pour ne pas exploser le nombre de mes fichiers temporaires)

---

Le pipe ne te génère aucun fichier temporaire => sed -e "1,${VAR2}d" ftmp2.csv |sed -n "/\;OPCVM\;/p" |sed -e "s/$/THIPEA/" >ftmp3.csv.
Et en jouant avec les canaux, on peut même s'arranger pour réécrire le fichier traité et éviter jusqu'à ftmp3

Code:

---

1 2 3

exec 3<ftmp2.csv rm -f ftmp2.csv # Obligatoire pour détacher le fichier du canal 3 ; ce qui permettra, quand on réécrira dedans, de ne pas vider le canal 3 qui sert d'input sed -e "1,${VAR2}d" 0<&3 |sed -n "/\;OPCVM\;/p" |sed -e "s/$/THIPEA/" >ftmp2.csv

---

Ensuite il y a effectivement la grosse artillerie awk

Le plus simple c'est de transformer le -n en -e en supprimant les lignes qui n'ont pas OPCVM.
C'est l'idée inverse de N_BaH mais petite erreur entre des quotes et des guillemets

Citation:

---

Envoyé par Liamm

dans mon éditeur, la coloration m'indique une erreur de "syntaxe"

---

en effet. j'ai corrigé dans mon message :sed -n $VAR2',...' fic1 > fic2il serait bon que tu nous montres un échantillon représentatif du fichier d'origine, et la sortie que tu souhaites en obtenir.
avec quelques explication sur les raisons des modifications.

Peut-être fermer le bloc de commande aussi ?

ouaip! corrigé. merci.

@ becket
j'utilise plutôt awk ou gawk pour la réorganisation des colonnes en sortie
et
pour l'insertion de colonne
et
pour les impressions formatées avec printf.

= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
@Sve@r
Si, c'est certain, dans mon cas, j'ai une duplication de ligne due, je pense à un filtrage des lignes "OPCVM" que tu ne reproduis pas dans ton exemple.

Par contre :

Citation:

---

Le pipe ne te génère aucun fichier temporaire => sed -e "1,${VAR2}d" ftmp2.csv |sed -n "/\;OPCVM\;/p" |sed -e "s/$/THIPEA/" >ftmp3.csv.

---

c'est intéressant, ça permet d'utiliser moins de fichiers temporaires.
Mais la machine lit le fichier d'entrée trois fois alors que la vraie question d'origine est de savoir comment faire le traitement en une seule lecture.

= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
@disedorgue
cela donnerait quoi comme code ?

= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = =
@N_BaH
Merci, je testerai cet après midi ce que cela donne !
et
je reviendrai vers vous pour vous le dire

Merci à tous
TDLT

Mignonnes ces lignes de "=". Sur le forum, la balise [ hr ] [ / hr ] permet de faire cette ligne horizontale dans le style du forum.
Exemple :

---

et autre exemple :

---

;)

@Flodelarab
C'est noté
Elles ne sont pas identiques pour autant.

Citation:

---

Envoyé par Liamm

@Sve@r
Si, c'est certain, dans mon cas, j'ai une duplication de ligne due, je pense à un filtrage des lignes "OPCVM" que tu ne reproduis pas dans ton exemple.

---

Ben c'est normal, je t'ai dit "tente dans un premier temps de ne faire que le "-e" pour voir si le souci vient du "-n". Et tu réponds "ne mettre que des -e ne fonctionne pas! ça me donne des lignes en double (hier 17h42)".
Donc je reproduis un exemple ne mettant que des "-e". Ne viens pas alors dire "oui mais tu n'as pas filtré les lignes" (ce filtrage étant justement fait par le sed -n que le test prévoit justement de ne pas mettre!!!) :roll:

Citation:

---

Envoyé par Liamm

Mais la machine lit le fichier d'entrée trois fois

---

Plus exactement la commande n° X lit le traitement généré par la commande X-1. Si la commande X-1 a shunté les $VAR2 premières lignes, ce qui est lu ensuite en est réduit d'autant.

Citation:

---

Envoyé par Liamm

alors que la vraie question d'origine est de savoir comment faire le traitement en une seule lecture.

---

Fichier xxx

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13

null null null null null null null null anglais:Hello anglais:World français:Le temps est beau français:Mais il se couvre anglais:end

---

Avec la commande de N_Bah...

Code:

---

1 2 3 4

$ sed -n 9',${/^anglais:/s/$/THIPEA/p}' xxx anglais:HelloTHIEPA anglais:WorldTHIEPA anglais:endTHIEPA

---

Ensuite si le besoin évolue il reste carrément l'arme ultime awk...

Code:

---

1 2 3 4

$ awk '{if (NR <= 8) next; if ($0 ~ /^anglais:/) printf("%sTHIEPA\n", $0)}' xxx anglais:HelloTHIEPA anglais:WorldTHIEPA anglais:endTHIEPA

---

@N_BaH
1/

Code:

---

sed -n $VAR2',${ s/$/THIPEA/, /\;OPCVM\;/p}' ftmp2.csv > ftmp3.csv

---

donne l'erreur :

Code:

---

sed: -e expression n°1, caractère 18: option inconnue pour «*s*»

---

2/

Code:

---

sed -n $VAR2',${/\;OPCVM\;/s/$/THIPEA/p}' ftmp2.csv > ftmp3.csv

---

Marche bien !
Ça mérite un point ! :D

Citation:

---

Envoyé par Liamm

@N_BaH
1/

Code:

---

sed -n $VAR2',${ s/$/THIPEA/, /\;OPCVM\;/p}' ftmp2.csv > ftmp3.csv

---

donne l'erreur :

Code:

---

sed: -e expression n°1, caractère 18: option inconnue pour «*s*»

---

---

parce que la seconde virgule devrait être un point-virgule.
j'ai corrigé mon message.