Discussion :

[Philippe Dpt35]

Bonjour,

Pour compléter la FAQ Linux section 6..3 sur sed que l'on a récemment ajoutée, voici deux propositions supplémentaires.

Comment ajouter du texte ?
a ajoute du texte après la ligne indiquée, i l'ajoute avant.
Ajoute une ligne avec un texte après la ligne 2

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed '2 a# Ceci est une ligne de commentaire'

Ajoute une ligne avec un texte avant la ligne 2

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed '2 i# Ceci est une ligne de commentaire'

Ajoute une ligne avec un texte après chaque ligne ne commençant pas par #

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed '/^#/! a# Ceci est une ligne de commentaire'

Comment afficher les lignes comprises entre une ligne commençant par un mot et une autre se terminant par un autre mot ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -n -e '/^mot1/,/mot2$/p' nom_fichier

[Flodelarab]

Bonjour

Tout dépend de ce que veut dire "FAQ".
Si FAQ veut dire Foire Aux Questions, alors on peut rajouter ces questions.
Si FAQ veut dire Frequently Asked Questions, alors on doit reconnaître que ces commandes, quoique vraies, ne sont JAMAIS sollicitées par ceux qui viennent poser des questions sur le forum.

Dans le même ordre d'idée, il y a les commandes utilisant un fichier externe. Jamais utilisées non plus.

[Philippe Dpt35]

@Flodelarab
Ton questionnement est légitime, et je n'ai pas la réponse !

Je tiens toutefois à préciser que j'ai proposé l'ajout de ces deux points en lien avec des interventions sur le forum. Les intitulés n'étaient pas explicitement formulés en ces termes, mais dans le contenu des discussions de telles commandes étaient proposées à un moment ou un autre.

[LittleWhite]

Du coup, je verrai bien l'ajout de :
"Comment afficher des lignes spécifiques d'un fichier ?"

Genre, affichage de la ligne 3 et 5.

Sinon, je pense qu'il faut les intégrer. Des les deux cas de "FAQ", il faut intégrer. Lorsque je ne trouve pas un résultat dans une FAQ? bah je regarde le prochain résultat de Google (ou le premier).

[Philippe Dpt35]

Du coup, je verrai bien l'ajout de :
"Comment afficher des lignes spécifiques d'un fichier ?"

Genre, affichage de la ligne 3 et 5.

Proposition concrète:

Comment afficher des lignes spécifiques d'un fichier ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -n '3p;5p'

Il y a peut-être d'autres solutions !

[chrtophe]

Sinon, je pense qu'il faut les intégrer.

en cours.

[Flodelarab]

La discussion s'appelle "Propositions pour la FAQ Linux sur sed". Puis-je émettre des idées sans rapport avec ce qui précède ?

• Dans la faq, on peut lire:
  

  Nous pouvons combiner adressage par N° de ligne et par motif
  Efface la ligne 7 si elle commence par #
  Code bash : Sélectionner tout
  
  sed '/^#/,7 d'

  Ça, c'est faux. Il efface de la ligne qui commence par un croisillon jusqu'à la ligne 7. Pour que les conditions se combinent, il faut que la première ligne ayant un dièse soit la septième.
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12
  13
  $ cat testsed
  kjdfgkdfj
  #kdfjngd;f
  fd*
  dgdgdf
  #aqwaqw
  xzb
  ligne 7
  oinyjn
  njynyj
  ,unjujy
  yuiyuj
  # tata

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  1
  2
  3
  4
  5
  6
  $ sed '/^#/,7 d' testsed
  kjdfgkdfj
  oinyjn
  njynyj
  ,unjujy
  yuiyuj

  Supprimons les croisillons dans "testsed", et testons:
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12
  $ sed '/^#/,7 d' testsed                                                                                                                                                                                                                     
  kjdfgkdfj
  kdfjngd;f
  fd*
  dgdgdf
  aqwaqw
  xzb
  ligne 7
  oinyjn
  njynyj
  ,unjujy
  yuiyuj

  Aucun changement n'est fait.
  
  Mettons un croisillon sur la ligne 7:
  
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  $ sed '/^#/,7 d' testsed
  kjdfgkdfj
  kdfjngd;f
  fd*
  dgdgdf
  aqwaqw
  xzb
  oinyjn
  njynyj
  ,unjujy
  yuiyuj

  La ligne 7 a bien disparu.
  
  .
• Proposition:
  Comment réutiliser une expression déjà trouvée ?
  En utilisant les références arrières: \1, \2, ..., \9 font référence au 1er, 2eme, ...., 9ème groupes de parenthèses rencontrées.
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  1
  2
  $ sed 's/\(....\)\.\(..\)\.\(..\)/\3.\2.\1/' <<<"2018.01.11"                                                                                                                                                                                 
  11.01.2018

  Les parenthèses sont échappées pour ne pas être comprises comme caractères.
  Le point est échappé pour être compris comme caractère.
  
  NOTE 1: On peut utiliser les référence arrière dès la recherche:
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  1
  2
  $ sed 's/\(bla\)\1\1/palabre/' <<<"Tes paroles sont des blablablas."                                                                                                                                                                         
  Tes paroles sont des palabres.

  NOTE 2: Pour réutiliser ce qui a été trouvé en entier, on peut aussi utiliser l'esperluette &
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  1
  2
  $ sed 's/tout/du & au &/' <<<"Sed, ça change tout."
  Sed, ça change du tout au tout.

• En fait, pour les autres propositions, il faudrait reprendre tout ce qu'on a dit à gadj0dil0 dans sa discussion. L'utilisation des mémoires tampons, "comment supprimer un retour à la ligne ?", etc.
  

[chrtophe]

La discussion s'appelle "Propositions pour la FAQ Linux sur sed". Puis-je émettre des idées sans rapport avec ce qui précède ?

Bien sûr.

La solution correcte est :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 sed '/^#/,7 d' testsed

c'est ça ?

[Philippe Dpt35]

Merci pour ton correctif Flodelarab.

La solution correcte est :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed '/^#/,7 d' testsed

c'est ça ?

Non, ça c'est la même chose.

En fait, pour les autres propositions, il faudrait reprendre tout ce qu'on a dit à gadj0dil0 dans sa discussion. L'utilisation des mémoires tampons, "comment supprimer un retour à la ligne ?", etc.

Tu proposes de faire de nouvelles entrées de FAQ pour sed sur ces points, ou de reprendre certaines entrées existantes pour les intégrer ?

[disedorgue]

Bien sûr.

La solution correcte est :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 sed '/^#/,7 d' testsed

c'est ça ?

Non, la solution est "plus complexe":

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed '7{/^#/d;}'

En gnu sed, le ';' avant la fermeture du bloc n'est pas obligatoire, mais vaut mieux garder l'habitude de le mettre pour une meilleur compatibilité avec les autres version de sed.

Ici, le bloc {...;} ne s'exécute que pour la ligne 7.

De manière générale les commandes sed sur une suite d'adressage qui peuvent être:
m,n: de la ligne m à la ligne n ou jusqu'à la dernière ligne si n est supérieur à celle-ci
/r1/,/r2/: de la ligne avec la regex r1 à la ligne avec la regex r2 ou jusqu'à la dernière ligne si on ne trouve pas r2 avant. r1 doit toujours être trouvé avant r2 et rien n'empêche que les 2 regex soient sur la même ligne tant que l'ordre est respecté.

Après sous gnu, on peut mixer les numéros de ligne et les regex:
m,/r1/: de la ligne m à la ligne avec la regex r1
/r1/,m: de la ligne avec la regex r1 à la ligne m

On a aussi le cas suivant:
n~p: à partir de la ligne n (comprise) et sur un pas de p jusqu'a la fin du fichier.
Exemple:
6~2:ne traiter que les lignes pair à partir de la ligne 6 (celle-ci comprise).

[chrtophe]

Que met on dans la faq donc ?

[Philippe Dpt35]

Que met on dans la faq donc ?

Je pense qu'on peut réintégrer la question qui a été supprimé suite à la remarque de Flodelarab en intégrant le correctif de disedorgue

Comment supprimer des lignes précises à condition qu'elles contiennent un motif ?
Efface la ligne 7 si elle commence par #

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed '7{/^#/d;}'

(on pourrait éventuellement compléter par)
Efface les lignes qui commencent par # depuis la ligne 4 jusqu'à la ligne 7

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed '4,7{/^#/d;}'

On peut ajouter une entrée suite à la proposition de Littlewhite

Comment afficher des lignes spécifiques d'un fichier ?
Affiche les lignes 3 et 5 uniquement

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -n '3p;5p'

Attendons plus de précisions de Flodelarab concernant l'utilisation des mémoires tampons, "comment supprimer un retour à la ligne ?", etc.

[Flodelarab]

• Références arrières: cf message précédent.
• Comment ne pas traiter tout le fichier ?
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  sed '226q'

  La dernière ligne traitée et affichée sera la 226ème.
• Comment connaître le nombre de lignes d'un fichier ?
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  sed -n '$='

  Pourquoi le résultat est parfois différent de la commande wc -l ?
  Car sed compte chaque ligne commencée alors que wc compte les caractères de fin de ligne ("\n"). Si la dernière ligne d'un fichier texte n'est pas finie par un "\n", sed et wc ne donne pas le même nombre.
  
• Pourquoi sed ne remplace-t-il aucun de mes retours à la ligne ?
  Car sed travaille ligne par ligne. Le caractère de fin de ligne "\n" n'est pas dans l'espace de travail de sed. Il ne peut donc pas le remplacer. On peut artificiellement faire apparaître ce caractère "\n" par les commandes N, G, H, par exemples.
  NOTE:
  Windows a des fins de ligne en CRLF (carriage return, line feed), \r\n, 0d0a
  Linux a des fins de ligne en LF, \n, 0a
  MacOS a des fins de ligne CR \r, 0d
  
• Comment supprimer les "\r" en fin de ligne dans tout le fichier ?
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  sed 's/\r$//'

• Comment afficher un texte à l'envers ?
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  sed "1!G;h;$p"

  On utilise ici l'espace mémoire. sed a 2 espaces: un espace de travail et un espace de mémoire pour stocker temporairement du texte. On utilise les commandes suivantes :
  h et H pour hold/mise en mémoire (avec ou sans écrasement).
  g et G pour get/rapatriement de la mémoire (avec ou sans écrasement).
  x pour exchange/échange des mémoires.
  
• Comment supprimer toutes les fins de ligne "\n" du fichier ?
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  sed -n 'H;${g;s/\n//g;p}'

  ou alors
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  sed ':z;N;$!b z;s/\n//g'

  Dans ce second cas, la commande b est un saut inconditionnel à l'étiquette z définie par ":z".
  
• Comment mettre les lignes contenant un motif à la fin du fichier ?
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  sed '/motif/{1h;1!H;d};$G'

• Comment remplacer du texte tant que c'est possible ?
  

  Code :

  Sélectionner tout - Visualiser dans une fenêtre à part

  1
  2
  $ sed ':e;s@<div></div>@@;t e' <<<"<body><div><div><div><div><div></div></div></div></div></div></body>"
  <body></body>

  Ici, le saut à l'étiquette e est conditionnel. Le saut s'effectue si la substitution a réussi.

A faire: Question pour le drapeau "M" dans la substitution, question pour la commande w (pas sûr que ce soit intéressant).

[Philippe Dpt35]

Pour la suppression des sauts de ligne, en faisant quelques recherches, j'ai trouvé cette autre solution, proche de la seconde solution proposée, mais un peu plus simple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed ':s;N;s/\n//;bs'

bs assurant le branchement à l'étiquette :s

[jlliagre]

NOTE:
Windows a des fins de ligne en CRLF (carriage return, line feed), \r\n, 0d0a
Linux a des fins de ligne en LF, \n, 0a
MacOS a des fins de ligne CR \r, 0d

C'est ce que je croyais aussi mais j'ai appris il y a peu que depuis 1999 (!), MacOS utilise aussi LF.

Après réflexion, c'est assez logique vu l'utilisation d'une couche BSD et la certification POSIX qui impose LF.

Je suggère donc de remplacer la note par:

NOTE:
Windows a des fins de ligne en CRLF (carriage return, line feed), \r\n, 0d0a
Unix, Linux et Mac OS ont des fins de ligne en LF, \n, 0a (standard POSIX)

[disedorgue]

Pour la suppression des sauts de ligne, en faisant quelques recherches, j'ai trouvé cette autre solution, proche de la seconde solution proposée, mais un peu plus simple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed ':s;N;s/\n//;bs'

bs assurant le branchement à l'étiquette :s

Ici, tu es sur le cas particulier du traitement de '\n', car en fait, tu ne traites pas la dernière ligne.
Quand on utilise la commande N, il est fortement conseiller de vérifier avant si on n'a pas déjà atteint la dernière ligne.

D'ailleurs, celle de Flodelarab a le même souci pour le cas où le fichier n'a qu'une seule ligne.

Mais bon, on traite le cas du suppression de ligne, donc ça passe pour les 2 solutions.
Après, à vous de voir si on se veut plus général qui serait plus:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed ':z;$!{N;b z;};s/\n//g'

[Flodelarab]

C'est ce que je croyais aussi mais j'ai appris il y a peu que depuis 1999 (!), MacOS utilise aussi LF.

Après réflexion, c'est assez logique vu l'utilisation d'une couche BSD et la certification POSIX qui impose LF.

Je suggère donc de remplacer la note par:

NOTE:
Windows a des fins de ligne en CRLF (carriage return, line feed), \r\n, 0d0a
Unix, Linux et Mac OS ont des fins de ligne en LF, \n, 0a (standard POSIX)

Sauf que dans le concret, on voit encore des internautes débarquer avec des fichiers textes ayant des lignes finies par "\r".
Je propose donc de faire une indication mixte pour Mac OS

La différence viendrait-elle de la différence entre Mac OS et Mac OSX ?

Pour la suppression des sauts de ligne, en faisant quelques recherches, j'ai trouvé cette autre solution, proche de la seconde solution proposée, mais un peu plus simple:
Code : Sélectionner tout - Visualiser dans une fenêtre à part

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed ':s;N;s/\n//;bs'

bs assurant le branchement à l'étiquette :s

Autant "ts" j'aurais compris. Mais "bs" ! Je ne comprends même pas pourquoi il s'arrête puisque le saut est inconditionnel.
J'ai appris un truc : N=q si N est impossible.
Une erreur fatale serait, pour éviter la dernière ligne, d'écrire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed ':s;$!N;s/\n//;bs'

Car sed tournerait en rond dans une boucle infinie.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed ':z;$!{N;b z;};s/\n//g'

Je suis d'accord avec cette solution.

[Philippe Dpt35]

Petite question personnelle à propos de

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed ':z;$!{N;b z;};s/\n//g'

Si je comprends bien la commande, ça place une étiquette sur la ligne en cours(:z), puis (sauf pour la dernière ligne $!) ajoute la ligne suivante à l'espace de travail (N), retourne à la ligne en cours (b z) à laquelle s'est ajoutée la ligne suivante, et supprime le caractère de fin de ligne (s/\n//g)

Mais alors ensuite sed ne passe pas à la ligne suivante, et tient compte de la ligne ajoutée à l'espace de travail pour la sauter ? Car sinon les lignes s'afficheraient 2 fois ?

[disedorgue]

Une version gnu qui supprime tout les '\n' en une seule fois et même celui de la dernière ligne:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -z 's/\n//g'

Si on ne veut pas supprimer le tout dernier (celui de la dernière ligne) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -z 's/\n\(.\)/\1/g'

Ici, sed ne prend plus comme séparateur de ligne le '\n' mais le caractère NUL (\000) , et donc dans un fichier texte standard ou NUL n'apparait pas, sed ne vois qu'une seule ligne:
Sans l'option -z:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
$ echo -e '#bon\n#pasbon\n#bon' | sed '='
1
#bon
2
#pasbon
3
#bon

Avec l'option -z:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ echo -e '#bon\n#pasbon\n#bon' | sed -z '='
1#bon
#pasbon
#bon

Petite question personnelle à propos de

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed ':z;$!{N;b z;};s/\n//g'

Si je comprends bien la commande, ça place une étiquette sur la ligne en cours(:z), puis (sauf pour la dernière ligne $!) ajoute la ligne suivante à l'espace de travail (N), retourne à la ligne en cours (b z) à laquelle s'est ajoutée la ligne suivante, et supprime le caractère de fin de ligne (s/\n//g)

Mais alors ensuite sed ne passe pas à la ligne suivante, et tient compte de la ligne ajoutée à l'espace de travail pour la sauter ? Car sinon les lignes s'afficheraient 2 fois ?

La commande N, charge juste la ligne suivante ou force la fin de cycle si on était déjà à la dernière ligne du fichier. l'affichage de l'espace de travail par sed (donc sans l'option -n), ne se fait qu'à la fin de chaque cycle.

[Flodelarab]

Si je comprends bien la commande, ça place une étiquette sur la ligne en cours(:z),

C'est une étiquette dans le programme. Pas une étiquette dans le texte.

Mais alors ensuite sed ne passe pas à la ligne suivante, et tient compte de la ligne ajoutée à l'espace de travail pour la sauter ? Car sinon les lignes s'afficheraient 2 fois ?

Oui il saute. Non il ne l'affiche pas 2 fois.

Une version gnu qui supprime tout les '\n' en une seule fois et même celui de la dernière ligne:

Si la norme dit qu'une ligne valide se termine par \n, ce n'est pas conseillé d'enlever le dernier. Mais l'option "-z" est intéressante. Elle évite la boucle .

En même temps, la FAQ doit donner des idées de ce qui est possible. Les utilisateurs composent.