Discussion :

[al1_24]

Bonjour,

Je me heurte aux limites de mes (faibles) compétences en sed.

J'ai un fichier csv au format Unix (Fin de ligne \n).
A l'intérieur, certaines lignes intègrent des commentaires comportant des sauts de lignes au format DOS (\r\n).
Ce que je souhaiterais faire, c'est convertir ces \r\n en \r pour ne plus avoir de saut de ligne intempestif à l'intérieur d'une même ligne logique.

J'en étais arrivé à ça, mais ça ne fonctionne pas...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -r -e '/\r/ n;s/\r\n/\r/' fichier

J'appelle à l'aide les magiciens de sed.

[Flodelarab]

Bonjour

Utilise la fin de ligne $ :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/\r$//'

[disedorgue]

Bonjour,

@Flodelarab: relis bien le problème du monsieur, c'est plus complexe, il veut garder le '\r' pas le '\n'

Si le fichier est vraiment terminal en format unix, tu peux le faire avec quelque chose du genre en gnu sed (pas testé) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -z 's/\r\n/\r/g'

[N_BaH]

voilà! avec un -z, comme dizedorgue

[al1_24]

Je venais juste poster le résultat positif de mes recherches :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -z -r -e '/\r/ n;s/\r\n/\r/'

Je vais essayer la version plus courte.

Merci à tous les deux de vous être penché sur mon problème

[al1_24]

Version courte validée !

[ctac_]

Bonjour,
Pas très posix le -z
https://pubs.opengroup.org/onlinepub...tml#tag_20_116
Cordialement

[disedorgue]

ça tombe bien, on n'est pas dans le forum posix mais gnu...

Sinon, pour les puristes:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed  ':b;$!{N;bb;};s/\r\n/\r/g'

@al1_24: je pense que tu voulais mettre 'N' dans ton sed et non 'n' dans ta solution, mais de toute façon, tu aurais potentiellement un problème avec cette solution dans le cas où tu aurais 2 '\r\n' pour une même ligne.

[Flodelarab]

Pas très posix le -z

Cette formulation est intéressante. Car, justement, cela demande une solution POSIX pour rendre un fichier non-POSIX. A priori, je pense que sed-posix ne sait pas faire. et les commandes sed ':b;$!{N;bb;};s/\r\n/\r/g' et sed -z 's/\r\n/\r/g' ne font pas la même chose.

Soit un fichier blablabla\r\nblablabla\r\nblablabla\r\n.

• sed -z 's/\r\n/\r/g' transforme le fichier en blablabla\rblablabla\rblablabla\r. Ce fichier n'est plus POSIX puisque toute ligne doit finir par \n.
• sed ':b;$!{N;bb;};s/\r\n/\r/g' transforme le fichier en blablabla\rblablabla\rblablabla\r\n. Ce fichier est POSIX mais ce n'est pas ce qui est demandé par le PO.

[disedorgue]

Soit un fichier blablabla\r\nblablabla\r\nblablabla\r\n.

Bah, moi je dirais que ce type de fichier n'est pas non plus dans le format spécifié par le demandeur, puisqu'il précise bien que sont fichier est avec des lignes terminal au format UNIX et que seul ces champs peuvent avoir des '\r\n' .
D'ailleurs, j'avais même précisé que la solution avec -z ne fonctionnait que si le format est respecté.

Par contre, comme tu le dis, j'ai déjà rencontré des sed (dit posix), qui rajoutait le '\n' sur la dernière ligne même s'il n'existait pas dans le fichier d'origine ce qui rend impossible de ne garder que le '\r' en fin de fichier.

[Flodelarab]

Ce qui me fait frémir, c'est que \r a vraiment une action. On revient en arrière si la console le permet.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
$ echo -e "Bonjour\rtout\rle\rmonde"
mondeur
$ echo -e "Bienvenue\rtoute\rla\rpopulation"
population

Dans le second cas, cela peut devenir ardu de débuguer et expliquer pourquoi "seule la dernière ligne est traitée". Ce qui est faux. C'est juste qu'elle écrase tout.

[disedorgue]

Dans ces cas là, pour retirer les doutes, je pipe les sorties sur cat -A:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$ echo -e "Bienvenue\rtoute\rla\rpopulation"| cat -A
Bienvenue^Mtoute^Mla^Mpopulation$

[jack-ft]

Dans ces cas là, pour retirer les doutes, je pipe les sorties sur cat -A:

Et pour ceux qui, soit par choix, soit par contrainte, sont plus POSIX (et qui n'ont rien à faire dans ce forum...) et pour qui l'option cat -A n'est pas reconnue, on peut utiliser od -bc :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
$ cat -A
cat: illegal option -- A
usage: cat [-benstuv] [file ...]
 
$ echo -e "Bienvenue\rtoute\tla\rpopulation"| od -bc
0000000   102 151 145 156 166 145 156 165 145 015 164 157 165 164 145 011
           B   i   e   n   v   e   n   u   e  \r   t   o   u   t   e  \t
0000020   154 141 015 160 157 160 165 154 141 164 151 157 156 012        
           l   a  \r   p   o   p   u   l   a   t   i   o   n  \n

ou les options POSIX de cat

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
$ echo -e "Bienvenue\rtoute\tla\rpopulation" | cat -v
Bienvenue^Mtoute	la^Mpopulation
 
$ echo -e "Bienvenue\rtoute\tla\rpopulation" | cat -e
Bienvenue^Mtoute	la^Mpopulation$
 
$ echo -e "Bienvenue\rtoute\tla\rpopulation" | cat -t
Bienvenue^Mtoute^Ila^Mpopulation

[disedorgue]

Pour rappel, le '-e' de echo n'est pas posix non plus...

Sinon, on peut aussi le faire avec sed:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
$ printf "Bienvenue\rtoute\tla\rpopulationblablablablablablablablablablablablablablablablablablabla_ici_fin\n" | sed -n 'l'
Bienvenue\rtoute\tla\rpopulationblablablablablablablablablablablablab\
lablablablablablabla_ici_fin$