Discussion :

[soazig]

Bonjour,
J'ai un fichier dont les caractères de fin de ligne est un CRLF. Sur certaines ligne j'ai un CR en plein milieu. Il me faudrait remplacer les CR de milieu de ligne par des blancs, sans toucher au CR de fin de ligne.
J'ai bien réussi à transformer les CR par des blancs avec tr. Mais il faudrait que je transforme après les blancLF par des CRLF.
Voilà ce que j'ai fait.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat ${FICHIER}|tr '\r' ' ' >${FICHIER}.1

Merci de votre aide.
Soazig

[JeanMi3000]

vite fait, je dirais qu'il faut supprimer tous les \r
(pseudo code)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -e/\r//

puis remplacer les \n par \r\n
(pseudo code)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -e/\n/\r\n/

à tester sur une copie du fichier bien sur.

[soazig]

Bonjour,
Il ne faut pas supprimer les \r (CR), il faut les remplacer par un espace. Car c'est un fichier qui sera mangé par du cobol. Et une fois la substitution effectué, il faut remplacer le blanc suivi d'un \n (LF) par un LF.
Mais ça je ne sais pas le faire.

Merci néanmoins
Soazig

[JeanMi3000]

ça revient au même

tu remplaces tout les CR par un espace

sed -e"/\r/ /"

puis tous les espaces suivi d'un LF par un CRLF

sed -e"/ \n/\r\n/"

Le problème dans mon code est la prise en compte de l'espace dans la regex.

[Flodelarab]

Bonjour,

Je ne mets pas de pouce baissé pour ces conseils, mais le coeur y est: Il y a au moins 2 fautes. Tu n'as sûrement pas testé.

1. Il manque le 's' qui signifie substitution et qui indique l'opération à effectuer.
2. L'outil sed prend les lignes une à une. Il n'y aura donc jamais de \n au milieu de la ligne, à moins que tu aies manipulé pour en avoir.

La question qu'il faut plutôt poser est "D'où viennent ces fichiers?"
On dirait des fichiers venant de Windows qui n'ont pas été nettoyés avant d'être traités. Faudrait commencer par là.

NB: le CRLF ne sert à rien dans un fichier Unix. Seul \n a un intérêt.

Sinon, pour répondre comme une brute à la question initiale:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/\r/ /g;s/ $/\r/' monfichier.txt

Et pour répondre à la deuxième question (différente de celle initiale... ce serait trop simple):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/\r/ /g;s/ $//' monfichier.txt

[soazig]

Rebonjour,
Le fichier est téléchargé sur le site ameli de la sécurité sociale, et oui on est d'accord il est foireux. Le but est de le remettre d'aplomb.
Je vous rassure il m'a fallu 3heures pour trouver que c'est le fichier qui était foireux et pas le programme qui l'exploitait.

J'ai essayé ce qu'a proposé Flodelarab à savoir

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/\r/ /g;s/ $//' $FICHIER>$FICHIER_OUT

et le seul effet est que mon fichier faisait 129 caractères et qu'il en fait 128 maintenant ce qui n'est pas ce qui est souhaité.

On m'a aussi proposé

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
cat file | while read line
do
echo $line | sed -e "s/ctrl-vctrl-m\(.*\)$/\1/" | read NewLine
echo $NewLine
done > NewFile

où ctrl-vctrl-m doivent être tapé sous vi mais cela ne fonctionne pas non plus, le shell ne se termine pas. De toute façon je ne peux pas avoir de shell contenant des CR car ils seraient supprimés par des moulinettes externes.
J'avoue ne pas avoir été présentée à sed.

Je ne voie pas en quoi ce que j'ai écrit sur le deuxième post est en contradiction avec ce que j'ai écrit sur le deuxième.
Remarque le shell sera utilisé sous l'émulateur MKS ou sous cygwin
Merci
Soazig

[disedorgue]

Bonjour,

Le plus simple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -e 's/\r/ /g;s/ $//' fichier | unix2dos

Ici, on remplace tous les '\r' par un espace, puis on retire l'espace supplémentaire en fin de ligne (donc là, on a un fichier format unix), que l'on retransforme en format dos (les fameux '\r\n' de fin de ligne).

[soazig]

Bonjour,
disedorgue le sed que tu propose ne supprime que les espace de fin de ligne sans supprimer les CR. En fait cela me remplace les "r" par des espaces.

unix2dos ne semble pas disponible sous mks
Merci
Soazig

[disedorgue]

Bah,
mks, je connais pas trop, mais à priori, c'est du SCO, donc le sed n'est pas une version gnu, sous cygwin, unix2dos existe bien.

ce que je ne comprends pas bien, c'est que mon sed est identique à celui de Flodelarab et fonctionne bien sous cygwin (testé avec de mon coté)...

Sinon, si tu as perl, on devrait pouvoir te le transcrire...

[disedorgue]

Tu peux aussi tester cette version la plus posix possible:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -e 's/\x0d/ /g' -e 's/ $/\x0d/' fichier

[Flodelarab]

Soazig,

peux-tu nous montrer le résultat de cette commande pour qu'on juge sur pièce?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

od -c ton_fichier.txt

[BlaireauOne]

Bonsoir,

Une recherche vite faite dit que l'unix de MKS est du KSH.

Un sed qui fonctionne sous bash mais à vérifier sous KSH :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/\r[^\n]/ /g' in > out

[^\n] : tout caractère autre que NewLine

Donc, remplace tous les \r par blanc sauf le \r de fin de ligne ( \r\n )

[disedorgue]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/\r[^\n]/ /g' in > out

Ici, tu perds le caractère qui sera capturé par ton [^\n], de plus, son sed ne semble pas reconnaitre '\r' et dans ce cas, cela doit être pareil pour le '\n' (alors qu'ils font partie de la norme posix).
Autrement, en gardant cette syntaxe, voici une correction qui fonctionne en temps normal:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/\r\([^\n]\)/ \1/g' in > out

Sinon, ksh et sed n'ont aucun rapport, ce sont 2 programmes distincts et coté version avec des différences de comportement, il doit y en avoir environ autant qu'il y a de version d'UNIX

[Flodelarab]

1. Il n' y a toujours pas de caractère NewLine dans une ligne sed par défaut
2. Cette commande est fausse car '\rG' ou '\rU' (ou etc) est remplacé par ' '

[disedorgue]

1. Il n' y a toujours pas de caractère NewLine dans une ligne sed par défaut
2. Cette commande est fausse car '\rG' ou '\rU' (ou etc) est remplacé par ' '

Pour le point 1, c'est pas grave, car cela force le fait d'avoir un caractère après le Carriage Return, ce qui n'est pas le cas quand il est en fin de ligne

[CosmoKnacki]

Moi j'aurais fait ça:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -i.bak ':a;N;$!ba;y/\r/ /;s/ \n/\r\n/g' fichier

Par contre je ne peux pas te dire si ça fonctionne avec ta version de sed. L'utilisation de cette commande suppose que le fichier ne contient pas de LF précédé d'un espace.

Détail de la commande:

Comme sed travaille ligne par ligne, on l'oblige à placer toutes les lignes dans l'espace de la pattern. Pour cela on utilise une boucle conditionnelle qui s'interrompt une fois la dernière ligne ajoutée. Les caractères LF deviennent alors accessibles dans l'espace de la pattern:

:a est un label, le label a (on peut l'appeler tartampion ou isidor, c'est pareil)

N ajoute une nouvelle ligne à l'espace de la pattern.

$!ba est le test:

• $! si on est pas à la dernière ligne
• ba alors retourne au label a

y/\r/ / effectue la "traduction/translation" des CR en espaces.

s/ \n/\r\n/g remplace tous les espaces suivis d'un LF en CRLF.

[Flodelarab]

Résumons ta proposition:
CRLF -> ' LF' -> CRLF
Un beau programme qui ne fait rien.

Pire! Pour le dernier caractère, on a CR -> ' '
Ce qui n'est pas ce qui est demandé.

[CosmoKnacki]

Non la proposition est "CR -> espace" puis "espace LF -> CR LF" ce qui a pour conséquence de ne remplacer par un espace que les CR isolés (qui ne précèdent pas un LF).

Je ne vois pas pourquoi il resterait un CR à la fin. Et d'ailleurs à la fin de quoi? Des lignes; du fichier?

[soazig]

Bonjour,
Pour flodelarab le fichier initial fait 59 Mo, le fichier résultant du od 180Mo je ne peux donc pas mettre le résultat sur le forum.
Si tu veux ausculter le fichier il est http://www.ameli.fr/accueil-de-la-cc...ques/index.php il faut choisir Fichier NX complet
La proposition de disedorgue

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -e 's/\x0d/ /g' -e 's/ $/\x0d/' $FICHIER>$FICHIER_PROPRE

Me mets la chaine de caractères "x0d" en fin de ligne sous MKS.

Ce que j'ai testé et qui fonctionne même si cela ne correspond pas complétement à ma demande initiale

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat ${FICHIER}|tr '\r' ' '|sed 's/ $//'>$FICHIER_PROPRE

Sous MKS, j'ai bien en fin de ligne le CRLF attendu, sous cygwin je n'ai que le LF, mais le programme cobol a l'air de s'en accommoder très bien.

Merci à tous pour votre aide
Soazig

[Flodelarab]

Pour flodelarab le fichier initial fait 59 Mo

Désolé pour le fichier si gros. Je ne voulais qu'un extrait. Les 10 premières lignes aurait peut-être suffit. Mais comme ton problème est réglé...

le cat ne sert à rien, le tr non plus puisque tu utilises sed. Et au final, tu as simplement supprimé les \r.

Tu as bien compris que Windows fait ses fin de lignes avec CRLF alors que Linux LF. Si ce fichier est destiné à retourné sous Windows, attention, la fin de ligne doit redevenir CRLF. Sinon, Windows ne verra qu'une ligne dans tout le fichier.