Discussion :

[gadj0dil0]

Bonjour

Je vais essayer d'être clair. Alors, je passe un fichier par grep pour sortir dans un fichier uniquement les lignes contenant une occurrence.
Lorsque que je veux ensuite remplacer les "retours de lignes", "retours chariot" ou "sauts verticaux" par un espace rien n'y fait, ni sed ni grep.


Dans le terminal si je fait

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

cat fichier | tr '\n' '\t'

il ne m'affiche rien, si j'envoie "la sortie" vers un fichier-2 on y retrouve toutes les lignes mais avec une tabulation en début de ligne (sauf la première).

J'ai testé en remplaçant par des espaces, des tabulations, des point virgules....

Je n'envoie pas le code pour voir si vous détectez dans ma logique un truc qui cloche. Testé sur Ubuntu et Debian (Jessie), le script a le magic bash.
Si besoin je répondrais avec le code.

Merci de vos éclaircissement.

PS : si je crée le fichier manuellement et que j'envoie le retour (saut?) de ligne, le tr fonctionne, il les remplace par des espaces.

[disedorgue]

Bonjour,

Peut-être que le fichier que tu cherches à transformer est au format DOS ou MAC...

PS: on préfèrera tr '\n' '\t' <fichier à cat fichier | tr '\n' '\t'.

[gadj0dil0]

Merci je viens de tester mais là je ne récupère rien, et pas MAC ou DOS, sur DEBIAN comme indiqué, j'ai même testé en enregistrant les fichiers en encodant en iso-9001 et UTF-8

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
grep 'Date:' fichier.mbox  > dates
tr '\n' '\t' < dates

Je récupère une tabulation dès la 2e ligne mais le "retour de chariot" est toujours là !

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
Sat  2 Sep 2017 22:39:49
	Sat  2 Sep 2017 22:39:49
	Sat  2 Sep 2017 22:39:50
	Sat  2 Sep 2017 22:39:50

etc

[jack-ft]

Bonjour,

Merci je viens de tester mais c'est pareil, et pas MAC ou DOS, sur DEBIAN comme indiqué, j'ai même testé en enregistrant les fichiers en encodant en iso-9001)

Attention! L'encodage des caractères (utf8 utf16 iso-8859-1 iso-9001 etc.) est totalement indépendant de l'encodage des fins de ligne (linux, mac, dos)!

Afin qu'on puisse vérifier, quel est le résultat de la commande?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

od -c dates | head

[Flodelarab]

Bonjour

En quoi est-il pertinent de mettre toutes les dates remplies d'espaces sur une même ligne séparées par des espaces ?

[gadj0dil0]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

od -c dates | head

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
0000000  24915   8308  12832  21280  28773  12832  12592   8247
0000020  12850  13114  14905  14644   2573  24915   8308  12832
0000040  21280  28773  12832  12592   8247  12850  13114  14905
0000060  14644   2573  24915   8308  12832  21280  28773  12832
0000100  12592   8247  12850  13114  14905  12341   2573  24915
0000120   8308  12832  21280  28773  12832  12592   8247  12850
0000140  13114  14905  12341   2573  24915   8308  12832  21280
0000160  28773  12832  12592   8247  12850  13114  14905  12341
0000200   2573  24915   8308  12832  21280  28773  12832  12592
0000220   8247  12850  13114  14905  12341   2573  24915   8308

Ca fait mal à la tête

[Flodelarab]

@ gadj0dil0 :
Tu as oublié l'option -c dans od -c. Donc bien sûr, ça pique.

[gadj0dil0]

Bonjour

En quoi est-il pertinent de mettre toutes les dates remplies d'espaces sur une même ligne séparées par des espaces ?

Alors c'est la question à ne pas poser.
C'est une étape d'un script qui gère plusieurs des paquets de 4 lignes pour en faire un tableau de 4 colonnes. Je n'utilise pas le array. C’est une phase de "débogage", jamais le fichier ne sera comme ca au final. Et je tente par là d'améliorer mes connaissances de ces commandes. Comme souvent il y a un truc qui bloque.

[gadj0dil0]

@ gadj0dil0 :
Tu as oublié l'option -c dans od -c. Donc bien sûr, ça pique.

Rhoo t1, j'ai mis un "s", désolé

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
0000000   S   a   t           2       S   e   p       2   0   1   7    
0000020   2   2   :   3   9   :   4   9  \r  \n   S   a   t           2
0000040       S   e   p       2   0   1   7       2   2   :   3   9   :
0000060   4   9  \r  \n   S   a   t           2       S   e   p       2
0000100   0   1   7       2   2   :   3   9   :   5   0  \r  \n   S   a
0000120   t           2       S   e   p       2   0   1   7       2   2
0000140   :   3   9   :   5   0  \r  \n   S   a   t           2       S
0000160   e   p       2   0   1   7       2   2   :   3   9   :   5   0
0000200  \r  \n   S   a   t           2       S   e   p       2   0   1
0000220   7       2   2   :   3   9   :   5   0  \r  \n   S   a   t

Ca devient plus intéressant voire très instructif il semble, malgré mon incompréhension. (on voit du \r et du n\...)
Je vais déjeuner à toute

PS : et puis je ne comprend pas pourquoi

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

od -c dates | head > dates

donne "0000000" alors que quand je l'écris dans le terminal ca renvoie ce que j'ai mis au dessus.

[gadj0dil0]

Merci, j'ai viré un '\r' et ça marche, après le '\n' je le met en '\t.
J'avais testé '\r\n' mais ca ne marchais pas pour ce que je voulais faire (avec tr)
Mais beaucoup de chose dans les "sorties" m'échappent ...

[Flodelarab]

• Pour la différence entre l'écran et le fichier, il n'est pas bon d'avoir la destination égale à la source. Tu aurais dû rediriger vers "dates2" ou "dates_odc".
• Pour les caractères échappés, \n est la nouvelle ligne sous Linux, \t est la tabulation, \r est le retour en début de ligne.
• Windows fait des fins de ligne en CRLF (carriage return, line feed), \r\n, 0d0a
  Linux fait des LF, \n, 0a
  MacOS fait des CR \r, 0d
  Donc fais ton marché. Il est souvent utile de retraité un fichier texte quand on change de système.
  Tu as peut-être observé qu'un texte Linux lu dans le bloc-note windows n'avait plus de retour à la ligne... C'est parce que le système attend \r\n mais ne rencontre que \n.

[gadj0dil0]

• Pour la différence entre l'écran et le fichier, il n'est pas bon d'avoir la destination égale à la source. Tu aurais dû rediriger vers "dates2" ou "dates_odc".

Oué ca marche mieux

• Donc fais ton marché. Il est souvent utile de retraité un fichier texte quand on change de système.
  Tu as peut-être observé qu'un texte Linux lu dans le bloc-note windows n'avait plus de retour à la ligne... C'est parce que le système attend \r\n mais ne rencontre que \n.

Ca je savais ...

Je vais passer en résolu mais j'ai bricolé 2 fichiers avec paste, je n'y arrive pas en une commande donc à moitié résolu
cat lol
lol
rev lol
lol

Merci à vous et spéciale dédicace à jack-ft pour od

[Flodelarab]

Commande sed pour supprimer tous les \r en fin de ligne, et donc passer de \r\n à \n:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/\r$//' file_in >file_out

[jack-ft]

Merci à vous et spéciale dédicace à jack-ft pour od

Dans sa première réponse, disedorgue avait soupçonné que ce fût un fichier au format DOS, mais tu ne l'as pas cru...
Avec la commande od -c, tu en as eu la confirmation!

On peut aussi utiliser cat:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
$ cat -e plop
hello$
bonjour$
salut$
au revoir$
bye$
 
$ unix2dos < plop > plop-dos
 
$ cat -e plop-dos 
hello^M$
bonjour^M$
salut^M$
au revoir^M$
bye^M$
 
$ od -c plop
0000000    h   e   l   l   o  \n   b   o   n   j   o   u   r  \n   s   a
0000020    l   u   t  \n   a   u       r   e   v   o   i   r  \n   b   y
0000040    e  \n                                                        
0000042
 
$ od -c plop-dos 
0000000    h   e   l   l   o  \r  \n   b   o   n   j   o   u   r  \r  \n
0000020    s   a   l   u   t  \r  \n   a   u       r   e   v   o   i   r
0000040   \r  \n   b   y   e  \r  \n                                    
0000047

ainsi que file:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
$ file plop*
plop:     ASCII text
plop-dos: ASCII text, with CRLF line terminators

Si tu aimes, pense à plusser!

[gadj0dil0]

J'ai quand même un problème sans passer par paste avec 2fichiers.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed s/\r$//

a bien fonctionné.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
file mbox-tab 
mbox-tab: ASCII text

J'ai donc mon fichier mbox-tab :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
76 $ od -c mbox-tab | head
0000000   S   a   t           2       S   e   p       2   0   1   7    
0000020   2   2   :   3   9   :   4   9  \n  \t   w   p   -   i   n   c
0000040   l   u   d   e   s   /   w   l   w   m   a   n   i   f   e   s
0000060   t   .   x   m   l  \t   1   8   3   .   8   7   .   1   1   4
0000100   .   1   3   0  \t   1   3   0   -   1   1   4   -   8   7   -
0000120   1   8   3   .   m   y   s   i   p   l   .   c   o   m   .  \n
0000140   S   a   t           2       S   e   p       2   0   1   7    
0000160   2   2   :   3   9   :   4   9  \n  \t   x   m   l   r   p   c
0000200   .   p   h   p   ?   r   s   d  \t   1   8   3   .   8   7   .
0000220   1   1   4   .   1   3   0  \t   1   3   0   -   1   1   4   -

J'exécute ensuite le script 'extract' :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
#!/bin/sh
sed -i -e 's/\n\t/\t/'  mbox-tab
exit

Malheureusement le fichier mbox-tab n'a pas changé.
Si je sed le S en Z le fichier est bien modifié (Zaturday...)

Je ne comprend pas. Merci de vos réponses

[Flodelarab]

sed traite ligne par ligne.
Donc, à moins de faire des manipulations qui mettent plusieurs lignes dans l'espace de travail de sed (comme N, g, G, x, etc), il n'y aura jamais de \n.
Si tu demandes de remplacer \n, il ne fera rien.

Tu peux signifier la fin de ligne par $ ( a ne pas confondre avec $ en tant qu'adresse de la dernière ligne du fichier)

Exemple de traitement de plusieurs lignes ensembles:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
$ cat ttt
dfkjgf kdjfhgkdsfj      fdgsgf  dfg
dfkjgf kdjfhgkdsfj      fdgsgf  dfg
dfkjgf kdjfhgkdsfj      fdgsgf  dfg
dfkjgf kdjfhgkdsfj      fdgsgf  dfg
dfkjgf kdjfhgkdsfj      fdgsgf  dfg
$ sed ':z;N;$!b z;s@[\n\t]@ @g' ttt
dfkjgf kdjfhgkdsfj  fdgsgf dfg dfkjgf kdjfhgkdsfj  fdgsgf dfg dfkjgf kdjfhgkdsfj  fdgsgf dfg dfkjgf kdjfhgkdsfj  fdgsgf dfg dfkjgf kdjfhgkdsfj  fdgsgf dfg

Donc pour toi: (non testé)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed ':z;N;$!b z;s@\n\t@\t@g' fichier

[gadj0dil0]

sed traite ligne par ligne.
(comme N, g, G, x, etc)

Je ne vois pas à quoi correspondent ces lettres (g global?). Pas vu dans help ou man. Peux-tu m'en dire un peu plus.

Sinon

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed ':z;N;$!b z;s@\n\t@\t@g' fichier

ça marche ! Là c'est trop fort.

Tu pourrais m'expliquer?
":"
"z"
";"
"N"
"$1b"
"s@"
"t@g"

https://www.gnu.org/software/sed/man...xecution-Cycle
(see commands ‘h’, ‘H’, ‘x’, ‘g’, ‘G’ to move data between both buffers).
J'avoue que j'ai du mal surtout en anglais.

Merci

[Flodelarab]

J'ai perdu l'adresse internet d'un memento sed que j'aime bien.

Pour une instruction sed, on répond aux questions "quand ?" et "quoi ?"
Exemples:
/toto/d Quand la ligne contient toto, détruire la ligne.
1,23s/tata/titi/g De la ligne 1 à 23, remplacer tous les tata par titi.
p Pour toutes les lignes (réponse par défaut à "quand ?"), afficher la ligne
/^$/d Quand la ligne est vide (^ debut de ligne et $ fin de ligne), détruire la ligne

Ici:
: définition d'une étiquette
:z définition de l'étiquette z (on aurait pu mettre n'importe quel nom)
; fin d'instruction. Cela évite de faire des -e 'blablabla' -e 'blablabla' -e 'blablabla'. On fait 'blablabla;blablabla;blablabla'
N ajouter une ligne à l'espace de travail (ici, le \n apparaît entre les lignes)
b saut inconditionnel à l'étiquette
b z saut inconditionnel à l'étiquette z
$b z à la dernière ligne, saut inconditionnel à l'étiquette z
$!b z Quand ce n'est pas la dernière ligne, saut inconditionnel à l'étiquette z
:z;N;$!b z Mettre tout le fichier texte dans l'espace de travail.
s substitution
s/a/b/ substitution de a par b une fois par ligne.
s@a@b@ substitution de a par b une fois par ligne. (utile pour les fichiers html à cause de l'oblique)
s:a:b: substitution de a par b une fois par ligne.
s-a-b- substitution de a par b une fois par ligne.
Bref
s/a/b/g substitution de tous les a par b.

Sinon, il y a un espace de travail et un espace mémoire.
H et h sont pour hold/mise en mémoire (avec ou sans écrasement).
G et g sont pour get/rapatriement de la mémoire (avec ou sans écrasement).
x pour exchange/échange des mémoires.

Voilà pour le moment.

[gadj0dil0]

Merci pour le temps accordé

[Flodelarab]

Un petit pour les messages fait toujours plaisir.