Discussion :

[bstevy]

Bonjour,

Je travaille sur des fichiers format délimité pas très beaux : la dernière ligne de comporte pas de retour à la ligne (End Of Record)

J'aurais voulu savoir comment en shell vérifier si mon dernier caractère de fichier est un retour à la ligne et sinon, le rajouter.

Est ce que vous pourriez m'éclairer sur la facon de faire ?

Merci d'avance.


Steven

[noooop]

J'ai eu a traiter le problem sur HP-UX.

J'ai pris le parti de rajouter d'office à la fin du fichier un \n

[bstevy]

J'ai eu a traiter le problem sur HP-UX.

J'ai pris le parti de rajouter d'office à la fin du fichier un \n

Impossible à faire. l'outil que nous utilisons pour charger nos fichiers considère qu'une ligne vide, si elle n'est pas en fin de fichier (deux sauts de lignes à la suite), doit comporter un certain nombre de colonnes... et donc, ca plante car elle ne correspond pas au schéma attendu.

[disedorgue]

Bonjour,
Voici un exemple:
Le fichier utilisé:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
$ cat plop
ceci est la premiere ligne
ceci est la derniere ligne

Fichier avant vu via od:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
$ od -c plop
0000000   c   e   c   i       e   s   t       l   a       p   r   e   m
0000020   i   e   r   e       l   i   g   n   e  \n   c   e   c   i
0000040   e   s   t       l   a       d   e   r   n   i   e   r   e
0000060   l   i   g   n   e
0000065

La commande:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ ex -s -c ':wq' plop

Fichier après vu via od:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
$ od -c plop
0000000   c   e   c   i       e   s   t       l   a       p   r   e   m
0000020   i   e   r   e       l   i   g   n   e  \n   c   e   c   i
0000040   e   s   t       l   a       d   e   r   n   i   e   r   e
0000060   l   i   g   n   e  \n
0000066

[jlliagre]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

[ $(wc -l < fichier) != $(awk 'END{print NR}' fichier) ] && echo >> fichier

[bstevy]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

[ $(wc -l < fichier) != $(awk 'END{print NR}' fichier) ] && echo >> fichier

Y'a un truc qui va pas .... ca me parait bien visuel, mais en fait, ca va pas.
Ca me rajoute qu'un "LF" en fin de ligne, et non le "CR LF" ... donc, je peux pas l'intégrer.

[disedorgue]

En tout cas, la commande que je donne plus haut, fonctionne aussi pour des fichiers formatés à la mode dos, puisque vim (ou ex) détecte le mode du fichier et s'adapte...

[bstevy]

En tout cas, la commande que je donne plus haut, fonctionne aussi pour des fichier formater à la mode dos, puisque vim (ou ex) détecte le mode du fichier et s'adapte...

Pas tant que ca a priori... J'aurai du préciser que ma réponse ciblait les deux méthode :p

de la même facon, avec un ex, j'ai qu'un LF à la fin.

[disedorgue]

Sinon, tu peux le forcer, exemple:
Fichier initial en mode unix avec le CR sur la dernière ligne absent:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
$ od -c plop
0000000   c   e   c   i       e   s   t       l   a       p   r   e   m
0000020   i   e   r   e       l   i   g   n   e  \n   c   e   c   i
0000040   e   s   t       l   a       d   e   r   n   i   e   r   e
0000060   l   i   g   n   e
0000065

Pour le forcer en mode dos:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ ex -s -c ':set ff=dos' -c ':wq' plop

comme on peut le voir, on a bien le LF (\r) et le CR (\n)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
$ od -c plop
0000000   c   e   c   i       e   s   t       l   a       p   r   e   m
0000020   i   e   r   e       l   i   g   n   e  \r  \n   c   e   c   i
0000040       e   s   t       l   a       d   e   r   n   i   e   r   e
0000060       l   i   g   n   e  \r  \n
0000070

Passage du fichier en mode unix

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$ ex -s -c ':set ff=unix' -c ':wq' plop

Plus de LF (\r)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
$ od -c plop
0000000   c   e   c   i       e   s   t       l   a       p   r   e   m
0000020   i   e   r   e       l   i   g   n   e  \n   c   e   c   i
0000040   e   s   t       l   a       d   e   r   n   i   e   r   e
0000060   l   i   g   n   e  \n
0000066

[bstevy]

Sinon, tu peux le forcer, exemple:
Fichier initial en mode unix avec le CR sur la dernière ligne absent:
...

J'ai compris ou était notre différence. Ton fichier de base est en \n alors que le mien est en \n\r... donc, ta methode marche pas comme il faut, puisqu'elle remplace les \n par des \n\r, ca me fait donc des \n\r\r... bref, c'est juste affreux, mais l'idée est là ^^

Mais j'ai des fichiers pourri en entrée, j'assume, c'est loin d'etre ta faute, désolé encore de pas avoir été assez précis ^^


Donc, je reprends mon besoin, il me faut une méthode pour rajouter à la fin de mon fichier un \n\r, ou alors, juste un \n mais convertir alors les autres \n\r en \n ^^

[disedorgue]

Ton format est bizarre, en principe on a \r puis \n et non pas l'inverse...

Essaie comme ceci, chez moi cela fonctionne:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ex -s -c ':1,$s/\r//g' -c ':set ff=unix' -c ':wq' plop

Apres, si tu préfère le mode dos, il suffit de remplacer le unix par dos (ou mac si tu veux un format mac).

[jlliagre]

Y'a un truc qui va pas .... ca me parait bien visuel, mais en fait, ca va pas.
Ca me rajoute qu'un "LF" en fin de ligne, et non le "CR LF" ...

Ca aurait été une bonne idée de le préciser. Un CR LF comme fin de ligne, ce n'est pas très standard sous Gnu/Linux.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

[ $(wc -l < fichier) != $(awk 'END{print NR}' fichier) ] && printf "\r\n" >> fichier

[bstevy]

Ca aurait été une bonne idée de le préciser. Un CR LF comme fin de ligne, ce n'est pas très standard sous Gnu/Linux.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

[ $(wc -l < fichier) != $(awk 'END{print NR}' fichier) ] && printf "\r\n" >> fichier

En fait, je ne m'en étais pas appercu avant justement d'essayer de changer le format.
C'est quand vos différentes méthode faisait échouer mon acquisition que je suis allé voir ce qu'il y avait de bizare dans mes fichiers. Je ne le savais pas avant.

En tout cas, merci beaucoup pour toute cette aide super efficace.

[bstevy]

Ton format est bizarre, en principe on a \r puis \n et non pas l'inverse...

Essaie comme ceci, chez moi cela fonctionne:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ex -s -c ':1,$s/\r//g' -c ':set ff=unix' -c ':wq' plop

Apres, si tu préfère le mode dos, il suffit de remplacer le unix par dos (ou mac si tu veux un format mac).

J'ai pris cette methode, elle me convient parfaitement ^^

Merci beaucoup pour ton efficacité.