Discussion :

[xxxvanouxxx]

Bonjour à toutes et à tous.

J'ai un petit souci sous "vi", je doit faire passer un bout de script.
Et je n'arrive pas à modifier les lignes en masse.

Un truc du style [11,19]I/# pour mettre en commentaire les ligne 11 à 19.
Je ne trouve pas d'information sur le net et je ne trouve pas mon bonheur dans les aides mémoires "vi". J'essai des combinaison mais je doit certainement faire des erreurs de syntax.

Si une ame charitable pouvait m'aider.

Merci à vous.

[TanaT]

Je cherche à effectuer automatiquement une action simple sur toutes les lignes d'un fichier à l'aide d'un script vim.
J'ai fait un map :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

:map t $8h8x16hi0       <ESC>0j

Afin de :
Aller à la fin de la ligne ($)
Reculer à gauche de 8 caractères (8h)
Supprimer 8 caractères (8x)
Reculer à gauche de 16 caractères (16h)
Passer en mode insertion (i)
insérer la séquence "0 "
Sortir du mode insertion (<ESC>)
Revenir en début de ligne (0)
Passer à la ligne suivante (j)

Lorsque je me mets au début et que je reste appuyé sur t ça fonctionne.
Mais c'est un peu long !

Le problème est qu'aucune des commandes suivantes ne fonctionne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
:1,$t
1,$t
%t
:%t

Je dois en plus pouvoir appeler ce script par un cron ensuite... Mais pour cette partie, je pense qu'un vi -s script.vim nom_du_fichier devrait faire l'affaire.

Si quelqu'un a une solution, je lui en serai éternellement reconnaissant !

[BlaireauOne]

je n'arrive pas à modifier les lignes en masse

A ma connaissance, l'équivalent de vi en batch, s'appelle sed


Ce qui suit fait l'affaire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed '11,19s/^/#/' TonFichier > $$tmp && mv $$tmp TonFichier

[BlaireauOne]

Tanat, sed est adapté à tes besoins
http://www.shellunix.com/sed.html

Si j'ai bien compris :
1._ supprimer les 8 derniers caractères de chaque ligne
2._ insérer une chaîne de caractères avant les 16 derniers caractères de chaque ligne.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -i -e 's/.\{8\}$//'  -e 's/\(.\{16\}\)$/0       \1/' nom_du_fichier

Fichier d'origine :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
aaaaaaaaaaaaaaaa88888888
aaaaaaaaaaaaaaaa88888888
123456789012345688888888
123456789012345688888888

Résultat :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
0       aaaaaaaaaaaaaaaa
0       aaaaaaaaaaaaaaaa
0       1234567890123456
0       1234567890123456

[tamiel]

Comme pour sed, dans vim :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
:1,4s/^/#/g

On substitue le début des lignes 1 à 4 par un # .

[TanaT]

Tanat, sed est adapté à tes besoins

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -i -e 's/.\{8\}$//'  -e 's/\(.\{16\}\)$/0       \1/' nom_du_fichier

Merci beaucoup pour cet exemple de sed qui fait presque exactement ce que je veux !
En fait les 8 derniers caractères à supprimer sont à gauche du dernier caractère de la ligne : Il faut garder ce dernier. (Petite subtilité dans le code vi ci-dessus.)

J'aurais bien aimé résoudre le problème dans vi, mais puisque tu m'as fourni un très bon exemple avec sed, je vais donc l'utiliser pour mon script.

D'autant plus que ça me fera un job cron tout simple du coup !

J'essaie de faire la petite modif du code sed et je vous recontacte.

[TanaT]

Je n'ai pas réussi à modifier la ligne de commande sed pour supprimer les 8 derniers caractères à gauche du dernier de la ligne.

J'ai donc tenté avec awk en mode colonnes à largeur fixe. Voici plusieurs tentatives :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
#!/bin/bash
# awk -v FIELDWIDTHS="179 8 8 8 1" '{printf $0 "0       " $2 $3 $5 "\n"}' test
# awk '{FIELDWIDTHS="79 80 8 8 1"; $0=$0; printf $0 "_" $1 "\n"}' test
# awk 'BEGIN { FIELDWIDTHS = "178 8 8 8 1" }{print $2 "_" $1 "_" $3}' test
awk -v FIELDWIDTHS="178 8 8 8 1" 'BEGIN {print $2 "_" $1 "_" $3}' test

(Les sorties ne sont pas toujours celles du but final recherché, mais des essais.)

Le problème est que awk ne semble pas utiliser la variable FIELDWIDTHS et continue à considérer que le séparateur de colonnes est un espace.

Quelqu'un aurait-il une idée géniale ?

[Sve@r]

Merci beaucoup pour cet exemple de sed qui fait presque exactement ce que je veux !
En fait les 8 derniers caractères à supprimer sont à gauche du dernier caractère de la ligne : Il faut garder ce dernier. (Petite subtilité dans le code vi ci-dessus.)

Je tape ça de tête car j'ai pas de Linux sous la main pour tester mais ça devrait le faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -e "s/........\(.\)$/\1/" fichier > fichier2

En fait, je remplace les 9 derniers caractères dont le dernier a été mémorisé (les parenthèses) en mémoire 1 par le contenu de la mémoire 1 (le dernier caractère). Tu complètes avec le code de BlaireauOne pour la modif sur les 16 autres caractères et t'as tout.

Comme quoi, quand on connait bien vi (n'est-ce pas Ashin ?)

[BlaireauOne]

Normalement, avec le lien ci-dessous, tu dois pouvoir comprendre le fonctionnement de la commande
http://www.shellunix.com/sed.html

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -i -e 's/.\{8\}\(.\)$/\1/' -e 's/\(.\{16\}\)$/0       \1/' nom_du_fichier

[TanaT]

En fait je vois que j'ai un autre soucis : Ce n'est pas la commande sed qui est en cause, mais mon fichier de données source.

Lorsque je teste le script sur un fichier que je saisis sous vi, pas de problème, tout se déroule comme prévu.

Mais c'est lorsque je l'applique à mon fichier de données final que ça ne fonctionne pas. Voici ce que me retourne la commande "file" lorsque je l'applique à mon fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Non-ISO extended-ASCII text, with CRLF, NEL line terminators

Le soucis, c'est que ce fichier est ensuite utilisé par des applis créées il y a un temps certain (à l'époque ou DOS n'était pas un dinosaure) et que j'ai peur qu'elles ne retrouvent pas bien leurs petits si je m'amuse à le convertir en ISO ASCII par exemple. Et comme je n'ai pas les sources de ces applications, j'ai les mains un peu liées...

Auriez-vous une brillante idée pour que sed s'en sorte avec ce genre de fichier ?

[Sve@r]

En fait je vois que j'ai un autre soucis : Ce n'est pas la commande sed qui est en cause, mais mon fichier de données source.

Lorsque je teste le script sur un fichier que je saisis sous vi, pas de problème, tout se déroule comme prévu.

Mais c'est lorsque je l'applique à mon fichier de données final que ça ne fonctionne pas. Voici ce que me retourne la commande "file" lorsque je l'applique à mon fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Non-ISO extended-ASCII text, with CRLF, NEL line terminators

Le soucis, c'est que ce fichier est ensuite utilisé par des applis créées il y a un temps certain (à l'époque ou DOS n'était pas un dinosaure) et que j'ai peur qu'elles ne retrouvent pas bien leurs petits si je m'amuse à le convertir en ISO ASCII par exemple. Et comme je n'ai pas les sources de ces applications, j'ai les mains un peu liées...

Auriez-vous une brillante idée pour que sed s'en sorte avec ce genre de fichier ?

Euh... tente de faire un "dos2unix nom_du_fichier" puis de le parser par ton script puis "unix2dos nom_du_fichier"...

[TanaT]

Merci de ton conseil Sve@r :
Après avoir changé l'encodage sous vi :
:set fileencoding=utf-8
puis passé la moulinette "dos2unix Nom_Fichier" sur le fichier pour supprimer les Carriage Return (CR : Retour charriot) et ne garder que les line feed (LF : Ligne suivante) en fin de ligne.
Alors, le script sed fonctionne.

Il faut ensuite reconvertir le fichier :
unix2dos Nom_Fichier
Puis sous vi :
:set fileencoding=latin1 (dans mon cas, c'était l'encodage d'origine du fichier. Pour le savoir sous vi il suffit de taper ":set fileencoding")

Et à ce moment là c'est ok. Il n'y a plus qu'a croiser les doigts pour que les applis originellement sous DOS retrouvent leurs données dans le nouveau fichier !

Par contre pour automatiser tout ça, est-ce qu'il existe un utilitaire shell qui convertit les encodages ?

(Je détaille pour ceux qui auraient le même type de problème et qui sont intéressés.)

[TanaT]

Alors voici le résumé du script qui fonctionne sur mes fichiers DOS encodés en latin1.

Rappel de ce que l'on veut faire :
On a un fichier source avec des lignes du genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

fjdlj fjqfmldjklfjd lkfjdsqk jfdqjmfkdqkfd123     7653    12       #

En fait, les 3 dernières colonnes de 8 caractères correspondent à des nombres pour l'année en cours, l'année n-1 et l'année n-2.
Le but est de mettre l'année en cours à 0 et de décaler les deux autres colonnes afin d'obtenir une ligne du genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

fjdlj fjqfmldjklfjd lkfjdsqk jfdqjmfkdqkfd0       123     7653     #

Par ailleurs, il faut que tout soit automatisé (lancé par une crontab chaque 1er janvier).

Rappel des contraintes :
Les fichiers doivent être accessibles à de vieux programmes Basic, donc pas question de trop les perturber.
Ils sont au format DOS (avec des CR LF en fin de ligne) et encodés en latin1.
Pour que sed les parse bien, il faut qu'ils soient en unix (que des LF en fin de ligne) et encodés en utf-8.
(En tout cas, c'est ce qui a marché sur ma config...)

Mise en oeuvre de la solution :
Créer les deux fichiers suivants (des scripts pour vi) :

encoding2latin1.vim

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

:set fileencoding=latin1^M:wq

encoding2utf8.vim

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

:set fileencoding=utf-8^M:wq

Puis créer le script suivant qui effectuera les opérations voulues :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
 
#!/bin/bash
 
INPUTFILE="MON-FICHIER-SOURCE.txt"
TMPFILE="/tmp/TMP-$$.LIS"                   # Edité suite au conseil de Sve@r
BACKUPFILE="${INPUTFILE}.1"
 
cp $INPUTFILE $BACKUPFILE
cp $INPUTFILE $TMPFILE
 
dos2unix $TMPFILE
 
vi -s encoding2utf8.vim $TMPFILE
 
# on mémorise le dernier caractere en le mettant entre parenthèses,
# on substitue les 8 avant derniers et le dernier par le dernier qui a été
# mémorisé dans la mémoire \1.
# Ensuite, on substitue les 17 derniers car par "0       "suivi des 16
# derniers car mémorisés en mémoire 1.
sed -i -e 's/.\{8\}\(.\)$/\1/'  -e 's/\(.\{17\}\)$/0       \1/' $TMPFILE
 
vi -s encoding2latin1.vim $TMPFILE
 
unix2dos $TMPFILE
 
cp -f $TMPFILE $INPUTFILE

Ce n'est sûrement pas le script le plus simple pour réaliser cette fonction, mais il a le mérite de fonctionner !

Merci à tous pour votre aide précieuse !

TanaT

[Sve@r]

Par contre pour automatiser tout ça, est-ce qu'il existe un utilitaire shell qui convertit les encodages ?

Ben ton 2° post répond lui-même à cette question. Il te suffit d'intégrer les commandes dos2unix et unix2dos dans le script que t'étais en train de développer et tout est automatisé.

Sinon ton script une toute petite remarque : avoir pensé à travailler avec un fichier temporaire nommé "TMP" c'est vraiment super (je connais des crado qui nomment leur fichier "toto" ou "titi" ) mais faut aussi que tu penses à un tout petit danger => il existe un risque minime que ton script soit lancé par plusieurs instances de toi-même (plusieurs fenêtres terminal) => résultat : crash par auto-pollution de "TMP.LIS".
Essaye d'insérer la variable "$$" dans le nom de ton fichier temporaire => le nom contiendra alors le n° de processus en cours (n° forcément unique). Et tu peux aussi penser à utiliser "/tmp" ou "$HOME/tmp" pour ce genre de fichier

[TanaT]

Essaye d'insérer la variable "$$" dans le nom de ton fichier temporaire => le nom contiendra alors le n° de processus en cours (n° forcément unique). Et tu peux aussi penser à utiliser "/tmp" ou "$HOME/tmp" pour ce genre de fichier

15 jours plus tard !
Merci du conseil, c'est une bonne idée !
(Dans mon cas, c'est un script que je lance une fois par an donc pas de danger, mais c'est une bonne habitude à prendre.)

[Luc Hermitte]

vi étant quasi éteint, je suppose que tu as vim.
Si ces modifs tu dois les faire tandis quand tu édites tes fichiers, pense à installer des plugins comme EnhancedCommentify ou NERDCommenter.
Si c'est pour scripter plein de remplacements, un petit coup de GNU-sed et c'est vite joué si tu es capable de formuler les lignes de début et de fin (par numéro ou regex).

[Sve@r]

Merci du conseil, c'est une bonne idée !
(Dans mon cas, c'est un script que je lance une fois par an donc pas de danger, mais c'est une bonne habitude à prendre.)

Moi j'ai l'habitude de faire ceci

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
dir_tmp="/tmp"
 
file_result="`dirname $0 .sh`_result$$"
name_result="$dir_tmp/$file_result"

Et d'utiliser ensuite "$name_result" pour recevoir mon résultat. Et le nom du fichier contient le nom du script plus une extension unique. Cela me permet de retrouver plus facilement quand je regarde tmp quel fichier est associé à quel script...