Version imprimable
Bonjour,
Mon problème est très basique. J'ai un fichier texte structuré en lignes que je veux modifier: supprimer certaines lignes, en ajouter d'autres.
Vaut-il mieux rester avec les fichiers et leurs commandes (cat, sed, awk, >, ...) pour les transformations intermédiaires ou utiliser une variable contenant le fichier? Dans ce cas comment faire: contenuFichier = $contenuFichier + $nouvelleLigne (équivalent de >>) ?
Merci d'avances pour vos indices et commentaires.
tout dépand de ce que tu veux vraiment faire
personnellement je serai partisant de faire une seule et unique commande sed pour traiter l'enssemble.
par exemple
par exemple ajoute la ligne toto au debut du fichierCode:
2
3
4
5
6
7
insert une ligne 45 avec tutu puis supprime les lignes 23 à 27
et remplace TUTU par TITI entre les lignes 80 et 85
et enregistre le fichier modifie sous le nom fichiermodifier
ce qui permet de garder une copie de l'ancien fichier en cas de besoin.
Effectivement, ça paraît concis. Mon travail est en fait de récupérer les users d'une base de données Oracle puis de retirer certains users interdits (s'ils existent) et d'en ajouter d'autres (et écraser s'ils existent déjà). Tout ça pour créer un fichier password.
J'ai bien le fichier brut extrait d'Oracle, mais le traitement suivant est actuellement lent et peu maintenable. Sans doute devrais-je m'orienter vers sed...
sed est effectivement pratique pour traiter du texte donc si ton fichier plat est généré par une commande sql ou par une export c'est l'idéal pour les perfs.
J'ai écrit un petit script Bash pour tester sed. Il s'agit de modifier le fichier liste.txt en lui retirant les lignes commençant par les clés contenues dans retir.txt et en ajoutant (et éventuellement écrasant) les lignes contenues dans ajout.txt. Quelqu'un peut-il me dire ce qui ne va pas dans les deux sed et si l'écriture peut être améliorée? Voici les fichiers texte:
Et voici mon script (34 lignes):Code:
2
3
4
5
6
7
8
9
10
11
Merci d'avance pour vos commentaires.Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32#!/bin/bash # initialise liste="liste.txt" retir="retir.txt" ajout="ajout.txt" avant=$(mktemp /tmp/avant.XXX) cat $liste > $avant apres=$(mktemp /tmp/apres.XXX) # retire $retir de $liste for ligneRetir in $(cat $retir) do sed -e '/^'$ligneRetir'/d' $avant > $apres mv $apres $avant done # ajoute $ajout à $liste while read ligneAjout do cle=${ligneAjout%% *} if grep $cle $avant > /dev/null then sed -e '/'$cle'/ c'\ $ligneAjout $avant > $apres else sed -e '1 i'\ $ligneAjout $avant > $apres fi mv $apres $avant done < $ajout # sauve et nettoie mv $avant $liste
J'ai trouvé le code correct pour les deux sed (il manquait des doubles guillemets).
Le fait d'avoir écrit ici m'a obligé à détailler le code et c'est ainsi que j'ai finalement trouvé une solution. Peut-on améliorer ce bout de code, et spécialement supprimer des boucles? Par exemple tout mettre dans un seul sed (et donc faire un seul passage). Auriez-vous fait autrement? Merci de vos commentaires.Code:
2
3
La nuit portant conseil, j'ai amélioré la première partie: celle pour supprimer les éléments de la liste. Voici donc la nouvelle version, sans boucle.
Par contre, pour la partie d'ajout, je sèche...Code:
2
3
4
5
6# retire $retir de $liste exclus=$(cat $retir | tr -t '\n' '|') exclus=${exclus%*|} egrep -v $exclus $avant > $apres mv $apres $avant
Finalement, j'ai trouvé tout seul :)
L'ajout et l'écrasement de lignes que j'avais codé de la sorte...
... fait la même chose que...Code:
2
3
4
5
6
7
8
9
10
11
12
13# ajoute $ajout à $liste while read ligneAjout do cle=${ligneAjout%% *} if grep $cle $avant > /dev/null then sed -e '/'$cle'/ c\'"$ligneAjout" $avant > $apres else sed -e '1 i\'"$ligneAjout" $avant > $apres fi mv $apres $avant done < $ajout
C'est-à-dire que je supprime d'abord les lignes qui auraient dû être écrasées pour être sûr de ne pas avoir de doublon lors de l'ajout. Et après un peu de nettoyage, j'obtiens...Code:
2
3
4
5
6
7
8# retire puis ajoute $ajout à $liste exclus=$(cut -d ' ' -f1 $ajout | tr '\n' '|') exclus=${exclus%*|} egrep -v "$exclus" $avant > $apres mv $apres $avant cat $avant $ajout > $apres mv $apres $avant
ce qui représente 19 lignes au lieu de 34 (-44%) et surtout plus de boucle.Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20#!/bin/bash # initialise liste="liste.txt" retir="retir.txt" ajout="ajout.txt" tmp=$(mktemp tmp.XXX) # retire $retir de $liste exclus=$(cat $retir | tr '\n' '|') exclus=${exclus%*|} egrep -v "$exclus" $liste > $tmp # retire puis ajoute $ajout à $liste exclus=$(cut -d ' ' -f1 $ajout | tr '\n' '|') exclus=${exclus%*|} egrep -v "$exclus" $tmp > $liste cat $liste $ajout > $tmp mv $tmp $liste