Script AWK et traitement de fichier

Bonjour,

j'ai un fichier test.sql formaté de la sorte :

email
----------------------------------------------------
0033@mail.fr
007@mail.fr
mc@mail.fr

je souhaiterais formaté le fichier comme cela :

Code:

---

1 2 3

INSERT INTO module (uid, mail) VALUES (1,'0033@mail.fr'); INSERT INTO module (uid, mail) VALUES (1,'007@mail.fr'); INSERT INTO module (uid, mail) VALUES (1,'mc@mail.fr');

---

j'utilise AWK en ligne de commande comme suit :

Code:

---

awk -F \| -v Q=\' '{ prov=($1~/^ *$/)?"":uid;printf ("INSERT INTO module (uid, mail) VALUES (1,%s);\n",Q $1 Q) }' test.sql > test1.sql

---

mais j'ai pas tout a fait ce que je souhaite en sortie dans test1.sql :

Code:

---

1 2 3 4 5

INSERT INTO module (uid, mail) VALUES (1,' email '); INSERT INTO module (uid, mail) VALUES (1,'----------------------------------------------------'); INSERT INTO module (uid, mail) VALUES (1,' 0033@mail.fr'); INSERT INTO module (uid, mail) VALUES (1,' 007@mail.fr'); INSERT INTO module (uid, mail) VALUES (1,' mc@mail.fr');

---

il me prend le titre de la colonne email puis la séparation hors je voudrais les supprimer. De plus il me laisse un espace entre le

1,' 0033' au lieu de 1,'0033'
1,' 007' au lieu de 1,'007'
1,' mc' au lieu de 1,'mc'

Que dois je modifier dans ma ligne AWK?

Merci

Salut,

tu peux t'en tirer avec la commande suivante :

Code:

---

1 2	grep -v "email" test.sql | grep -v -- "-.*" | tr -d '[:blank:]' | awk -F \| -v Q=\' '{ prov=($1~/^ *$/)?"":uid;printf ("INSERT INTO module (uid, mail) VALUES (1,%s);\n",Q $1 Q) }' > test1.sql

---

ça marche, même si c'est surement pas le plus efficace !

Merci cela fonctionne. Tu peux juste m'expliquer cela surtout le -.* :

Code:

---

grep -v -- "-.*"

---

Merci

Citation:

---

Envoyé par pcsystemd

Merci cela fonctionne. Tu peux juste m'expliquer cela surtout le -.* :

Code:

---

grep -v -- "-.*"

---

Merci

---

le -v de grep permet d'inverser le résultat de la commande : grep affiche uniquement les lignes ne correspondant pas au motif fourni.

le motif "-.*" est une expression régulière : '.' désigne n'importe quel caractère, '*'indique que le caractère précédent peut être répété plusieurs fois.
'-.*' désigne donc une ligne commençant par '-' et suivi de n'importe quel caractère répété plusieurs fois.
Du coup, je m'aperçoit que le motif '-+' ( - suivi de +) est bien mieux car il désigne une ligne commençant par '-' et répété une ou plusieurs fois.

le -- permet d'indiquer à grep que la liste des options est terminée. En effet, le motif de recherche commence par un tiret et grep croit donc que c'est une option qu'on lui passe.

Code:

---

grep "@" test |sed "s/^/INSERT INTO module (uid, mail) VALUES (1,'/;s/$/');/" > test.sql

---

1. grep: on ne garde que les lignes avec des @

2. sed: on remplace
2.1. le début de chaque ligne par INSERT INTO module (uid, mail) VALUES (1,'
2.2. la fin de chaque ligne par ');

ça me parait bien compliquer, tout ça...

pcsystemd, es-tu obligé de te servir de awk ? parce que

Code:

---

1 2 3 4 5 6 7 8 9 10

cat test.sql email ---------------------------------------------------- 0033@mail.fr 007@mail.fr mc@mail.fr sed -n "/@/s/\(.*\)/INSERT INTO module (uid, mail) VALUES (1,'\1');/p" test.sql INSERT INTO module (uid, mail) VALUES (1,'0033@mail.fr'); INSERT INTO module (uid, mail) VALUES (1,'007@mail.fr'); INSERT INTO module (uid, mail) VALUES (1,'mc@mail.fr');

---

sinon awk possède aussi la capacité à tester l'existence d'une chaîne dans un ligne.

flute, j'oublie toujours les -n /p de sed :D

Edit :
du coup, on peut simplifier...

Code:

---

sed -n "/@/s/^/INSERT INTO module (uid, mail) VALUES (1,'/;/@/s/$/');/p" test > test.sql

---

(pour éviter d'avoir une mémorisation à chaque ligne... je ne sais pas ce qui vaut le mieux en terme de perfs :))

Edit2 : pour information, après test, ta version est 2 fois plus rapide N_BaH... donc vaut mieux mémoriser que doubler le remplacement de sed ! Bon à savoir :ccool:
Et chose amusante, il vaut mieux utiliser un grep et un pipe qu'une reconnaissance directement dans sed !

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

$ time grep "@" mailing |sed "s/^/INSERT INTO module (uid, mail) VALUES (1,'/;s/$/');/" > result_1   real 0m9.24s user 0m9.86s sys 0m0.23s $ time sed -n "/@/s/^/INSERT INTO module (uid, mail) VALUES (1,'/;/@/s/$/');/p" mailing > result_2   real 0m10.29s user 0m10.12s sys 0m0.16s $ time sed -n "/@/s/\(.*\)/INSERT INTO module (uid, mail) VALUES (1,'\1');/p" mailing > result_3   real 0m5.01s user 0m4.88s sys 0m0.12s

---

Merci a vous tous.

Alek-C : Quand j'exècute ta ligne de commande le fichier généré est vide, cela ne fonctionne pas.

N_BaH : Ta ligne fonctionne mais j'ai toujours l'espace entre le 1,'espace0033 :

Citation:

---

:~/Desktop$ sed -n "/@/s/\(.*\)/INSERT INTO module (uid, mail) VALUES (1,'\1');/p" test.sql
INSERT INTO module (uid, mail) VALUES (1,' 033@mail.fr');

---

Merci encore

Pour moi, je check, j'ai peut être mal copié/collé, mais de toute façon, la commande de N_BaH est plus efficace.

Pour la commande de N_BaH, tu dois avoir un espace dans ton fichier comportant des emails, essaye avec ça :

Code:

---

sed -n "/@/s/^\s*\(.*\)\s*$/INSERT INTO module (uid, mail) VALUES (1,'\1');/p" test.sql

---

Edit: j'ai recopié ma commande dans un shell et elle marche... par contre, fais gaffe: j'ai pas utilisé le même nom de fichier que toi au départ ;)

Code:

---

grep "@" test.sql |sed "s/^/INSERT INTO module (uid, mail) VALUES (1,'/;s/$/');/"

---

Mais comme je l'ai dit, celle de N_BaH est plus efficace !

Je n'ai pas cet espace, sans doute existe-t-il dans ton fichier ? auquel cas :

Code:

---

1 2	sed -n "/@/s/ \(.*\)/INSERT INTO module (uid, mail) VALUES (1,'\1');/p" test.sql # ^ espace

---

Merci a tous c'est ok cela fonctionne correctement maintenant.