Souci avec awk et RS

Version imprimable

21/06/2013, 14h06
tnarol

Souci avec awk et RS

Bonjour,

J'essaye d'utiliser awk pour effacer une section <property>...toto...</property> dans un fichier xml

Pour l'instant j'ai trouvé la syntaxe suivante :

Code:

awk -v RS='<property>' '$0 !~ /toto/{print $0}'

Cela marche presque, la section qui m'intéresse est bien supprimée, mais toutes les autres sections qui ne contiennent pas "toto" se retrouvent amputées de la ligne <property> qui a servi à détecter le motif.

J'ai donc essayé

Code:

awk -v RS='<property>' '$0 !~ /toto/{print RS $0}'

Cela rétablit les lignes amputées, mais sans l'indentation, et surtout la partie du fichier qui précède la première occurence se retrouve préfixée par <property>... logique.

Je ne vois donc pas comment utiliser RS sans altérer le texte d'origine en dehors de la section recherchée.
21/06/2013, 14h17
N_BaH

Bonjour,

tu as oublié de nous donner un échantillon représentatif du fichier à traiter.

les intervalles, c'est plutôt un travail pour sed.

Citation:

Envoyé par N_BaH

Bonjour,

tu as oublié de nous donner un échantillon représentatif du fichier à traiter.

les intervalles, c'est plutôt un travail pour sed.

J'ai pas trouvé de méthode prometteuse avec sed... mais pourquoi pas

Pour un échantillon :

Avant :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 
<list>
<property>
     <untruc>titi</untruc>
     <autrestrucs>
        ....
     </autrestrucs>
</property>
<property>
     <untruc>toto</untruc>
     <autrestrucs>
        ....
     </autrestrucs>
</property>
<property>
     <untruc>tata</untruc>
     <autrestrucs>
        ....
     </autrestrucs>
</property>
</list>

Après:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
<list>
<property>
     <untruc>titi</untruc>
     <autrestrucs>
        ....
     </autrestrucs>
</property>
<property>
     <untruc>tata</untruc>
     <autrestrucs>
        ....
     </autrestrucs>
</property>
</list>

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
sed '/<property>/{:to;N;/<\/property>/! bto; /toto/d}' fichier.xml
<list>
<property>
     <untruc>titi</untruc>
     <autrestrucs>
        ....
     </autrestrucs>
</property>
<property>
     <untruc>tata</untruc>
     <autrestrucs>
        ....
     </autrestrucs>
</property>
</list>

21/06/2013, 15h18
tnarol

Merci ça marche sur l'exemple, sur mon fichier réel c'est un bloc comme celui en gras qui est supprimé. J'essaye de comprendre la différence avec mon exemple...

<property>
<truc>...</truc>
<truc>toto</truc>
<truc>...</truc>
</property>
<property>
<truc>...</truc>
<truc>...</truc>
<truc>...</truc>

Par contre le niveau de la syntaxe est peu chaud pour moi. Est-ce que tu pourrais expliquer le rôle de chaque partie ou me renvoyer vers les éléments de syntaxe qui sont utilisés (même ça j'ai du mal à les identifier par rapport à ce qu'on trouve dans le man)
21/06/2013, 15h39
noooop

bonjour,

Code:

sed "/>toto</d" fichier.xml

ca marche pas ?

est-ce que ça pourrait venir de ton fichier ? sur quel OS a-t-il été créé ?

j'ai un peu modifié le fichier traité pour mettre en évidence quelles balises étaient supprimées, et je ne vois pas le problème que tu mentionnes :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 sed '/<property/{:to;N;/<\/property/! bto; /toto/d}' fichier.xml <list> <property titi> <untruc>titi</untruc> <autrestrucs> .... </autrestrucs> </property titi> <property tata> <untruc>tata</untruc> <autrestrucs> .... </autrestrucs> </property tata> </list>
: label
Label for b and t commands.

b label
Branch to label; if label is omitted, branch to end of script.

N
Read/append the next line of input into the pattern space.

d
Delete pattern space. Start next cycle.

Voici une méthode s'appuyant sur awk:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
awk '
/<property>/ { i++ }
/toto/ { x=1 }
/<\/property>/ {
  i--
  b=sprintf("%s%s",b,$0)
  if(i==0 && x!=1) print b
  b=""
  x=0
  next
}
{
  if(i==0) print
  else b=sprintf("%s%s\n",b,$0)
}
' fichier.xml
<list>
<property>
     <untruc>titi</untruc>
     <autrestrucs>
        ....
     </autrestrucs>
</property>
<property>
     <untruc>toto</untruc>
     <autrestrucs>
        ....
     </autrestrucs>
</property>
<property>
     <untruc>tata</untruc>
     <autrestrucs>
        ....
     </autrestrucs>
</property>
</list>

Les variables utilisés sont:
x -> propriété a exclure si egal à 1
i -> niveau d'imbrication des propriétés
b -> tampon stockant la propriété analysée.

21/06/2013, 17h13
Flodelarab

Bonjour :D

Citation:

Envoyé par tnarol

Merci ça marche sur l'exemple, sur mon fichier réel c'est un bloc comme celui en gras qui est supprimé. J'essaye de comprendre la différence avec mon exemple...

<property>
<truc>...</truc>
<truc>toto</truc>
<truc>...</truc>
</property>
<property>
<truc>...</truc>
<truc>...</truc>
<truc>...</truc>

Par contre le niveau de la syntaxe est peu chaud pour moi. Est-ce que tu pourrais expliquer le rôle de chaque partie ou me renvoyer vers les éléments de syntaxe qui sont utilisés (même ça j'ai du mal à les identifier par rapport à ce qu'on trouve dans le man)

C'est pas pour être désagréable, mais si on efface le gras, il n'y a pas de différence entre

<property>
<truc>...</truc>
<truc>toto</truc>
<truc>...</truc>
</property>
<property>
<truc>...</truc>
<truc>...</truc>
<truc>...</truc>

<property>
<truc>...</truc>
<truc>toto</truc>
<truc>...</truc>
</property>
<property>
<truc>...</truc>
<truc>...</truc>
<truc>...</truc>

Ce n'est pas le script qui est faux, c'est ton interprétation. :oops:
21/06/2013, 21h26
noooop

Plutot que de nous parler de toto, explique ce que tu veux faire de ce XML ?

Bonjour.

Comme dans chaque discussion ou on cherche à manipuler du XML à coup de sed/awk/bash et d'expressions régulières, je rappel qu'il existe des solutions et des langages shells de plus haut niveau prévu pour ce genre de choses. Par exemple xmllint, perl, php, python... qui proposent notamment le support du dom ou des requêtes xpath.

Exemple en PHP (à adapter) :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
#!/usr/bin/php
<?php
    $xml = simplexml_load_file ('fichier.xml');
    $xpath = $xml->xpath('/list/property');
 
    if ($xpath){
         foreach ($xpath as $item){
             if (preg_match("/toto/", print_r($item, true))){
                 unset($item[0]);
             }
         }
    }
    file_put_contents('fichier2.xml', $xml->asXML());
?>

Voici le résultat produit avec un fichier de départ et un fichier de sortie :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
[idriss@hp-dv6:~]$ cat fichier.xml 
<?xml version="1.0" encoding="UTF-8"?>
<list>
<property>
     <untruc>titi</untruc>
     <autrestrucs>
        ....
     </autrestrucs>
</property>
<property>
     <untruc>toto</untruc>
     <autrestrucs>
        ....
     </autrestrucs>
</property>
<property>
     <untruc>tata</untruc>
     <autrestrucs>
        ....
     </autrestrucs>
</property>
</list>
[idriss@hp-dv6:~]$ ./script.php 
[idriss@hp-dv6:~]$ cat fichier2.xml 
<?xml version="1.0" encoding="UTF-8"?>
<list>
<property>
     <untruc>titi</untruc>
     <autrestrucs>
        ....
     </autrestrucs>
</property>
 
<property>
     <untruc>tata</untruc>
     <autrestrucs>
        ....
     </autrestrucs>
</property>
</list>
[idriss@hp-dv6:~]$

Cordialement,
Idriss

24/06/2013, 09h31
noooop

Citation:

Envoyé par ok.Idriss

Bonjour.
Comme dans chaque discussion ou on cherche à manipuler du XML à coup de sed/awk/bash et d'expressions régulières, je rappel qu'il existe des solutions et des langages shells de plus haut niveau prévu pour ce genre de choses. Par exemple xmllint, perl, php, python... qui proposent notamment le support du dom ou des requêtes xpath.

Celà marche quand on doit traiter un flux xml pur. Mais dans le cas de logs applicatives, de plusieurs centaines de Mo avec des traces "libres" et du XML, il ne reste que awk et sed pour supprimer des données sensibles ou récupérer des données incluses dans du XML qui lui peut ou ne pas être formaté.