Bash et parsing XML pour supprimer les balises contenant une chaine

Version imprimable

10/02/2020, 11h22
cotmar

Bash et parsing XML pour supprimer les balises contenant une chaine

Bonjour,

Ma question du jour concerne le parsing d'un fichier XML.

Le contexte est le suivant : Je dois modifier à la volée des fichiers XML que je reçois avant de les intégrer. Ces fichiers contiennent des noms de serveurs, dont le nommage est fait pour la prod alors que je suis sur des serveurs de test (pour la translation d'adresses IP c'est résolu), en revanche, je dispose de moins de serveurs(machines virtuelles) qu'en prod et il me faudrait supprimer automatiquement les balises contenant les adresses IP dont je n'ai pas besoin.

En conséquence et en résumé :

1) Je dois absolument le faire en Bash car je dois intervenir sur une plateforme où je ne peux pas trop installer de nouvelles choses : donc ne ne me proposez pas de Perl ou de Python s'il vous plaît... ;)
2) J'ai commencé à résoudre une partie de ce dont j'ai besoin : la translation d'adresse IP est bonne.
3) J'ai besoin de supprimer les balises décrivant les serveurs dont je ne veux pas : tous les serveurs sont décrits dans des balises identiques qui se suivent : donc une solution du style suppression SED n'est pas directement applicable.

Il me faut supprimer toute la balise contenant l'IP du serveur que je souhaite supprimer et le faire en Bash.

En espérant avoir été clair.

Merci d'avance.

Marco.
10/02/2020, 13h13
becket

Citation:

Envoyé par cotmar

Il me faut supprimer toute la balise contenant l'IP du serveur que je souhaite supprimer et le faire en Bash.

Salut,

Je ne crois pas trop m'avancer en disant que l'on a pas encore inventer de langage qui est capable de lire dans les pensées.

Plus sérieusement, ce serait intéressant d'avoir un exemple concret avec le format "complet" du fichier et de la modification souhaitée.

C'est la raison pour laquelle, j'ai pris la peine de faire une description relativement longue en disant ce que je veux et ce que je ne veux pas.
Ensuite, qu'elle manque de précision c'est possible. Je vais essayer de donner un exemple à l'arrache :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 <?xml version="1.0" encoding="UTF-8"?> <services> <description>Titre</description> <contrats> <contrat nom="toto"> <service nom="toto1" url="http://monip1"></service> <service nom="toto2" url="http://monip2"></service> </contrat> <contrat nom="titi"> <service nom="titi1" url="http://monip2"></service> <service nom="toto2" url="http://monip2"></service> </contrat> <contrat nom="tutu"> <service nom="tutu1" url="http://monip1"></service> <service nom="toto2" url="http://monip2"></service> <service nom="toto3" url="http://monip3"></service> </contrat> </contrats> </services>
Là dedans, je veux pourvoir supprimer par exemple ce qui est dans une balise <service></service> qui correspond à l'URL "http://monip3" qui représente une serveur qui n'existe pas dans mon environnement ?

Tout cela bien entendu en Bash comme dit précédemment (je n'ai pas le droit d'installer Perl ou Python chez moi).

Par avance je vous remercies, espérant que ça soi plus clair ? :oops:

Marc.

10/02/2020, 13h51
becket

Tu as une liste avec ces serveurs quelques part ? Cette liste corresponde à un critère précis ?
10/02/2020, 13h59
zipe31

Salut,

Citation:

Envoyé par cotmar

donc une solution du style suppression SED n'est pas directement applicable.

Et pourquoi ça ?
10/02/2020, 14h27
cotmar

Citation:

Envoyé par becket

Tu as une liste avec ces serveurs quelques part ? Cette liste corresponde à un critère précis ?

Non pas exactement de liste. Je reconstitue une liste à partir d'éléments que récupère. J'ai pu lorsque ça s'est présenté me faire un cas concret d'un des XML à traiter (mais il en existe d'autres).

Justement pour éviter les manipulations et les recherches fastidieuses j'aimerais faire un script avec CSV du style : "IpProd;IpTest"
Et éventuellement : "IpProd;ASupprimer" (pour les serveurs qui n'existent pas dans mon environnement).

J'ai d'une part les serveurs qui existent dans mon environnement et dont il me faut translater l'adresse (remplacer dans le fichier XML) comme dans le premier cas => je l'ai fais et ça marche
et d'autre part, ceux qui n'existent pas dans mon environnement et qu'il me faut supprimer du XML => C'est ce qui me reste à faire.

Je pense que ça simplifierait grandement le travail de mon équipe.

En espérant être plus clair...
10/02/2020, 14h29
cotmar

Citation:

Envoyé par zipe31

Salut,

Et pourquoi ça ?

Si tu as cette solution, je suis preneur ?
10/02/2020, 14h50
zipe31

Citation:

Envoyé par cotmar

Si tu as cette solution, je suis preneur ?

Code:

sed -i.bak '\#http://monip3#d' fichier

ou

Code:

sed -i.bak '/monip3/d' fichier

si le http:// n'est pas obligatoire ;)

PS. le ".bak" n'est là qu'au cas ou… c'est pour faire une sauvegarde du fichier original.

Je te remercies Zipe31, mais ce n'est pas le résultat attendu :

Dans la portion de l'exemple du XML que j'ai cit"é au début de la discussion :
Code:

1 2 3 4 5 6 7 <contrat nom="tutu"> <service nom="tutu1" url="http://monip1"></service> <service nom="toto2" url="http://monip2"></service> <service nom="toto3" url="http://monip3"></service> </contrat>
Je souhaite supprimer la ou les balises <service></service> qui encadrent l'URL que je souhaite supprimer.
Si il n'y a plus de balise <service></service> je souhaite supprimer le <contrat> qui lui est associé...

Je ne sais pas si j'ai été très clair au départ. Est-ce que c'est mieux ?

10/02/2020, 15h28
zipe31

Citation:

Envoyé par cotmar

Je souhaite supprimer la ou les balises <service></service> qui encadrent l'URL que je souhaite supprimer.

C'est ce que fait la commande que je t'ai donnée.

Citation:

Envoyé par cotmar

Si il n'y a plus de balise <service></service> je souhaite supprimer le <contrat> qui lui est associé...

Ça ce n'était spécifié nulle part :?

Citation:

Envoyé par cotmar

Je ne sais pas si j'ai été très clair au départ. Est-ce que c'est mieux ?

Si d'entrée tu avais donné des exemples AVANT => APRÈS, on aurait gagné du temps et gagné surtout en compréhension :?
10/02/2020, 15h52
cotmar

Citation:

Envoyé par zipe31

Ça ce n'était spécifié nulle part :?

Je reconnais. C'était un oubli de ma part.
Du coups, aurais tu une solution s'il te plaît ?

Citation:

Envoyé par zipe31

Si d'entrée tu avais donné des exemples AVANT => APRÈS, on aurait gagné du temps et gagné surtout en compréhension :?

C'est vrai.
J'ai donc essayé par la suite de le décrire précisément, mais sans donner d'exemple, sachant que je ne pouvais pas donner le vrai fichier. J'ai donc bricolé un exemple un peut à l'arrache pour mieux faire comprendre ce que je voulais.

Merci en tous les cas,
Marco.
10/02/2020, 16h10
zipe31

Citation:

Envoyé par cotmar

Du coups, aurais tu une solution s'il te plaît ?

Pour supprimer les balises <contrat…></contrat> vides, cette syntaxe devrait le faire :

Code:

sed '\#<contrat #{N;\#</contrat>$#d}' fichier

Mais comme on n'est pas sûr qu'il n'y ait pas des lignes vides résiduelles, mieux vaut privilégier celle-ci :

Code:

sed '\#<contrat #{:z;N;\#</contrat>$#!bz;\#<contrat [^>]*>\n\{1,\}</contrat>$#d}' fichier

Tu rajouteras le "-i.bak" ou "-i" qu'une fois que tu auras vérifié que la syntaxe fait bien ce que tu veux.

Et pour en revenir à la 1ère commande donnée, par précaution, il serait bon de l'écrire de la sorte :

Code:

sed -i.bak '\#http://monip3\>#d' fichier

Le "\>" à la fin de l'adresse IP permet d'éviter de supprimer des adresses IP ayant une racine commune. (192.168.1.11 et 192.168.1.111 par exemple).

Bonjour,

Je te remercies. Ca va me permettre de progresser à la fois dans ma commande et mes connaissances par la même occasion.

Je me suis permis d'intégrer tout ce que tu m'as dis dans un script shell :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
 
 
 
 
# ! /bin/bash
 
#-----------------------------------------------------------------------
# Mapping des fichiers ".xml"
# Pour convertir les adresses de prod en adresses de test
# Exemple de exemple.CSV :
        #xxx.xxx.xxx.xx1:zzz;aaa.aaa.aaa.bb1:ccc
        #xxx.xxx.xxx.xx2:zzz;aaa.aaa.aaa.bb2:ccc
        #xxx.xxx.xxx.xx3:yyy;aaa.aaa.aaa.bb3:ddd
        #xxx.xxx.xxx.xx4:zzz;aaa.aaa.aaa.bb4:ccc
        #xxx.xxx.xxx.xx5:zzz;suppr 	=> Pour marquer la/les ligne(s) à supprimer
#-----------------------------------------------------------------------
 
#-----------------------------------------------------------------------
# Gestion d’erreurs
#-----------------------------------------------------------------------
usage()
{
        echo "$1"
        echo "Usage :
        $0 ficher_de_mapping.txt fichierRecu.xml
 
        Pour supprimer une ligne du fichier veuillez insérer la ligne suivante dans le fichier de mapping : IP_origine:suppr
        Les autres lignes devront etre selon le modèle : IP_origine;IP_destination
        "
        exit $2
}
 
#-----------------------------------------------------------------------
# Programme principal
#-----------------------------------------------------------------------
 
# Date du jour pour historiser la version du fichier
dateSys=$(date '+%Y-%m-%d')
 
if [ "$#" -ne "2" ]
then
        usage "Nombre d arguments invalide : " 80
else
        [ -f "$1" ] || usage "Le premier argument n est pas un fichier" 81
        [ -f "$2" ] || usage "Le second argument n est pas un fichier" 82
 
        # Copie de sécurité du fichier à modifier
        cp $2 $2.old
 
        # Remplacement
        while read line
        do
                original="$(echo $line | cut -d; -f1)"
                new="$(echo $line | cut -d; -f2)"
                sed -i -e "s/${original}/${new}/g" $2
        done < $1
 
        # Pour supprimer les lignes au premier tour
        sed -i.bak -e '/suppr/d' $1
        # Pour supprimer les balises contrats vides
        sed -i.$dateSys '\#<contrat #{:z;N;\#</contrat>$#!bz;\#<contrat [^>]*>\n\{1,\}</contrat>$#d}' $1
fi
 
#-----------------------------------------------------------------------
# Fin
#-----------------------------------------------------------------------
 
exit 0

Merci d'avance pour les remarques.

Marco.

11/02/2020, 12h19
balkany

$1 -> "$1", $2 -> "$2", un peu partout.
11/02/2020, 12h34
disedorgue

La première ligne du script (ici la 5) qui doit vraiment être la première ligne du fichier est fausse (tout doit être collé: #!/bin/bash).
11/02/2020, 13h49
zipe31

Salut,

Citation:

Envoyé par disedorgue

(tout doit être collé: #!/bin/bash).

Euh… pas tout à fait, il peut y avoir un espace entre le shebang et le chemin ;)
11/02/2020, 15h03
Flodelarab

Citation:

echo $line | cut -d; -f2

Ça, ça n'existe pas. Il faut, soit protéger, soit échapper le point-virgule.

Code:

echo $line | cut -d\; -f2

Code:

echo $line | cut -d';' -f2
11/02/2020, 15h56
cotmar
Merci de tous ces commentaires.

A présent, je n'ai qu'un point qui me chagrine : il ne supprime pas le contrat vide.
Atrement dit :
Code:

1 2 3 # Pour supprimer les balises contrats vides sed -i.$dateSys '\#<contrat #{:z;N;\#</contrat>$#!bz;\#<contrat [^>]*>\n\{1,\}</contrat>$#d}' $2
Semble ne pas marcher. Auriez vous une idée ?

Je n'ai pas compris non plus pour les quotes autour des $1 et $2 ?
Sinon, j'ai appliqué toutes vos remarques et je vous en remercies.

Merci d'avance.
11/02/2020, 16h40
balkany

Citation:

Envoyé par cotmar

Auriez vous une idée ?

Rendre optionnel l'espace dans la balise ouvrante ?

Code:

sed -i.$dateSys '\#<contrat[^>]*>#{:z;N;\#</contrat>$#!bz;\#<contrat[^>]*>\n\{1,\}</contrat>$#d}' "$2"

Citation:

Envoyé par cotmar

Je n'ai pas compris non plus pour les quotes autour des $1 et $2 ?

Eh bien il faut en mettre, des quotes, comme dans la ligne de code ci-dessus :)
11/02/2020, 16h42
zipe31
Citation:
Envoyé par cotmar

Code:

1 2 # Pour supprimer les balises contrats vides sed -i.$dateSys '\#<contrat #{:z;N;\#</contrat>$#!bz;\#<contrat [^>]*>\n\{1,\}</contrat>$#d}' $2
Ben comme toujours, quand on n'a pas les vrais fichiers sous les yeux, on fait avec les données fournies et on suppute…

Donc, peut être qu'il existe des choses (caractères non-imprimables ou autres) qu'on n'a pas prévu.

Fais un cat -A ton_fichier et vois si entre les balises <contrat…></contrat> apparaissent des trucs bizarres ou autres…
11/02/2020, 17h38
Flodelarab

Petite remarque : toutes les choses auxquelles nous avons réagi sont données directement par le site https://www.shellcheck.net/
Tu copies-colles ton code et tu gagnes du temps.
11/02/2020, 17h54
disedorgue

Citation:

Envoyé par zipe31

Ben comme toujours, quand on n'a pas les vrais fichiers sous les yeux, on fait avec les données fournies et on suppute…

Donc, peut être qu'il existe des choses (caractères non-imprimables ou autres) qu'on n'a pas prévu.

Fais un cat -A ton_fichier et vois si entre les balises <contrat…></contrat> apparaissent des trucs bizarres ou autres…

Et oui, et d'ailleurs, un fichier xml n'a aucune obligation d'avoir des retours à la ligne...

Bonjour,

Merci beaucoup.
J'ai regardé et j'ai rien vu.

Pour te montrer un exemple un peut plus précis de ce que j'ai (un peu maquillé) :

Code:

1
2
3
 
<contrat name="CONTRAT_test"><description>contrat CONTRAT_test</description><etatContrat><etat name="toto:etatContrat:test"><description>Test</description></etat></etatContrat><services>
<service name="InterfaceTest" wsdl="http://xxx.xxx.xxx.xxx:yyyy/mon_test/services/MONCONTEXTETEST/CONTRAT_test/InfoTest?wsdl" accessPoint="http://xxx.xxx.xxx.xxx:yyyy/mon_test/services/MONCONTEXTETEST/CONTRAT_Test/InfoTest"><description>Description</description></service></contrat>

Merci d'avance. :)

Marco.

12/02/2020, 09h50
zipe31

Forcément, vu comme ça, ça ne peut pas/plus marcher ;-(

Dans ton exemple primaire, les balises "<contrat>" étaient sur des lignes indépendantes (d'ailleurs "disedorgue" a évoqué à juste titre que le format de fichier xml pouvait ne pas avoir de retour à la ligne).
Là elles ne le sont plus, donc si tu supprimes la ligne contenant l'IP, tu supprimes aussi la balise fermante "</contrat>" et là ça devient problématique et insolvable avec la/les syntaxe(s) donnée(s) plus haut ;-(

Citation:

Envoyé par cotmar

Code:

1
2
3
 
<contrat name="CONTRAT_test"><description>contrat CONTRAT_test</description><etatContrat><etat name="toto:etatContrat:test"><description>Test</description></etat></etatContrat><services>
<service name="InterfaceTest" wsdl="http://xxx.xxx.xxx.xxx:yyyy/mon_test/services/MONCONTEXTETEST/CONTRAT_test/InfoTest?wsdl" accessPoint="http://xxx.xxx.xxx.xxx:yyyy/mon_test/services/MONCONTEXTETEST/CONTRAT_Test/InfoTest"><description>Description</description></service></contrat>

Ces 2 lignes ne sont pas valides !!!
Contrat => services => service <= /service <= /contrat

Désolé Disedorgue. je me suis en effet trompé en récupérant ce bout de mon fichier XML et en le manipulant :
Code:

1 2 3 4 5 6 ...<contrats> ... <contrat name="CONTRAT_test"><description>contrat CONTRAT_test</description><etatContrat><etat name="toto:etatContrat:test"><description>Test</description></etat></etatContrat><services> <service name="InterfaceTest" wsdl="http://xxx.xxx.xxx.xxx:yyyy/mon_test/services/MONCONTEXTETEST/CONTRAT_test/InfoTest?wsdl" accessPoint="http://xxx.xxx.xxx.xxx:yyyy/mon_test/services/MONCONTEXTETEST/CONTRAT_Test/InfoTest"><description>Description</description></service> </services></contrats>...
Je n'avais pas coupé au bon endroit.
En espérant que ça soit un peut plus explicite ?

Comment faire dans ce cas zipe31 s'il te plaît ?

12/02/2020, 17h26
disedorgue

Si tu as gnu sed (avec l'option -z) , essaye:

Code:

sed -z 's#<service [^>]*>#\x2&#g;s#</service>#&\x2#g;s#\x2<service[^\x2]*monip[^\x2]*\x2##g;s#<contrat[ >]#\x1&#g;s#</contrat>#&\x1#g;s#\x1<contrat[ >][^\x2]*\x1##g;s#[\x1\x2]##g' fichier.xml
12/02/2020, 18h11
zipe31

J'abandonne…

À chaque fois que tu nous remets un bout de ton fichier, il faut réinventer la roue et tout refaire parce que le code donné ne correspond plus :?

Sans compter qu'à chaque fois, il y a des erreurs dans ton fichier (balise <contrat …></contratS>) :roll:

Je passe mon tour :arf:
12/02/2020, 18h40
N_BaH

Citation:

Je passe mon tour

j'ai commencé par ça dès que j'ai vu ça :

Citation:

Bash et parsing XML

:ptdr:
12/02/2020, 18h45
zipe31

À sa décharge (et à la mienne), il disait aussi :

Citation:

Je dois absolument le faire en Bash car je dois intervenir sur une plateforme où je ne peux pas trop installer de nouvelles choses : donc ne ne me proposez pas de Perl ou de Python s'il vous plaît...

:aie:
12/02/2020, 18h48
N_BaH

il y a des plateformes sur lesquelles python n'est pas installé ?
12/02/2020, 18h56
zipe31

Tout dépend de la politique de la boîte… tu peux très bien avoir un environnement restreint.
12/02/2020, 19h00
disedorgue

Oui, et surtout pas d'outils qui permet de manipuler des fichiers dans un format imposé...:ptdr:

Moi, je ne me sens pas l'obligation de travailler à la place de Cotmar.

S'il y a déjà installé des outils xml, on peut faire ceci :
Code:

1 2 3 4 5 6 7 8 $ xmlstarlet select -t -m "/services/contrats/contrat/service" -v "@url" -n afac_xml.xml http://monip1 http://monip2 http://monip2 http://monip2 http://monip1 http://monip2 http://monip3

13/02/2020, 15h55
cotmar

Citation:

Envoyé par Flodelarab

Moi, je ne me sens pas l'obligation de travailler à la place de Cotmar.

Je n'en demande pas autant... on croirai que tu m'accuses d'avoir un poil dans la main et si je reviens sur d'autres posts, ce n'est pas la première fois. Si je viens sur un forum c'est pour y chercher de l'aide après avoir déjà cherché de mon côté et tenté de trouver sans succès, mais jamais avant. :(

Je précise aussi que si j'ai pris le temps d'écrire une présentation aussi longue au départ c'est précisément pour donner les pistes que j'ai suivi, montrer à quel endroit j'en suis (aussi montrer ma bonne foi) et expliquer ce qui cloche et pourquoi je coince. Là dessus, vous en savez tous largement plus que moi et je remercie tous ceux qui acceptent de m'aider. Votre titre d'experts n'est en rien usurpé.

Bonne soirée,
Marco.

Bonjour,

J'ai continué de mon côté en intégrant vos remarques et en particulier la commande xmlstarlet. Pas évident, mais ouf ça se fait petit à petit :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
#!/bin/bash
 
#-----------------------------------------------------------------------
# Mapping des fichiers ".xml"
# Pour convertir les adresses de prod en adresses de test
# Exemple de exemple.CSV :
        #xxx.xxx.xxx.xx1:zzz;aaa.aaa.aaa.bb1:ccc
        #xxx.xxx.xxx.xx2:zzz;aaa.aaa.aaa.bb2:ccc
        #xxx.xxx.xxx.xx3:yyy;aaa.aaa.aaa.bb3:ddd
        #xxx.xxx.xxx.xx4:zzz;aaa.aaa.aaa.bb4:ccc
        #xxx.xxx.xxx.xx5:zzz;suppr 	=> Pour marquer la/les ligne(s) à supprimer
#-----------------------------------------------------------------------
 
#-----------------------------------------------------------------------
# Gestion d’erreurs
#-----------------------------------------------------------------------
usage()
{
        echo "$1"
        echo "Usage :
        $0 ficher_de_mapping.txt fichierRecu.xml
 
        Pour supprimer une ligne du fichier veuillez insérer la ligne suivante dans le fichier de mapping : IP_origine:suppr
        Les autres lignes devront etre selon le modèle : IP_origine;IP_destination
        "
        exit $2
}
 
#-----------------------------------------------------------------------
# Programme principal
#-----------------------------------------------------------------------
 
# Date du jour pour historiser la version du fichier
dateSys=$(date '+%Y-%m-%d')
 
if [ "$#" -ne "2" ]
then
        usage "Nombre d arguments invalide : " 80
else
        [ -f "$1" ] || usage "Le premier argument n est pas un fichier" 81
        [ -f "$2" ] || usage "Le second argument n est pas un fichier" 82
 
        # Copie de sécurité du fichier à modifier
        cp $2 $2.old
 
        # Remplacement
        while read line
        do
			original="$(echo $line | cut -d\; -f1)"
			new="$(echo $line | cut -d\; -f2)"
			sed -i -e "s/${original}/${new}/g" $2
        done < $1
 
        # Pour supprimer les lignes sélectionnées au premier tour
		monNoeud = $(xmlstarlet select -t -m "/services-logiciel/mas/contrats/contrat/services/service"  -v "@wsdl" -n $2 | grep suppr)
 
		if [ "$monNoeud" -e "suppr" ]
		then
		#La suppression en fonction du contenu de la variable
			xmlstarlet ed -d "/services-logiciel/mas/contrats/contrat/services/service [@wsdl='${monNoeud}']" $2 > $2
		fi
 
		#ToDo : La possibilité que l'on doive supprimer plusieurs serveurs ???
fi
 
#-----------------------------------------------------------------------
# Fin
#-----------------------------------------------------------------------
 
exit 0

Merci et comme toujours, si jamais vous avez des remarques, surtout n'hésitez pas. Désolé aussi pour la longueur de ce sujet... :oops:

Cordialement,
Marco.