Discussion :

[cotmar]

Bonjour,

Ma question du jour concerne le parsing d'un fichier XML.

Le contexte est le suivant : Je dois modifier à la volée des fichiers XML que je reçois avant de les intégrer. Ces fichiers contiennent des noms de serveurs, dont le nommage est fait pour la prod alors que je suis sur des serveurs de test (pour la translation d'adresses IP c'est résolu), en revanche, je dispose de moins de serveurs(machines virtuelles) qu'en prod et il me faudrait supprimer automatiquement les balises contenant les adresses IP dont je n'ai pas besoin.

En conséquence et en résumé :

1) Je dois absolument le faire en Bash car je dois intervenir sur une plateforme où je ne peux pas trop installer de nouvelles choses : donc ne ne me proposez pas de Perl ou de Python s'il vous plaît...
2) J'ai commencé à résoudre une partie de ce dont j'ai besoin : la translation d'adresse IP est bonne.
3) J'ai besoin de supprimer les balises décrivant les serveurs dont je ne veux pas : tous les serveurs sont décrits dans des balises identiques qui se suivent : donc une solution du style suppression SED n'est pas directement applicable.

Il me faut supprimer toute la balise contenant l'IP du serveur que je souhaite supprimer et le faire en Bash.

En espérant avoir été clair.

Merci d'avance.

Marco.

[becket]

Il me faut supprimer toute la balise contenant l'IP du serveur que je souhaite supprimer et le faire en Bash.

Salut,

Je ne crois pas trop m'avancer en disant que l'on a pas encore inventer de langage qui est capable de lire dans les pensées.

Plus sérieusement, ce serait intéressant d'avoir un exemple concret avec le format "complet" du fichier et de la modification souhaitée.

[cotmar]

C'est la raison pour laquelle, j'ai pris la peine de faire une description relativement longue en disant ce que je veux et ce que je ne veux pas.
Ensuite, qu'elle manque de précision c'est possible. Je vais essayer de donner un exemple à l'arrache :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
 
 
 
 
<?xml version="1.0" encoding="UTF-8"?>
<services>
<description>Titre</description>
<contrats>
 
<contrat nom="toto">
   <service nom="toto1" url="http://monip1"></service>
   <service nom="toto2"  url="http://monip2"></service>
</contrat>
 
<contrat nom="titi">
   <service nom="titi1" url="http://monip2"></service>
   <service nom="toto2"  url="http://monip2"></service>
</contrat>
 
<contrat nom="tutu">
   <service nom="tutu1" url="http://monip1"></service>
   <service nom="toto2"  url="http://monip2"></service>
   <service nom="toto3"  url="http://monip3"></service>
</contrat>
 
</contrats>
</services>

Là dedans, je veux pourvoir supprimer par exemple ce qui est dans une balise <service></service> qui correspond à l'URL "http://monip3" qui représente une serveur qui n'existe pas dans mon environnement ?

Tout cela bien entendu en Bash comme dit précédemment (je n'ai pas le droit d'installer Perl ou Python chez moi).

Par avance je vous remercies, espérant que ça soi plus clair ?

Marc.

[becket]

Tu as une liste avec ces serveurs quelques part ? Cette liste corresponde à un critère précis ?

[zipe31]

Salut,

donc une solution du style suppression SED n'est pas directement applicable.

Et pourquoi ça ?

[cotmar]

Tu as une liste avec ces serveurs quelques part ? Cette liste corresponde à un critère précis ?

Non pas exactement de liste. Je reconstitue une liste à partir d'éléments que récupère. J'ai pu lorsque ça s'est présenté me faire un cas concret d'un des XML à traiter (mais il en existe d'autres).

Justement pour éviter les manipulations et les recherches fastidieuses j'aimerais faire un script avec CSV du style : "IpProd;IpTest"
Et éventuellement : "IpProd;ASupprimer" (pour les serveurs qui n'existent pas dans mon environnement).


J'ai d'une part les serveurs qui existent dans mon environnement et dont il me faut translater l'adresse (remplacer dans le fichier XML) comme dans le premier cas => je l'ai fais et ça marche
et d'autre part, ceux qui n'existent pas dans mon environnement et qu'il me faut supprimer du XML => C'est ce qui me reste à faire.

Je pense que ça simplifierait grandement le travail de mon équipe.

En espérant être plus clair...

[cotmar]

Salut,


Et pourquoi ça ?

Si tu as cette solution, je suis preneur ?

[zipe31]

Si tu as cette solution, je suis preneur ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -i.bak '\#http://monip3#d' fichier

ou

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -i.bak '/monip3/d' fichier

si le http:// n'est pas obligatoire


PS. le ".bak" n'est là qu'au cas ou… c'est pour faire une sauvegarde du fichier original.

[cotmar]

Je te remercies Zipe31, mais ce n'est pas le résultat attendu :

Dans la portion de l'exemple du XML que j'ai cit"é au début de la discussion :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
 
<contrat nom="tutu">
   <service nom="tutu1" url="http://monip1"></service>
   <service nom="toto2"  url="http://monip2"></service>
   <service nom="toto3"  url="http://monip3"></service>
</contrat>

Je souhaite supprimer la ou les balises <service></service> qui encadrent l'URL que je souhaite supprimer.
Si il n'y a plus de balise <service></service> je souhaite supprimer le <contrat> qui lui est associé...

Je ne sais pas si j'ai été très clair au départ. Est-ce que c'est mieux ?

[zipe31]

Je souhaite supprimer la ou les balises <service></service> qui encadrent l'URL que je souhaite supprimer.

C'est ce que fait la commande que je t'ai donnée.

Si il n'y a plus de balise <service></service> je souhaite supprimer le <contrat> qui lui est associé...

Ça ce n'était spécifié nulle part

Je ne sais pas si j'ai été très clair au départ. Est-ce que c'est mieux ?

Si d'entrée tu avais donné des exemples AVANT => APRÈS, on aurait gagné du temps et gagné surtout en compréhension

[cotmar]

Ça ce n'était spécifié nulle part

Je reconnais. C'était un oubli de ma part.
Du coups, aurais tu une solution s'il te plaît ?

Si d'entrée tu avais donné des exemples AVANT => APRÈS, on aurait gagné du temps et gagné surtout en compréhension

C'est vrai.
J'ai donc essayé par la suite de le décrire précisément, mais sans donner d'exemple, sachant que je ne pouvais pas donner le vrai fichier. J'ai donc bricolé un exemple un peut à l'arrache pour mieux faire comprendre ce que je voulais.

Merci en tous les cas,
Marco.

[zipe31]

Du coups, aurais tu une solution s'il te plaît ?

Pour supprimer les balises <contrat…></contrat> vides, cette syntaxe devrait le faire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed '\#<contrat #{N;\#</contrat>$#d}' fichier

Mais comme on n'est pas sûr qu'il n'y ait pas des lignes vides résiduelles, mieux vaut privilégier celle-ci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed '\#<contrat #{:z;N;\#</contrat>$#!bz;\#<contrat [^>]*>\n\{1,\}</contrat>$#d}' fichier

Tu rajouteras le "-i.bak" ou "-i" qu'une fois que tu auras vérifié que la syntaxe fait bien ce que tu veux.


Et pour en revenir à la 1ère commande donnée, par précaution, il serait bon de l'écrire de la sorte :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -i.bak '\#http://monip3\>#d' fichier

Le "\>" à la fin de l'adresse IP permet d'éviter de supprimer des adresses IP ayant une racine commune. (192.168.1.11 et 192.168.1.111 par exemple).

[cotmar]

Bonjour,

Je te remercies. Ca va me permettre de progresser à la fois dans ma commande et mes connaissances par la même occasion.

Je me suis permis d'intégrer tout ce que tu m'as dis dans un script shell :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
 
 
 
 
# ! /bin/bash
 
#-----------------------------------------------------------------------
# Mapping des fichiers ".xml"
# Pour convertir les adresses de prod en adresses de test
# Exemple de exemple.CSV :
        #xxx.xxx.xxx.xx1:zzz;aaa.aaa.aaa.bb1:ccc
        #xxx.xxx.xxx.xx2:zzz;aaa.aaa.aaa.bb2:ccc
        #xxx.xxx.xxx.xx3:yyy;aaa.aaa.aaa.bb3:ddd
        #xxx.xxx.xxx.xx4:zzz;aaa.aaa.aaa.bb4:ccc
        #xxx.xxx.xxx.xx5:zzz;suppr 	=> Pour marquer la/les ligne(s) à supprimer
#-----------------------------------------------------------------------
 
#-----------------------------------------------------------------------
# Gestion d’erreurs
#-----------------------------------------------------------------------
usage()
{
        echo "$1"
        echo "Usage :
        $0 ficher_de_mapping.txt fichierRecu.xml
 
        Pour supprimer une ligne du fichier veuillez insérer la ligne suivante dans le fichier de mapping : IP_origine:suppr
        Les autres lignes devront etre selon le modèle : IP_origine;IP_destination
        "
        exit $2
}
 
#-----------------------------------------------------------------------
# Programme principal
#-----------------------------------------------------------------------
 
# Date du jour pour historiser la version du fichier
dateSys=$(date '+%Y-%m-%d')
 
if [ "$#" -ne "2" ]
then
        usage "Nombre d arguments invalide : " 80
else
        [ -f "$1" ] || usage "Le premier argument n est pas un fichier" 81
        [ -f "$2" ] || usage "Le second argument n est pas un fichier" 82
 
        # Copie de sécurité du fichier à modifier
        cp $2 $2.old
 
        # Remplacement
        while read line
        do
                original="$(echo $line | cut -d; -f1)"
                new="$(echo $line | cut -d; -f2)"
                sed -i -e "s/${original}/${new}/g" $2
        done < $1
 
        # Pour supprimer les lignes au premier tour
        sed -i.bak -e '/suppr/d' $1
        # Pour supprimer les balises contrats vides
        sed -i.$dateSys '\#<contrat #{:z;N;\#</contrat>$#!bz;\#<contrat [^>]*>\n\{1,\}</contrat>$#d}' $1
fi
 
#-----------------------------------------------------------------------
# Fin
#-----------------------------------------------------------------------
 
exit 0

Merci d'avance pour les remarques.

Marco.

[balkany]

$1 -> "$1", $2 -> "$2", un peu partout.

[disedorgue]

La première ligne du script (ici la 5) qui doit vraiment être la première ligne du fichier est fausse (tout doit être collé: #!/bin/bash).

[zipe31]

Salut,

(tout doit être collé: #!/bin/bash).

Euh… pas tout à fait, il peut y avoir un espace entre le shebang et le chemin

[Flodelarab]

echo $line | cut -d; -f2

Ça, ça n'existe pas. Il faut, soit protéger, soit échapper le point-virgule.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

echo $line | cut -d\; -f2

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

echo $line | cut -d';' -f2

[cotmar]

Merci de tous ces commentaires.

A présent, je n'ai qu'un point qui me chagrine : il ne supprime pas le contrat vide.
Atrement dit :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
        # Pour supprimer les balises contrats vides
        sed -i.$dateSys '\#<contrat #{:z;N;\#</contrat>$#!bz;\#<contrat [^>]*>\n\{1,\}</contrat>$#d}' $2

Semble ne pas marcher. Auriez vous une idée ?

Je n'ai pas compris non plus pour les quotes autour des $1 et $2 ?
Sinon, j'ai appliqué toutes vos remarques et je vous en remercies.

Merci d'avance.

[balkany]

Auriez vous une idée ?

Rendre optionnel l'espace dans la balise ouvrante ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -i.$dateSys '\#<contrat[^>]*>#{:z;N;\#</contrat>$#!bz;\#<contrat[^>]*>\n\{1,\}</contrat>$#d}' "$2"

Je n'ai pas compris non plus pour les quotes autour des $1 et $2 ?

Eh bien il faut en mettre, des quotes, comme dans la ligne de code ci-dessus

[zipe31]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
        # Pour supprimer les balises contrats vides
        sed -i.$dateSys '\#<contrat #{:z;N;\#</contrat>$#!bz;\#<contrat [^>]*>\n\{1,\}</contrat>$#d}' $2

Ben comme toujours, quand on n'a pas les vrais fichiers sous les yeux, on fait avec les données fournies et on suppute…

Donc, peut être qu'il existe des choses (caractères non-imprimables ou autres) qu'on n'a pas prévu.

Fais un cat -A ton_fichier et vois si entre les balises <contrat…></contrat> apparaissent des trucs bizarres ou autres…