Doublon d'entrées dans fichier kml

Bonjour,

Voici le contexte :
Je suis sur un projet SIG avec QGIS, en partant de tuiles png de 256 x 256 (1024 x 512 tuiles = 524288 tuiles ) regroupée en grosse tuile de 32(x256) x 32(x256) ce qui me donne 512 tuiles pour une map entière et j'effectue les étapes suivantes :
origine_couleur.png => origine_blanc_noir.png=> géoréférencement + projection sur origine_blanc_noir.png => polygonisation de origine_blanc_noir géoréférencé.tiff => Réparation de la tuile polygonisée.shp => conversion de la tuile issue de la réparation polygone en ligne.shp => export kml

Pour tout ça pas de soucis ça tourne comme une horloge mais je viens de m'apercevoir que certains de mes kml contiennent plusieurs fois les entrées d'autres pas du tout ... ce qui fait qu'ils sont beaucoup plus lourd que ce qu'ils devraient. Je pense que c'est à l'étape en gras que cela se passe

Existe t il un moyen, par script shell (je suis sous macOS), de supprimer les entrées en doublon (et des fois plus...) de chaque fichier kml (512) ?
A la main, je vais y passer des jours entiers et je suis pas à l'abri d'erreurs ...

Merci de vos lumières

Voici un exemple de kml à traiter
=> gbl_32_288.kml

Bonjour,

Va falloir être plus précis, car textuellement, les seules lignes en doublons sont:

Code:

---

1 2 3 4 5 6 7 8

sort gbl_32_288.kml | uniq -d <ExtendedData><SchemaData schemaUrl="#gbl_32_288"> </Placemark> <Placemark> </SchemaData></ExtendedData> <SimpleData name="DN">0</SimpleData> <SimpleData name="DN">1</SimpleData> <Style><LineStyle><color>ff0000ff</color></LineStyle><PolyStyle><fill>0</fill></PolyStyle></Style>

---

Bonjour,
Merci pour votre réponse
Bien évidemment j'ai donné un kml qui n'en a pas ...
Celui ci en retourne (j'ai testé sous terminal, et merci pour la commande je ne connaissais pas, très pratique ;))
=> gbl_0_96.kml

Si je prend un cas de doublons dans ton fichier, je vois que cela ressemble à un bloc de ce type:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

grep -B5 -A1 '<LineString><coordinates>-168.806304931641,53.0241394042969 -168.802185058594,53.0241394042969' gbl_0_96.kml <Placemark> <Style><LineStyle><color>ff0000ff</color></LineStyle><PolyStyle><fill>0</fill></PolyStyle></Style> <ExtendedData><SchemaData schemaUrl="#gbl_0_96"> <SimpleData name="DN">0</SimpleData> </SchemaData></ExtendedData> <LineString><coordinates>-168.806304931641,53.0241394042969 -168.802185058594,53.0241394042969 -168.802185058594,53.0227661132812 -168.806304931641,53.0227661132812 -168.806304931641,53.0241394042969</coordinates></LineString> </Placemark> -- <Placemark> <Style><LineStyle><color>ff0000ff</color></LineStyle><PolyStyle><fill>0</fill></PolyStyle></Style> <ExtendedData><SchemaData schemaUrl="#gbl_0_96"> <SimpleData name="DN">0</SimpleData> </SchemaData></ExtendedData> <LineString><coordinates>-168.806304931641,53.0241394042969 -168.802185058594,53.0241394042969 -168.802185058594,53.0227661132812 -168.806304931641,53.0227661132812 -168.806304931641,53.0241394042969</coordinates></LineString> </Placemark> -- <Placemark> <Style><LineStyle><color>ff0000ff</color></LineStyle><PolyStyle><fill>0</fill></PolyStyle></Style> <ExtendedData><SchemaData schemaUrl="#gbl_0_96"> <SimpleData name="DN">0</SimpleData> </SchemaData></ExtendedData> <LineString><coordinates>-168.806304931641,53.0241394042969 -168.802185058594,53.0241394042969 -168.802185058594,53.0227661132812 -168.806304931641,53.0227661132812 -168.806304931641,53.0241394042969</coordinates></LineString> </Placemark>

---

Est-ce toujours le cas ?
C'est bien toujours un bloc Placemark complet que l'on doit supprimer et uniquement si le bloc complet est un doublon (pas uniquement une ligne dans ce bloc) ?

PS: c'est faisable en shell, si c'est bien ça, mais le plus simple serait de le faire avec un langage de script tel que python qui possède des modules de traitement xml.

Oui tout à fait ce sont bien les blocs complets que je souhaite supprimer.
On dirait que dans le traitement de la réparation des polygones, il y a une forme de calque qui s'écrivent les uns par dessus les autres au lieu d'ajouter ce qui manque au premier, ce qui fait que les blocs sont au minimum doublés voir triplés dans le fichier de sortie .shp pour les tuiles complexes.

Je n'ai pas de préférence particulière pour le langage du script qui m'aidera à épurer les 512 kml
(même si je dois lancer le script 512 fois à la main, ça sera un moindre mal que de chercher manuellement dans les 512 fichiers) et python 3 est installé sur ma machine (QGIS fonctionne avec python)

Merci en tout cas de m'aider, c'est sympa ;)

Je cherche sur le net une piste me permettant d'avancer sur le sujet...
Il existe une multitude d'exemples pour supprimer les lignes en double en revanche je trouve rien (je dois pas chercher au bon endroit) concernant les blocs
Je suis preneur d'infos sur la ou les méthodes à étudier, merci

j'avance à petit pas, grâce a une boucle et sort file.kml | grep uniq -d >> file.txt, j'ai pu identifier tous les fichiers kml qui doivent être traités en identifiant ce qui devait être supprimé, vraiment pratique cette commande ;)

Voici une petite ligne qui fait peut-être le boulot, mais attention, ici c'est du spécifique gawk (gnu awk) :

Code:

---

gawk 'BEGIN{PROCINFO["sorted_in"]="@val_num_asc"}/LineString/{A[$0]=NR;next}{A[NR ":" $0]=NR}END{for (i in A) { sub(/^[0-9]+:/,"",i); print i }}' gbl_0_96.kml | sed '/<Placemark>/{:bc;N;s/\/Placemark>/&/;tcc;bbc;:cc;/LineString/!d;}' >gbl_0_96.kml_result

---

Merci disedorgue,
J'ai installé gawk via homebrew sur le mac et lancé la commande
J'ai ceci en erreur :

Code:

---

1 2	sed: 1: "/<Placemark>/{:bc;N;s/\ ...": unexpected EOF (pending }'s)

---

Sincèrement c'est du chinois pour moi la commande ... si c'est lié à ma plateforme, j'installerais un ubuntu en machine virtuelle mais tu peux me dire de quoi il en retourne, qu'est ce que je dois comprendre avec cette ligne ?
Merci

Pas d'idée, je ne connais pas le sed du mac, si tu peux, prend le gnu sed.

J'ai installé gnu-sed

Code:

---

1 2 3 4 5

GNU "sed" has been installed as "gsed". If you need to use it as "sed", you can add a "gnubin" directory to your PATH from your bashrc like:   PATH="/usr/local/opt/gnu-sed/libexec/gnubin:$PATH"

---

J'ai donc remplacé sed par gsed dans la commande et ça fonctionne à merveille le résultat est celui espéré.

Merci beaucoup, tu viens de me faire gagner un temps énorme je vais me débrouiller pour la boucle pour que ça se fasse automatiquement sur les kml qui me reste à traiter (ça c'est dans mes cordes) :D ;)