sed & regex: matcher 2 champs à la fois

Version imprimable

15/01/2017, 19h48
FabriceN

sed & regex: matcher 2 champs à la fois

Je cherche a extraire noms de fichier image + titres dans un gros fichier html.
( Ok ça serait faisable en autre chose que sed, mais j'y étais presque et ça m'interesse de comprendre anyway :-) )

voici l'expression à laquelle je suis parvenu, sur une courte chaine d'exemple, mais ça ne marche pas:

Code:

echo '(path/yac5cxfjm1.png)"></span><xxx><yyy>le titre</span>' | sed 's#/$[0-9a-z]*$.png)"></span>$[!>]*$>$[!>]*$>$[!<]*$#@ FILE:\1 TITLE:\4/a%\n#g'

visiblement le probleme se situe au premier '>':
s#/$[0-9a-z]*$.png)"></span>$[!>]*$ matche mon exemple,
mais pas

Code:

s#/$[0-9a-z]*$.png)"></span>$[!>]*$>

une idee du soucis ?
(NB: c'est pas une question d'echappement de ! et > , j'ai déjà testé)
NB: j'en suis venu a matcher explicitement chaque <...> entre mes 2 champs visés (nom et titre), parceque $.*$ essayé auparavant semble faire un match maximaliste et non minimaliste.

merci !

BONJOUR !

empiriquement j'en arrive à ça :

Code:

1
2
$ echo '(path/yac5cxfjm1.png)"></span><xxx><yyy>le titre</span>' | sed 's/.*\/\([^.]*\).png.*>\(.*\)<\/.*/\1 -- \2/'
yac5cxfjm1 -- le titre

15/01/2017, 20h53
FabriceN
Citation:
Envoyé par N_BaH

empiriquement j'en arrive à ça :

Code:

1 2 $ echo '(path/yac5cxfjm1.png)"></span><xxx><yyy>le titre</span>' | sed 's/.*\/$[^.]*$.png.*>$.*$<\/.*/\1 -- \2/' yac5cxfjm1 -- le titre
Certes, mais comme je disais, $.*$ a une facheuse tendance a matcher a maxima, c'est a dire avec tout le reste du bloc.
Donc dans le vrai contexte ou je dois reconnaitre toute une serie de nom + titre, ça ne marche plus :

Code:

echo '(path/file1.png)"></span><xxx><yyy>le titre1</span><zzz><(path/file2.png)"></span><xxx><yyy>le titre2</span>' | sed 's/.*\/$[^.]*$.png.*>$.*$<\/.*/\1 -- \2/'g

par ailleurs là j'ai simplifié les balises intermédiaires, mieux vaut donc vraiment reconnaire le fichier comme \/$[0-9a-z]*$.png pour matcher specifiquement.
Mais ça ne change rien au 1er soucis avec $.*$ . C'est bien pour ça que j'en suis venu spécifiquement a reconnaitre les 2 balises intermédiaires, a coup de "non '>'" puis '>'.

Citation:

Ce serait utile qu'on sache ce que tu veux obtenir.

un site tiers a oublié de prévoir qu'on puisse vouloir faire des backup de nos fiches, ou en donner la liste des liens sur nos blogs. Mais il y a un menu généré dynamiquement qui les affiche. En sauvant le html (un gros bloc bien moche), on arrive facilement a reconnaitre les champs utiles (pour chaque entree de la liste, path vers la miniature de la fiche, reutilisable pour indexer la fiche elle meme, et titre). Ok, vouloir faire ça avec sed c'est bourrin par rapport a un parseur xml, mais j'y suis facilement arrivé sans la partie titre, et là je butte... et j'aimerais comprendre l'erreur conceptuelle, anyway :-)
15/01/2017, 22h35
CosmoKnacki

En fait, tu te trompes sur le signe de négation d'une classe de caractère qui n'est pas le point d'exclamation mais l'accent circonflexe.
15/01/2017, 22h59
FabriceN

Citation:

Envoyé par CosmoKnacki

En fait, tu te trompes sur le signe de négation d'une classe de caractère qui n'est pas le point d'exclamation mais l'accent circonflexe.

euh, oui (damned !!! ).

mais j'ai toujours le probleme que ça n'embraye pas sur le second nom+titre:

Code:

echo '(path/yac5cxfjm1.png)"></span><xxx><yyy>le titre</span>' | sed 's#/$[0-9a-z]*$.png)"></span>$[^>]*$>$[^>]*$>$[^<]*$#@ FILE:\1 TITLE:\4/a%\n#g'

matche bien le premier set, mais appliqué à des données plus longues

Code:

echo '(path/nom1.png)"></span><xxx><yyy>le titre1</span><zzz>(path/nom2.png)"></span><xxx><yyy>le titre2</span><zzz>' | sed 's#/$[0-9a-z]*$.png ) "></span>$[^>]*$>$[^>]*$>$[^<]*$#@ FILE:\1 TITLE:\4/a%\n#g'

ça ne match plus rien du tout, ni le 1er ni le 2d set nom+titre.
15/01/2017, 23h45
N_BaH

les données sont tronquées, tu devrais nous donner les vraies données (en remplaçant les informations personnelles, bien sûr), et en respectant le formatage.

tout semble être sur une seule ligne, sed (pour le peu que je sache) ne va pas pouvoir réutiliser les mêmes références arrières pour chaque motif "fichier" et "titre", même avec le paramètre g.

mais ce serait sûrement plus raisonnable, puisque c'est du XML, comme tu l'as dit, d'utiliser un parseur XML.

Bonjour,
Voici un exemple certainement simplifiable, mais comme on ne sait pas vraiment la sortie que tu veux et que l'on a pas un vrai input, difficile de faire mieux:
Code:

1 2 3 $ echo '(path/nom1.png)"></span><xxx><yyy>le titre1</span><zzz>(path/nom2.png)"></span><xxx><yyy>le titre2</span><zzz>'| sed 's#[^/]*/$[0-9a-z]*$\.png$[^>]*><$*[^>]*>$[^<]\+$<[^(]*#@ FILE:\1 TITLE:\3/a%\n#g' @ FILE:nom1 TITLE:le titre1/a% @ FILE:nom2 TITLE:le titre2/a%

16/01/2017, 00h10
FabriceN

Citation:

Envoyé par N_BaH

les données sont tronquées, tu devrais nous donner les vraies données (en remplaçant les informations personnelles, bien sûr), et en respectant le formatage.tout semble être sur une seule ligne,

il y en a pour des centaines de ko ! Voici une entree (ou se cachent 1 nom.png et un titre), il y en a plus d'une centaines concaténées comme ça sur une seule ligne.

Code:

<div id="dcg-42526-495" class="saved-graph graph-link-container dcg-selected" ontap=""><div id="dcg-42526-496" role="link" tabindex="0" class="graph-link dcg-action-preview-graph"><span id="dcg-42526-497" class="dcg-thumb" style="background-image:url(https://s3.amazonaws.com/calc_thumbs/production/zstlwmmpkp.png)"></span><span id="dcg-42526-498" class="dcg-title"><span id="dcg-42526-499" class="">ship waves / Kelvin wake</span></span><span id="dcg-42526-500"> </span><span id="dcg-42526-501" class="date"><span id="dcg-42526-502" class="">yesterday</span></span></div><div id="dcg-42526-503" style="display: none"></div><div id="dcg-42526-504" style="display: none"></div><span id="dcg-42526-505" class="actions" handleevent="true"><span id="dcg-42526-506" role="button" tabindex="0" aria-label="Delete" class="dcg-icon-remove dcg-action-removegraph" ontap=""></span></span></div>

Citation:

Envoyé par N_BaH

tout semble être sur une seule ligne, sed (pour le peu que je sache) ne va pas pouvoir réutiliser les mêmes références arrières pour chaque motif "fichier" et "titre", même avec le paramètre g.

Je pense que si; par example ceci (qui isole juste file et le tag suivant) fonctionne:

Code:

echo '(path/nom1.png)"></span><xxx><yyy>le titre1</span><zzz>(path/nom2.png)"></span><xxx><yyy>le titre2</span><zzz>' | sed 's#/$[0-9a-z]*$.png)"><$[^>]*$#@ FILE:\1 ITEM:\2%\n#g'

( bon je n'ai pas pipé avec les cut, mais les balises de repérage sont @ et %, juste avant le retour à la ligne inséré. )

Citation:
Envoyé par disedorgue
Bonjour,
Voici un exemple certainement simplifiable, mais comme on ne sait pas vraiment la sortie que tu veux et que l'on a pas un vrai input, difficile de faire mieux:
Code:

1 2 3 $ echo '(path/nom1.png)"></span><xxx><yyy>le titre1</span><zzz>(path/nom2.png)"></span><xxx><yyy>le titre2</span><zzz>'| sed 's#[^/]*/$[0-9a-z]*$\.png$[^>]*><$*[^>]*>$[^<]\+$<[^(]*#@ FILE:\1 TITLE:\3/a%\n#g' @ FILE:nom1 TITLE:le titre1/a% @ FILE:nom2 TITLE:le titre2/a%
Hosanna, ça marche !!!
Bon ben j'ai plus qu'à analyser caractère par caractère pourquoi le tient marche et pas le mien ;-) . Merci beaucoup !

La ligne complete isolant la zone html utile, puis coupant proprement le resultat est donc

Code:

cat saved.html | sed 's#>Examples</span></div>#\n\0\n#g' | sed -n '/>Examples<\/span><\/div>/q;p' | sed 's#[^/]*/$[0-9a-z]*$\.png$[^>]*><$*[^>]*>$[^<]\+$<[^(]*#@ FILE:\1 TITLE:\3/a%\n#g' | cut -d'%' -f1 -s | cut -d'@' -f2 -s

(une version + simple permet de lancer des wget de backup en rafale),

et sa variante en produisant automatiquement une page web a partir de la liste:

Code:

cat saved.html | sed 's#>Examples</span></div>#\n\0\n#g' | sed -n '/>Examples<\/span><\/div>/q;p' | sed 's#[^/]*/$[0-9a-z]*$\.png$[^>]*><$*[^>]*>$[^<]\+$<[^(]*#@<li><a href="https://www.desmos.com/calculator/\1"><img height="100px" src="https://s3.amazonaws.com/calc_thumbs/production/\1.png">\3</a>%\n#g' | cut -d'%' -f1 -s | cut -d'@' -f2 -s > myGraphs.html

le résultat (encore brut de fonderie) est visualisé ici : http://evasion.imag.fr/~Fabrice.Neyr...osGraphs2.html

Encore merci !
(vraiment, même après ça, tu ne goute pas à cette beauté cabalisto-codegolfesque de sed ? :-) )