[bash]Traitement d'un fichier txt/html

Version imprimable

Bonsoir à tous,

Je cherche à extraire plusieurs informations d'un site (dans mon exemple Allociné).

Après avoir récupéré le code de la page en html dans un fichier .txt je souhaite en extraire plusieurs informations : titres, notes synopsis et images pour à terme en refaire un fichier html (sans css derrière)
J'ai cependant 2 problèmes majeurs :
- comment extraire les images correspondantes aux films ? Pour ça je n'ai pas la moindre idée en dépit de mes recherches sur internet.
- pour le moment j'ai réussi à extraire les titres et les synopsis des films, mais dans deux fichiers différents que je dois ensuite concaténer en un seul et je trouve ça lourd. Existe-t-il un meilleur moyen de faire cela sans passer par des fichier temporaire ?

Merci d'avance pour votre aide et ci-dessous mon code pour les titres et synopsis :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 egrep meta-title-link Alloci*.txt | grep "<a" | cut -d\> -f2 | cut -d\< -f1 | sed -re "s/'/\'/g" > SUPER_TITRES.txt sed -n '/<div class="content-txt ">/,/<div class="rating-holder">/p' Alloci*.txt | sed '/</d' | sed 's/^[ \t]*//;s/[ \t]*$//' | sed '/^$/d' > GENIAL_SYNOPSIS.txt nb=$(echo $(echo `wc -l SUPER_TITRES.txt`) | cut -d' ' -f1) for (( i=1; i<=$nb; i++)); do ligne=$i titre=`sed -n ${ligne}p SUPER_TITRES.txt` desc=`sed -n ${ligne}p GENIAL_SYNOPSIS.txt` echo "$titre" >> NUL.html echo " " >> NUL.html echo "$desc" >> NUL.html echo " " >> NUL.html done
Le fichier titres ne contient que les titres l'un en dessous de l'autre et pareil pour le fichier synopsis.

23/12/2018, 02h50
N_BaH

Bonjour,

Citation:

Après avoir récupéré le code de la page en html dans un fichier .txt

:weird: pourquoi ne pas garder l'extension html ?

peu importe.
n'essaye pas de tri/orturer du html en shell, c'est une perte de temps inutile; utilise tout de suite python et beautifulsoup.
23/12/2018, 03h37
BufferBob

salut,

Citation:

Envoyé par Chadoxis

Existe-t-il un meilleur moyen de faire cela sans passer par des fichier temporaire ?

rien ne t'oblige à stocker le résultat de tes manips dans des fichiers, donc oui très certainement, et même possiblement tout faire en une seule commande et sans aucun fichier

tu peux donner une url allocine pour l'exemple stp ?
23/12/2018, 12h54
Chadoxis

Merci de vos réponses,

Citation:

n'essaye pas de tri/orturer du html en shell, c'est une perte de temps inutile; utilise tout de suite python et beautifulsoup.

En fait je suis obligée de le faire en .sh d'après mon énoncé, sinon je l'aurai fait sur python que je maitrise bien mieux

Citation:

rien ne t'oblige à stocker le résultat de tes manips dans des fichiers, donc oui très certainement, et même possiblement tout faire en une seule commande et sans aucun fichier

Je me doute bien que je ne suis pas obligée, mais avec le fonctionnement de grep sed et cut je n'arrive pas à les récupérer dans le même fichier dans l'ordre. C'est à dire que je pourrais mettre les synopsis dans le fichier titre, mais ils serais alors à la suite au lieu d'intercaler un titre et le synopsis correspondant.

url : http://www.allocine.fr/film/agenda/sem-2018-12-19/
23/12/2018, 15h57
N_BaH

alors, commence par le début : comment lire un fichier en shell

et puis sed est un vrai langage, pas une simple commande.
d'ailleurs quand tu vois qu'une commande est pipée vers une autre instance d'elle-même, c'est qu'il y a quelque chose qui ne va pas.

avant de coder, il faut rédiger un algorithme, qui servira de base aux commentaires qui doivent figurer dans un script.
23/12/2018, 17h06
Chadoxis

Je ne comprends pas trop, il faut savoir que je suis vraiment débutante en codage, et mon fichier html (ou txt) est obtenu à l'aide d'un curl, donc il fait 6000 lignes et est absolument imbuvable.

Bonjour :coucou:

Citation:

Envoyé par Chadoxis

En fait je suis obligée de le faire en .sh d'après mon énoncé,

Et ben alors ? Ce sont les professeurs qui demandent de piller allo-ciné ?
C'est pas bien, ça.

Et perl ? Tu as le droit à Perl ?
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 $ wget -q -O - http://www.allocine.fr/film/agenda/sem-2018-12-19/ | sed -n '/class="meta-title-link"/s/.*">$.*$<.*/\1/p' Le Retour de Mary Poppins Aquaman L'Empereur de Paris Le Gendre de ma vie Wildlife - Une saison ardente Maya The Happy Prince The Bookshop Grass Mon père Basquiat, un adolescent à New York L'Oeil du tigre La Huitième femme de Barbe Bleue New York 1997 Le Petit monde de Bahador De boue Sonar
A toi d'adapter.

23/12/2018, 19h51
CosmoKnacki

T'as le droit d'utiliser tidy et xsltproc (outils en ligne de commande mais pas forcément installés de base)?
23/12/2018, 22h23
Chadoxis

Citation:

Et perl ? Tu as le droit à Perl ?

Euuuh perl ?

En fait ton code fait ce que je faisais déjà mais en mieux :p ! Moi j'aimerais réussir à extraire les titres ET les synopsis sans passer par des fichiers temporaires.

Et je n'ai toujours pas la moindre piste concernant la récupération des images..

Merci d'avance pour votre aide.

Citation:

T'as le droit d'utiliser tidy et xsltproc (outils en ligne de commande mais pas forcément installés de base)?

Je ne sais pas de tout ce que tu entends par là, je dois coder un fichier tp.sh qui fait des trucs sur des sites...
23/12/2018, 22h41
N_BaH

pourquoi aurais-tu le droit d'utiliser perl, alors que tu ne peux pas utiliser python ? :weird:

déjà, sed, moi, je trouve ça limite... :aie: pour un travail à faire en shell. :lefou:
bien sûr, je plaisante, là.

tidy, entre autres choses, te permet de transformer un fichier html en xml, et xsltproc permet de transformer du xml à l'aide d'une feuille de style XSLT, en absolument n'importe quoi (comme le résultat final en html de tes rêves). En fait, pour tout dire, utiliser une approche textuelle pour extraire des informations ou éditer un des données formatées est une mauvaise pratique (La bonne étant d'utiliser l'outil à même de pouvoir exploiter le format en question). Maintenant, il est possible qu'on te demande de faire ça avec des manipulations de chaînes à base de cut et de sed à des fins d'entraînement, mais il est clair que ce n'est pas la bonne méthode. Le langage html a une syntaxe très flexible et de par cette flexibilité il peut très facilement mettre en défaut une approche basée sur une lecture ligne par ligne (par exemple une balise peut s'étendre sur autant de ligne que l'on veut) ou sur la reconnaissance de séquences de caractères (l'ordre des attributs d'une balise n'a aucune importance en html).

Sous debian et dérivées, tu peux installer tidy et xsltproc en faisant:

Code:

sudo apt-get install xsltproc tidy

Tu dois ensuite créer une feuille de style XSLT (XSLT est plus déconcertant que difficile -> tutoriels: developpez.com, zvon.org, univ-lille3.fr) dans un fichier, disons Allo.xsl:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 <?xml version="1.0" encoding="utf-8"?> <xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform"> <xsl:output indent="yes" omit-xml-declaration="yes"/> <xsl:template match="node()"> <xsl:apply-templates/> </xsl:template> <xsl:template match="/"> <xsl:text disable-output-escaping="yes"><!DOCTYPE html> </xsl:text> <html><head><meta charset="utf-8"/></head> <body><ul> <xsl:apply-templates/> </ul></body> </html> </xsl:template> <xsl:template match="html/body/main/div//ul"> <xsl:for-each select="li[@class='mdl']"> <li> <h2><xsl:value-of select="normalize-space(.//a[@class='meta-title-link'])"/></h2> <p class="synopsis"> <xsl:value-of select=".//div[@class='synopsis']/div"/> </p> <xsl:text disable-output-escaping="yes"><img src="</xsl:text> <xsl:choose> <xsl:when test="./div/figure/span/img[@class='thumbnail-img'][@data-src]"> <xsl:value-of select=".//div/figure/span/img[@class='thumbnail-img']/@data-src"/> </xsl:when> <xsl:otherwise> <xsl:value-of select=".//div/figure/span/img[@class='thumbnail-img']/@src"/> </xsl:otherwise> </xsl:choose> <xsl:text disable-output-escaping="yes">"/></xsl:text> </li> </xsl:for-each> </xsl:template> </xsl:stylesheet>
(Il n'est pas impossible que ce code soit complètement nul, donc au besoin n'hésite pas à voir les personnes vraiment compétentes sur ce sujet précis dans le sous-forum XSL/XSLT/XPATH pour l'améliorer.)

Ensuite dans ton code bash tu n'as qu'à insérer:

Code:

xsltproc Allo.xsl <(tidy -ni -q --show-errors 0 --doctype omit --output-xml 1 Allocine.html) > resultat.html

(Allocine.html est le code de la page des films actuellement en salles).

Si tu veux télécharger les aperçus d'affiches de film, tu peux créer un autre fichier xsl pour récupérer toutes les url des images pour ensuite les passer à wget, puis modifier le précédent fichier xsl afin que les attributs src pointent sur le chemin local où elles sont enregistrées.

NB: xsltproc ne supporte que XSLT version 1.0, mais si tu disposes ou installe saxon-b qui est un autre processeur XSLT (sudo apt-get install libsaxonb-java), tu peux utiliser XSLT version 2.0, or en version 2.0, il est possible de créer plusieurs fichiers avec une seule feuille de style (soit le fichier avec le résultat html et le fichier contenant les urls des images à télécharger).

en une commande, juste pour la frime parce qu'en pratique comme ça a déjà été dit parser du contenu html sans au minimum un outil ou une lib spécialisée c'est ni pratique ni très robuste/fiable, et qu'en prime ici le couple d'options grep -P/-z est noté "highly experimental" dans la doc de grep :

Code:

curl | grep -Poz "meta-title-link.+?fichefilm_gen.+?>\K.+?(?=</a>)|(?s)img class=.thumbnail-img.+?src=.\Khttp.+?(?=\" alt=.Bande-annonce)|<div class=\"content-txt \">[\s\n]+\K.+?(?=\n.*?</div>)"

et l'output :
Code:

1 2 3 4 5 6 7 8 9 http://fr.web.img4.acsta.net/c_215_290/pictures/18/11/14/09/38/3191210.jpg Le Retour de Mary Poppins Michael et Jane sont désormais adultes. Michael vit sur Cherry Tree Lane avec ses trois enfants et leur gouvernante, Ellen. Lorsque celui-ci perd un proche, Mary Poppins, l’énigmatique nounou, réapparaît dans la vie de la famille Banks. http://fr.web.img2.acsta.net/c_215_290/pictures/18/12/13/12/12/2738771.jpg Aquaman Les origines d’un héros malgré lui, dont le destin est d’unir deux mondes opposés, la terre et la mer.*Cette histoire épique est celle d’un homme ordinaire destiné à devenir le roi des Sept Mers. http://fr.web.img6.acsta.net/c_215_290/pictures/18/11/15/16/35/0321684.jpg L'Empereur de Paris ...

Aussi, juste pour la frime, TOUT en built-in bash (pas de sed, pas de curl, pas de wget,...) :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
#!/bin/bash
_get () 
{
    IFS=/ read proto z host query <<< "$1";
    exec 3< /dev/tcp/$host/80;
    {
        echo GET /$query HTTP/1.1;
        echo connection: close;
        echo host: $host;
        echo
    } 1>&3;
    while read line; do
        echo "$line";
    done 0<&3
}
XX="img class=.thumbnail-img.*alt=.Bande-annonce"
YY="meta-title-link.*fichefilm_gen.*"
ZZ1='<div class="content-txt'
ZZ2='</div>'
flag=0
_get http://www.allocine.fr/film/agenda/sem-2018-12-19/ | while read line
do
        [[ "$line" =~ $XX ]] && z=${line/*http/http} && z=${z/jpg*/jpg} && echo Image: $z
        [[ "$line" =~ $YY ]] && IFS=\> read z z <<<$line && echo Titre: ${z/<\/a/}
        [[ "$line" =~ $ZZ1 ]] && flag=1 && echo "Synopsis:" && while [[ $flag -ne 0 ]]
        do read line
                [[ "$line" =~ $ZZ2 ]] && flag=0 || echo $line
        done
done

Exemple de résultat:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
Image: http://fr.web.img4.acsta.net/c_215_290/pictures/18/11/14/09/38/3191210.jpg
Titre: Le Retour de Mary Poppins
Synopsis:
 
Michael et Jane sont désormais adultes. Michael vit sur Cherry Tree Lane avec ses trois enfants et leur gouvernante, Ellen. Lorsque celui-ci perd un proche, Mary Poppins, l’énigmatique nounou, réapparaît dans la vie de la famille Banks.
 
Image: http://fr.web.img2.acsta.net/c_215_290/pictures/18/12/13/12/12/2738771.jpg
Titre: Aquaman
Synopsis:
 
Les origines d’un héros malgré lui, dont le destin est d’unir deux mondes opposés, la terre et la mer.*Cette histoire épique est celle d’un homme ordinaire destiné à devenir le roi des Sept Mers.
 
Image: http://fr.web.img6.acsta.net/c_215_290/pictures/18/11/15/16/35/0321684.jpg
Titre: L'Empereur de Paris
Synopsis:
 
Sous le règne de Napoléon, François Vidocq, le seul homme à s'être échappé des plus grands bagnes du pays, est une légende des bas-fonds parisiens. Laissé pour mort après sa dernière évasion spectaculaire, l'ex-bagnard essaye de se faire oublier sous les traits d'un simple commerçant.
 
Image: http://fr.web.img3.acsta.net/c_215_290/pictures/18/10/24/09/32/3261460.jpg
Titre: Le Gendre de ma vie
Synopsis:
 
Stéphane et Suzanne sont parents de trois jeunes femmes, le tableau peut sembler idéal mais Stéphane n’a jamais eu de fils et a toujours rêvé d’en avoir. Pour combler cette frustration, il s’accapare ses gendres et en tombe plus vite amoureux que ses filles.*
 
Image: http://fr.web.img6.acsta.net/c_215_290/pictures/18/11/09/15/18/1070330.jpg
Titre: Wildlife - Une saison ardente
Synopsis:
 
Dans les années 60, Joe, un adolescent de 14 ans regarde, impuissant, ses parents s’éloigner l’un de l’autre.*Leur séparation marquera la fin de son enfance.

Bonnes Fếtes à tous.

27/12/2018, 16h59
Chadoxis

Citation:

24/12/2018, 00h52
BufferBob
en une commande, juste pour la frime parce qu'en pratique comme ça a déjà été dit parser du contenu html sans au minimum un outil ou une lib spécialisée c'est ni pratique ni très robuste/fiable, et qu'en prime ici le couple d'options grep -P/-z est noté "highly experimental" dans la doc de grep :

Existe un-t-il un moyen de faire ça en modifiant mon code ? PArce que je ne pense pas que piquer un bout de code sans le comprendre soit très bénéfique pour moi...

En fait j'utilise plusieurs appels à sed parce que j'ai pas trouvé comment faire un ET en sed, du style garder toutes les lignes entre balise1 et balise2 ET toutes les lignes entre balise3 et balise4 ?
27/12/2018, 17h36
Flodelarab

Citation:

Envoyé par Chadoxis

PArce que je ne pense pas que piquer un bout de code sans le comprendre soit très bénéfique pour moi...

Et oui, il faut étudier.
Étudier la documentation, étudier les propositions, comprendre pourquoi ça marche et voir ce que tu veux faire toi.

Mais nous, nous ne pouvons pas travailler à ta place.

L'incompréhension des lignes de commande n'est pas une fatalité.
Il faut étudier.

Courage ! :ccool: