[bash]Traitement d'un fichier txt/html

**Chadoxis** · 22/12/2018, 22h51

Bonsoir à tous,

Je cherche à extraire plusieurs informations d'un site (dans mon exemple Allociné).

Après avoir récupéré le code de la page en html dans un fichier .txt je souhaite en extraire plusieurs informations : titres, notes synopsis et images pour à terme en refaire un fichier html (sans css derrière)
J'ai cependant 2 problèmes majeurs :
- comment extraire les images correspondantes aux films ? Pour ça je n'ai pas la moindre idée en dépit de mes recherches sur internet.
- pour le moment j'ai réussi à extraire les titres et les synopsis des films, mais dans deux fichiers différents que je dois ensuite concaténer en un seul et je trouve ça lourd. Existe-t-il un meilleur moyen de faire cela sans passer par des fichier temporaire ?

Merci d'avance pour votre aide et ci-dessous mon code pour les titres et synopsis :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
egrep meta-title-link Alloci*.txt | grep "<a" | cut -d\> -f2 | cut -d\< -f1 | sed -re "s/'/\'/g" > SUPER_TITRES.txt
sed -n '/<div class="content-txt ">/,/<div class="rating-holder">/p' Alloci*.txt | sed '/</d' | sed 's/^[ \t]*//;s/[ \t]*$//' | sed '/^$/d' > GENIAL_SYNOPSIS.txt
 
nb=$(echo $(echo `wc -l SUPER_TITRES.txt`) | cut -d' ' -f1)
for (( i=1; i<=$nb; i++));
do
	ligne=$i
	titre=`sed -n ${ligne}p SUPER_TITRES.txt`
	desc=`sed -n ${ligne}p GENIAL_SYNOPSIS.txt`
	echo "$titre" >> NUL.html
	echo " " >> NUL.html
	echo "$desc" >> NUL.html
	echo " " >> NUL.html
done

Le fichier titres ne contient que les titres l'un en dessous de l'autre et pareil pour le fichier synopsis.

**N_BaH** · 23/12/2018, 02h50

Bonjour,

Après avoir récupéré le code de la page en html dans un fichier .txt

pourquoi ne pas garder l'extension html ?

peu importe.
n'essaye pas de tri/orturer du html en shell, c'est une perte de temps inutile; utilise tout de suite python et beautifulsoup.

**BufferBob** · 23/12/2018, 03h37

salut,

Envoyé par Chadoxis

Existe-t-il un meilleur moyen de faire cela sans passer par des fichier temporaire ?

rien ne t'oblige à stocker le résultat de tes manips dans des fichiers, donc oui très certainement, et même possiblement tout faire en une seule commande et sans aucun fichier

tu peux donner une url allocine pour l'exemple stp ?

**Chadoxis** · 23/12/2018, 12h54

Merci de vos réponses,

n'essaye pas de tri/orturer du html en shell, c'est une perte de temps inutile; utilise tout de suite python et beautifulsoup.

En fait je suis obligée de le faire en .sh d'après mon énoncé, sinon je l'aurai fait sur python que je maitrise bien mieux

rien ne t'oblige à stocker le résultat de tes manips dans des fichiers, donc oui très certainement, et même possiblement tout faire en une seule commande et sans aucun fichier

Je me doute bien que je ne suis pas obligée, mais avec le fonctionnement de grep sed et cut je n'arrive pas à les récupérer dans le même fichier dans l'ordre. C'est à dire que je pourrais mettre les synopsis dans le fichier titre, mais ils serais alors à la suite au lieu d'intercaler un titre et le synopsis correspondant.

url : http://www.allocine.fr/film/agenda/sem-2018-12-19/

**N_BaH** · 23/12/2018, 15h57

alors, commence par le début : comment lire un fichier en shell

et puis sed est un vrai langage, pas une simple commande.
d'ailleurs quand tu vois qu'une commande est pipée vers une autre instance d'elle-même, c'est qu'il y a quelque chose qui ne va pas.

avant de coder, il faut rédiger un algorithme, qui servira de base aux commentaires qui doivent figurer dans un script.

**Chadoxis** · 23/12/2018, 17h06

Je ne comprends pas trop, il faut savoir que je suis vraiment débutante en codage, et mon fichier html (ou txt) est obtenu à l'aide d'un curl, donc il fait 6000 lignes et est absolument imbuvable.

**Flodelarab** · 23/12/2018, 18h25

Bonjour

Envoyé par Chadoxis

En fait je suis obligée de le faire en .sh d'après mon énoncé,

Et ben alors ? Ce sont les professeurs qui demandent de piller allo-ciné ?
C'est pas bien, ça.

Et perl ? Tu as le droit à Perl ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
$ wget -q -O - http://www.allocine.fr/film/agenda/sem-2018-12-19/ | sed -n '/class="meta-title-link"/s/.*">\(.*\)<.*/\1/p'
Le Retour de Mary Poppins
Aquaman
L'Empereur de Paris
Le Gendre de ma vie
Wildlife - Une saison ardente
Maya
The Happy Prince
The Bookshop
Grass
Mon père
Basquiat, un adolescent à New York
L'Oeil du tigre
La Huitième femme de Barbe Bleue
New York 1997
Le Petit monde de Bahador
De boue
Sonar

A toi d'adapter.

**CosmoKnacki** · 23/12/2018, 19h51

T'as le droit d'utiliser tidy et xsltproc (outils en ligne de commande mais pas forcément installés de base)?

**Chadoxis** · 23/12/2018, 22h23

Et perl ? Tu as le droit à Perl ?

Euuuh perl ?

En fait ton code fait ce que je faisais déjà mais en mieux :p ! Moi j'aimerais réussir à extraire les titres ET les synopsis sans passer par des fichiers temporaires.

Et je n'ai toujours pas la moindre piste concernant la récupération des images..

Merci d'avance pour votre aide.

T'as le droit d'utiliser tidy et xsltproc (outils en ligne de commande mais pas forcément installés de base)?

Je ne sais pas de tout ce que tu entends par là, je dois coder un fichier tp.sh qui fait des trucs sur des sites...

**N_BaH** · 23/12/2018, 22h41

pourquoi aurais-tu le droit d'utiliser perl, alors que tu ne peux pas utiliser python ?

déjà, sed, moi, je trouve ça limite...

pour un travail à faire en shell.

bien sûr, je plaisante, là.

**CosmoKnacki** · 23/12/2018, 23h53

tidy, entre autres choses, te permet de transformer un fichier html en xml, et xsltproc permet de transformer du xml à l'aide d'une feuille de style XSLT, en absolument n'importe quoi (comme le résultat final en html de tes rêves). En fait, pour tout dire, utiliser une approche textuelle pour extraire des informations ou éditer un des données formatées est une mauvaise pratique (La bonne étant d'utiliser l'outil à même de pouvoir exploiter le format en question). Maintenant, il est possible qu'on te demande de faire ça avec des manipulations de chaînes à base de cut et de sed à des fins d'entraînement, mais il est clair que ce n'est pas la bonne méthode. Le langage html a une syntaxe très flexible et de par cette flexibilité il peut très facilement mettre en défaut une approche basée sur une lecture ligne par ligne (par exemple une balise peut s'étendre sur autant de ligne que l'on veut) ou sur la reconnaissance de séquences de caractères (l'ordre des attributs d'une balise n'a aucune importance en html).

Sous debian et dérivées, tu peux installer tidy et xsltproc en faisant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sudo apt-get install xsltproc tidy

Tu dois ensuite créer une feuille de style XSLT (XSLT est plus déconcertant que difficile -> tutoriels: developpez.com, zvon.org, univ-lille3.fr) dans un fichier, disons Allo.xsl:

Code xml :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
<?xml version="1.0" encoding="utf-8"?>
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
<xsl:output indent="yes" omit-xml-declaration="yes"/>
 
<xsl:template match="node()">
    <xsl:apply-templates/>
</xsl:template>
 
<xsl:template match="/">
    <xsl:text disable-output-escaping="yes">&lt;!DOCTYPE html&gt;
</xsl:text>
    <html><head><meta charset="utf-8"/></head>
    <body><ul> <xsl:apply-templates/> </ul></body>
    </html>
</xsl:template>
 
<xsl:template match="html/body/main/div//ul">
    <xsl:for-each select="li[@class='mdl']">
    <li>
        <h2><xsl:value-of select="normalize-space(.//a[@class='meta-title-link'])"/></h2>
        <p class="synopsis"> <xsl:value-of select=".//div[@class='synopsis']/div"/> </p>
        <xsl:text disable-output-escaping="yes">&lt;img src="</xsl:text>
        <xsl:choose>
            <xsl:when test="./div/figure/span/img[@class='thumbnail-img'][@data-src]">
                <xsl:value-of select=".//div/figure/span/img[@class='thumbnail-img']/@data-src"/>
            </xsl:when>
            <xsl:otherwise>
                <xsl:value-of select=".//div/figure/span/img[@class='thumbnail-img']/@src"/>
            </xsl:otherwise>
        </xsl:choose>
        <xsl:text disable-output-escaping="yes">"/&gt;</xsl:text>
    </li>
 
    </xsl:for-each>
</xsl:template>
 
</xsl:stylesheet>

(Il n'est pas impossible que ce code soit complètement nul, donc au besoin n'hésite pas à voir les personnes vraiment compétentes sur ce sujet précis dans le sous-forum XSL/XSLT/XPATH pour l'améliorer.)

Ensuite dans ton code bash tu n'as qu'à insérer:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

xsltproc Allo.xsl <(tidy -ni -q --show-errors 0 --doctype omit --output-xml 1 Allocine.html) > resultat.html

(Allocine.html est le code de la page des films actuellement en salles).

Si tu veux télécharger les aperçus d'affiches de film, tu peux créer un autre fichier xsl pour récupérer toutes les url des images pour ensuite les passer à wget, puis modifier le précédent fichier xsl afin que les attributs src pointent sur le chemin local où elles sont enregistrées.

NB: xsltproc ne supporte que XSLT version 1.0, mais si tu disposes ou installe saxon-b qui est un autre processeur XSLT (sudo apt-get install libsaxonb-java), tu peux utiliser XSLT version 2.0, or en version 2.0, il est possible de créer plusieurs fichiers avec une seule feuille de style (soit le fichier avec le résultat html et le fichier contenant les urls des images à télécharger).

**BufferBob** · 24/12/2018, 00h52

en une commande, juste pour la frime parce qu'en pratique comme ça a déjà été dit parser du contenu html sans au minimum un outil ou une lib spécialisée c'est ni pratique ni très robuste/fiable, et qu'en prime ici le couple d'options grep -P/-z est noté "highly experimental" dans la doc de grep :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

curl | grep -Poz "meta-title-link.+?fichefilm_gen.+?>\K.+?(?=</a>)|(?s)img class=.thumbnail-img.+?src=.\Khttp.+?(?=\" alt=.Bande-annonce)|<div class=\"content-txt \">[\s\n]+\K.+?(?=\n.*?</div>)"

et l'output :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
http://fr.web.img4.acsta.net/c_215_290/pictures/18/11/14/09/38/3191210.jpg
Le Retour de Mary Poppins
Michael et Jane sont désormais adultes. Michael vit sur Cherry Tree Lane avec ses trois enfants et leur gouvernante, Ellen. Lorsque celui-ci perd un proche, Mary Poppins, l’énigmatique nounou, réapparaît dans la vie de la famille Banks.
http://fr.web.img2.acsta.net/c_215_290/pictures/18/12/13/12/12/2738771.jpg
Aquaman
Les origines d’un héros malgré lui, dont le destin est d’unir deux mondes opposés, la terre et la mer.*Cette histoire épique est celle d’un homme ordinaire destiné à devenir le roi des Sept Mers.
http://fr.web.img6.acsta.net/c_215_290/pictures/18/11/15/16/35/0321684.jpg
L'Empereur de Paris
...

**disedorgue** · 24/12/2018, 16h08

Aussi, juste pour la frime, TOUT en built-in bash (pas de sed, pas de curl, pas de wget,...) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
#!/bin/bash
_get () 
{
    IFS=/ read proto z host query <<< "$1";
    exec 3< /dev/tcp/$host/80;
    {
        echo GET /$query HTTP/1.1;
        echo connection: close;
        echo host: $host;
        echo
    } 1>&3;
    while read line; do
        echo "$line";
    done 0<&3
}
XX="img class=.thumbnail-img.*alt=.Bande-annonce"
YY="meta-title-link.*fichefilm_gen.*"
ZZ1='<div class="content-txt'
ZZ2='</div>'
flag=0
_get http://www.allocine.fr/film/agenda/sem-2018-12-19/ | while read line
do
        [[ "$line" =~ $XX ]] && z=${line/*http/http} && z=${z/jpg*/jpg} && echo Image: $z
        [[ "$line" =~ $YY ]] && IFS=\> read z z <<<$line && echo Titre: ${z/<\/a/}
        [[ "$line" =~ $ZZ1 ]] && flag=1 && echo "Synopsis:" && while [[ $flag -ne 0 ]]
        do read line
                [[ "$line" =~ $ZZ2 ]] && flag=0 || echo $line
        done
done

Exemple de résultat:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
Image: http://fr.web.img4.acsta.net/c_215_290/pictures/18/11/14/09/38/3191210.jpg
Titre: Le Retour de Mary Poppins
Synopsis:
 
Michael et Jane sont désormais adultes. Michael vit sur Cherry Tree Lane avec ses trois enfants et leur gouvernante, Ellen. Lorsque celui-ci perd un proche, Mary Poppins, l’énigmatique nounou, réapparaît dans la vie de la famille Banks.
 
Image: http://fr.web.img2.acsta.net/c_215_290/pictures/18/12/13/12/12/2738771.jpg
Titre: Aquaman
Synopsis:
 
Les origines d’un héros malgré lui, dont le destin est d’unir deux mondes opposés, la terre et la mer.*Cette histoire épique est celle d’un homme ordinaire destiné à devenir le roi des Sept Mers.
 
Image: http://fr.web.img6.acsta.net/c_215_290/pictures/18/11/15/16/35/0321684.jpg
Titre: L'Empereur de Paris
Synopsis:
 
Sous le règne de Napoléon, François Vidocq, le seul homme à s'être échappé des plus grands bagnes du pays, est une légende des bas-fonds parisiens. Laissé pour mort après sa dernière évasion spectaculaire, l'ex-bagnard essaye de se faire oublier sous les traits d'un simple commerçant.
 
Image: http://fr.web.img3.acsta.net/c_215_290/pictures/18/10/24/09/32/3261460.jpg
Titre: Le Gendre de ma vie
Synopsis:
 
Stéphane et Suzanne sont parents de trois jeunes femmes, le tableau peut sembler idéal mais Stéphane n’a jamais eu de fils et a toujours rêvé d’en avoir. Pour combler cette frustration, il s’accapare ses gendres et en tombe plus vite amoureux que ses filles.*
 
Image: http://fr.web.img6.acsta.net/c_215_290/pictures/18/11/09/15/18/1070330.jpg
Titre: Wildlife - Une saison ardente
Synopsis:
 
Dans les années 60, Joe, un adolescent de 14 ans regarde, impuissant, ses parents s’éloigner l’un de l’autre.*Leur séparation marquera la fin de son enfance.

Bonnes Fếtes à tous.

**Chadoxis** · 27/12/2018, 16h59

24/12/2018, 00h52
BufferBob
en une commande, juste pour la frime parce qu'en pratique comme ça a déjà été dit parser du contenu html sans au minimum un outil ou une lib spécialisée c'est ni pratique ni très robuste/fiable, et qu'en prime ici le couple d'options grep -P/-z est noté "highly experimental" dans la doc de grep :

Existe un-t-il un moyen de faire ça en modifiant mon code ? PArce que je ne pense pas que piquer un bout de code sans le comprendre soit très bénéfique pour moi...

En fait j'utilise plusieurs appels à sed parce que j'ai pas trouvé comment faire un ET en sed, du style garder toutes les lignes entre balise1 et balise2 ET toutes les lignes entre balise3 et balise4 ?

**Flodelarab** · 27/12/2018, 17h36

Envoyé par Chadoxis

PArce que je ne pense pas que piquer un bout de code sans le comprendre soit très bénéfique pour moi...

Et oui, il faut étudier.
Étudier la documentation, étudier les propositions, comprendre pourquoi ça marche et voir ce que tu veux faire toi.

Mais nous, nous ne pouvons pas travailler à ta place.

L'incompréhension des lignes de commande n'est pas une fatalité.
Il faut étudier.

Courage !

[bash]Traitement d'un fichier txt/html

Shell et commandes GNU

Discussions similaires

Partager

Partager