construction d'expressions regulieres des urls

Version imprimable

14/09/2010, 12h46
neila_ayari

construction d'expressions regulieres des urls

Bonjour a tous,
j'aimerai construire des expressions regulieres en entrant une liste des urls d'un meme site.
donc comme entrée j'ai la listes des urls et la sortie c'est les expresions reguliers.
y 'a t'il quelqu'un qui peut m'aider
merci d'avance pour tte aide
14/09/2010, 15h17
eyquem

Bonjour,

Je veux bien t’aider mais la formulation de ton problème ne me permet pas de comprendre ce que tu veux.

Citation:

la listes des urls d'un meme site

C’est à dire ?

Citation:

et la sortie c'est les expresions reguliers

Et elles sont censées permettre de faire quoi ces expressions régulières déduites ?
16/09/2010, 10h31
neila_ayari

Bonjour,
merci bcp eyquem pour votre aide.
je vous explique tt mon projet, au faite,par exemple dans le site www.yahoo.fr il y a bcp des séquences vidéos, moi je veux extraire les urls de ces séquences sans les ouvrir,c'est la première tache du projet et par la suite en sachant tous ces urls je veux construire son regex.
pour le moment j m'intéresse au regex en entrant par exepmle 4 ou 5 urls des séquences vidéos d'un meme site et j'aurai comme sortie son regex.j sais pas quel langa je vais utiliser et comment en faire
merci d'avance pour l'aide
16/09/2010, 12h31
eyquem

Bon, je ne suis toujours pas sûr de ce qu’il faut comprendre comme objectif, mais il n’y a qu’à se lancer.

Puisque tu n’es pas fixé(e) sur le langage, cela veut dire que tu n’as pas d’exigence précise sur ce point.
Personnellement, j’utilise Python que je connais relativement bien. Je te propose donc d’installer Python 2.7 (c’est la version que j’utilise) et qu’on écrive ton code tous les deux.

J’estime que Python est parfaitement adapté à ce que tu veux faire, d’ailleurs il est adapté pour presque tout, et tu verras avec quelle facilité le code s’écrira. J’ai déjà fait le même genre de programme que ce que tu veux faire.

Si ça te dit de faire ainsi, il suffit d’aller sur
http://www.python.org/download/
de télécharger et d’installer Python 2.7 (c’est la version que j’utilise). Personnellement, sur une machine Windows, ceci prend moins de 10 minutes.
Sinon, avec un autre langage, je ne pourrai t’aider qu’au niveau de l’écriture d’une RE.

Pour la suite, je voudrais savoir sur quel SO tu es: Windows, Mac , Linux ....?
16/09/2010, 12h47
neila_ayari

merci eyquem,moi j'utilise ubuntu 10 et concernant python j l'ai jamais utiliser mais s'il me permet d'en faire et avec votre aide, si vous voulez bien sur,j commence l'essai.
j'attend votre réponse s'il vous plait c tres urgent
merci infiniment une autre fois
16/09/2010, 13h13
neila_ayari

j'ai vérifié que python est installé sur ma machine et sa version est 2.6.2

Ah oui, dans les distributions Linux, Python est intégré de base, c’est vrai, je n’y pensais plus, car moi je suis sur Windows.
Donc on va faire avec Python 2.6.2, je pense pas que ça occasionne de problèmes.
Mais il pourra y avoir des différences à cause de Windows / Linux. Signale le quand ce sera le cas.

Bon, la première chose à faire c’est de créer un fichier dans lequel on écrira le script.

Sur Windows, il faut faire:

- Démarrer / Programmes / Python 2.7 / IDLE (Python GUI)

- ça ouvre une fenêtre avec une barre bleu en haut dans laquelle est écrit un logo rouge et “Untitled“, et en dessous une barre de commandes
File Edit Format Run Options Windows Help

- cliquer sur Options / Configure IDLE... / onglet General

- dans la rubrique Startup Preferences, cocher Open Edit Window

- faire Apply puis OK

Puis faire:

- Edit / Save As...

- sauvegarder le fichier (pour le moment il est vide) dans le dossier de ton choix sur ton ordinateur.
Personnellement j’enregistre mes fichiers dans un autre disque virtuel que C: après avoir fait un partitionnement du disque dur physique. Ainsi je peux réinstaller C: sans avoir me poser de questions sur les fichiers et dossiers que je veux conserver avant de faire la réinstallation.

- créer un raccourci vers le fichier que tu viens d’enregistrer ou vers le dossier qui le contient pour pouvoir l’ouvrir facilement ultérieurement.
Une autre possibilité sera de faire Démarrer / Programmes / Python 2.7 / IDLE (Python GUI) et ensuite File / Open puis se déplacer dans l’arborescence des dossiers

Ensuite,

- écris dans le fichier le code suivant:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 import urllib url = 'http://fr.yahoo.com/' sock = urllib.urlopen(url) ch_source = sock.read() sock.close() print 'NOMBRE DE CARACTERES DANS LE CODE SOURCE : ',len(ch_source) print '\n---------------------------------------------------------\n'\ "800 PREMIERS CARACTERES DU CODE SOURCE D'UN SEUL TENANT :\n" print repr(ch_source[0:800]) print '\n-------------------------------------------------------------\n'\ '800 PREMIERS CARACTERES DU CODE SOURCE PRESENTES PAR LIGNES :\n' li_source = ch_source[0:800].splitlines(1) for ligne in li_source: print repr(ligne)
- exécute par Run , ou Ctrl-F5

ch_source contient le code source de la page d’url fixée. C’est à dire une chaîne de caractères: un fichier est une succession continue de caractères. Parmi ces derniers, le caractère ’\n’ provoque un retour à la ligne quand la chaîne est affichée.

Un affichage est affectué par un moteur de rendu, qui interprète les caractères de mise en forme: les ’\n’, ’\t’, ’\r’, etc. Si on ne fait rien, une chaîne affichée est soumise à interprétation de ces caractères avant d’apparaître à l’ecran.

Dans Python, repr() est une fonction qui désactive l’interprétation des caractères spéciaux tels que ’\n’ . On l’utilise pour visualiser exactement le contenu d’une chaîne, c’est à dire les caractères précis qu’elle contient.

Le code source de la page d’url http://fr.yahoo.com/
fait dans les 135018 caractères.
Comme c’est très important, ch_source[0:800] découpe une tranche des 800 premiers caractères pour montrer un peu ce que ça donne.

sequ[n:m] signifie:
dans la séquence sequ, découper une tranche qui va de devant l’élément d’index n à devant l’élément d’index m.
sequ peut être une chaine, une liste, un tuple.....

Tu peux faire

Code:

print repr(ligne)[1:-1]

si tu veux afficher les lignes sans le ’ devant et le ’ à la fin de chaque ligne, qui sont les signes utilisés par repr() pour entourer le contenu de la chaîne qu’on veut afficher sans interprétation

splitlines est une méthode de chaîne:
ch.splitlines() renvoie une liste des lignes virtuellement contenues dans ch, c’est à dire que splitlines() splite la chaîne ch sur la base du caractère ’\n’

sur le split, cf

splitlines() ne conserve pas les caractères ’\n’

splitlines(True) ou splitlines(1) ou splitlines(8876) , c’est pareil, conservent les caractères ’\n’ dans les lignes découpées.

Je te suggère d’ouvrir une file dans le forum Python plutôt que de rester dans ce forum PHP.

Et tu peux me tutoyer, on est sur un forum et je ne me prends pas pour un ministre. :)

16/09/2010, 16h40
neila_ayari

d'accord :),
je sais pas si je dois installer un editeur de python sous ubunu ou j 'ecrit directement sur un fichier en utilisant le shell??
16/09/2010, 16h53
neila_ayari

j'ai installer le paquet wine qui permet d'executer les logiciels s'executant sous windows
en linux:)
j'ai ecrit le script et c'est bon j'ai comme resultat le code source :)
qu'est c que j dois faire apres?
16/09/2010, 17h34
eyquem

Citation:

je sais pas si je dois installer un editeur de python sous ubuntu

Je ne sais pas ce qu’il y a dans la suite Python intégrée de base dans Ubuntu.
Mais je serais bien étonné qu’il n’y ait pas l’IDE appelé IDLE.

C’est l’éditeur fourni de base avec Python. Il en existe de plus sophistiqués mais je me suis contenté de celui-ci jusqu’à présent. En suivant la procédure précédemment décrite
Démarrer / Programmes / Python 2.7 / IDLE (Python GUI)
c’est celui qui s’ouvre pour écrire les scripts en mode GUI sur mon ordi.

Ce mode GUI permet d’écrire soit en mode Edit , soit en mode Shell qui mime le comportement shell pur en ligne de commande. Le réglage de la config se fait dans Options / Configure IDLE.. comme je l’ai décrit.

Si tu veux enregistrer le travail que tu fais , il faut se mettre en mode GUI sous IDLE.

Et pour enregistrer un travail qui soit un script exécutable, il faut se placer en mode Edit du mode GUI de IDLE.

Python s’exécute sur toutes les plateformes. Ça m’étonne un peu que le paquet wine soit nécessaire. Je pense qu’il ne faut ce paquet wine que pour des logiciels qui ne sont pas prévus pour s’exécuter sur Linux.
C’est à toi de voir s’il te faut vraiment ce paquet wine

Citation:

qu'est ce que je dois faire après?

Eh bien , c’est là que commencent les joyeusetés.

Il faut analyser le code source, je veux dire on regarde dans le code source avec ses yeux, pour trouver les lignes dans lesquelles les vidéos sont repérées et comprendre de quelle façon est codé ce repérage.

Ensuite, il faudra écrire du code pour extraire les chaînes qui dans le code source sont ces adresses des vidéos.

Ensuite après, si j’ai bien compris, il faudra traiter ces adresses pour en extraire un motif commun. Je ne sais pas comment on va faire ça, je n’ai pas encore bien compris l’objectif final. Mais on va commencer par le commencement.

Je plonge dans le code source pour essayer de voir où il y a des références à des vidéos.

Il faut s’aider en faisant des “clic droit / Copier le raccourci“

Par exemple, sur une vidéo, ça me donne

http://fr.yahoo.com/_ylt=Aq9BhJ3TBTg...le-poteau.html

Il faut chercher cette référence dans le code source.

Lancer un Ctrl-F avec le mot "video" aussi sur le code source

Pour enregistrer le code source (non interprété) dans un fichier dans une présentation par lignes numérotées.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
import urllib
 
url = 'http://fr.yahoo.com/'
 
sock = urllib.urlopen(url)
ch_source = sock.read()
sock.close()
 
f = open('C:\\videos yahoo.txt','w')
f.write('\n'.join( str(n).rjust(3) + ' ' + repr(ligne)
                   for n,ligne in enumerate(ch_source.splitlines(1))  )  )
f.close()

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
import urllib
 
url = 'http://fr.yahoo.com/'
 
sock = urllib.urlopen(url)
ch_source = sock.read()
sock.close()
 
mot = 'video'
 
compteur = 0
for n,ligne in enumerate(ch_source.splitlines()):
    if mot in ligne:
        compteur += 1
        if len(ligne)<800:
            print 'Ligne numero ' + str(n) +\
                  '.  Cette ligne comporte ' + str(len(ligne)) + ' caracteres.\n'+\
                  '\n' + repr(ligne)
        else:
            print 'Ligne numero ' + str(n) +\
                  '.  Cette ligne comporte ' + str(len(ligne)) + ' caracteres.\n'\
                  '\nVoici les 400 premiers:\n' + repr(ligne)[0:400]+\
                  '\n\net voici les 400 derniers :\n' + repr(ligne)[-400:]
 
        print '----------------------------------------------------------------'
 
print "\n\nJ'ai trouve " + str(compteur)+ ' lignes contenant la chaine : ' + mot

Je m’absente. Je reviens ce soir.

Regarde:
Démarrer / programmes / Python 2.6.2 / Python Manuals

17/09/2010, 11h12
neila_ayari

bonjour,
je t'explique bien l'objectif de travail,au faite actuellemnt je fais l'extraction des urls des vidéos de chaque site manuellement (c tres couteux en terme de temps)en utilisant le plugin download helper de firefox car je dois prendre l'url exacte (de sa source) de vidéo et non pas celle écrite dans la barre d'url de firfox.par exemple avec download helper j'extrais cette url qui ne contient pas le mot vidéo http://www.putfile.nl/files/wmv/2132...1106213838.wmv alors qu'en haut de firefox s'ecrit une autre url celle de site contenant le vidéo et non pas la source exacte de vidéodonc.
moi je veux avoir l'adresse exacte mais avec download helper je n'aurai pas l'url que seulement lorsque j'ouvre le vidéo.
je crois on doit faire la recherche des liens hypertextes et selon l'extension
17/09/2010, 12h39
wiztricks

Questions.

Salut,

Il ne devrait pas être très compliqué(*) de récupérer les liens vers d'autres URL en filtrant les éléments LINK et Anchors. Après, il faut voir s'il est "suffisant" de trier en fonction du type "Mime" de l'extension de l'URL ou s'il faut faire un HEAD sur ces URL pour récupérer le Mime type dans le header content-type.

Par contre, je ne vois pas trop la relation avec la description initiale:

Citation:

j'aimerai construire des expressions regulieres en entrant une liste des urls d'un même site.
donc comme entrée j'ai la listes des urls et la sortie c'est les expressions reguliers.

Si Eyquem sèche:aie: je regarderais çà tantôt... Ca devrait être un bon exercice pour jouer un peu avec les "generators expressions".

- W
(*) Mais, il ne suffit pas de faire un http.get pour récupérer le contenu de la "page"
17/09/2010, 13h16
neila_ayari

je viens d'expliquer a eyquem tout le projet car par la suite je vais construire le regex des urls trouvées
17/09/2010, 13h32
wiztricks

Citation:

Envoyé par neila_ayari

je viens d'expliquer a eyquem tout le projet car par la suite je vais construire le regex des urls trouvées

le regex des urls trouvées!

C'est quoi ce dinosaure?
- W

Citation:

je fais l'extraction des urls des vidéos de chaque site manuellement (c tres couteux en terme de temps)en utilisant le plugin download helper de firefox car je dois prendre l'url exacte (de sa source) de vidéo et non pas celle écrite dans la barre d'url de firfox.par exemple avec download helper j'extrais cette url qui ne contient pas le mot vidéo http://www.putfile.nl/files/wmv/2132...1106213838.wmv alors qu'en haut de firefox s'ecrit une autre url celle de site contenant le vidéo et non pas la source exacte de vidéodonc.
moi je veux avoir l'adresse exacte mais avec download helper je n'aurai pas l'url que seulement lorsque j'ouvre le vidéo.

C’est confus mais ça confirme ce que je pensais depuis le début: il ne s’agit pas comme tu le disais dans le premier post d’obtenir des expressions réguliéres en sortie, mais des liens hyper-texte vers des videos.
Le plus adapté est effectivement de les attraper au moyen d’expresssions régulières.

Il ne s’agit donc pas de faire ceci:

Citation:

par la suite je vais construire le regex des urls trouvées

mais tout de suite d’établir les RE nécessaires à la capture des liens videos, et préalablement à cette capture.

Je ne pense pas qu’il y ait un format de lien standard pour les liens vers des videos, sur le web. Il va falloir analyser le code source de chaque site pour comprendre la structure des liens videos qui y sont pratiqués, afin de rédiger une RE particularisée pour chaque site/page.

Et même dans un site donné, les liens video ne sont pas tous semblables:
hier soir, avec le code suivant j’attrapais deux liens video, mais plus ce matin car il n’y a plus de videos sportives:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 import urllib,re url = 'http://fr.yahoo.com/' #url = 'http://fr.yahoo.com/?r0=1284719399' sock = urllib.urlopen(url) ch_source = sock.read() sock.close() RE = 'http://fr.sports.yahoo.com/video/\d+/\d+/.+?\.html"' pat = re.compile(RE) print pat.findall(ch_source)
Il va donc falloir analyser les codes sources pendant une période plus ou moins prolongée en accumulant peu à peu les expressions régulières détectant les liens video, avant d’atteindre une certaine exhaustivité de détection.
Mais ce sera toujours à la merci de changements mineurs / importants dans les liens utilisés par chaque site.

Ceci étant dit, je me casse les dents depuis un grand moment sur le site http://fr.yahoo.com/

Voici un code qui capte le code source d’une page et l’enregistre dans un fichier sous une forme devant faciliter l’analyse:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 import urllib url = 'http://fr.yahoo.com/' sock = urllib.urlopen(url) ch_source = sock.read() sock.close() lg = 50 with open('videos yaya.txt','w') as f: f.write('\n'.join( str(n).rjust(4) + ' ' + repr(ligne[0:lg]) + ('','\n')[len(ligne)>50]+\ '\n'.join( ' '+repr(ligne[j:j+lg]) for j in xrange(lg,len(ligne),lg) ) for n,ligne in enumerate(ch_source.splitlines(1) ) ) )
En allant sur la page http://fr.yahoo.com/ , il suffit d’extraire par “Copier le raccourci“ (clic droit) les liens des videos que l’on y trouve.

Présentement il s’agit de

http://fr.yahoo.com/_ylt=ApSLQuBjSXE...e-d34fe38.html

http://fr.yahoo.com/_ylt=AliRAVUfhZ0...n-d34fe38.html

http://fr.yahoo.com/_ylt=At8tSjIYSea...r-d34fe38.html

Quand je cherche ces liens dans le fichier du code capté, je ne trouve rien.

J’ai remplacé l’extension ’.txt’ du fichier par ’.html’ et j’ai cliqué dessus.
Ça m’affiche un truc qui est incomplet par rapport à la page http://fr.yahoo.com/
Je ne peux pas le copier dans ce post. Fais les manips en question.

Je n’ai pas encore compris ce qui se passe. Je vais laisser tomber l’ordi un moment jusqu’à ce soir.

Est-ce que tu peux donner les adresses des autres sites dont tu souhaites extraire les liens videos, stp.

17/09/2010, 16h40
neila_ayari

c tres gentil eyquem,
oui c tout a fait c que t'as dit et peut etre moi j'ai mal exprimé,
voici qlq sites q je vais utiliser:
atomfilms.com, guba.com ,vimeo.com
17/09/2010, 16h43
neila_ayari

eyquem j'ai trouvé sur le net le logiciel url snooper qui permet de capturer les urls des vidéos dans une page web mais j'ai trouvé des pbs dans sonutilisation, tjs il envoie des paquets mais sans reponse
17/09/2010, 16h45
wiztricks

Cher Eyquem,
Ton truc ne va pas marcher :cry:
- W
17/09/2010, 16h53
neila_ayari

wiztricks as tu une solution?
18/09/2010, 00h47
kango

Citation:

Envoyé par neila_ayari

j'ai installer le paquet wine qui permet d'executer les logiciels s'executant sous windows
en linux:)
j'ai ecrit le script et c'est bon j'ai comme resultat le code source :)

aaaaahhhhhhh j'ai perdu 3 dizièmes dans chaque oeil !!

désolé je n'ai pas résisté :mouarf:

bonsoir,

oui les phrases arrivent un peu dans le désordre mais je ne voulais pas paraître impoli.

tu as un éditeur de texte pas trop mal sur Ubuntu: gedit. Tu lances la commandes gedit dans un terminal :)

après tu peux installer les artilleries lourdes (eclypse+pydev, netbeans, ulipad...)

Salut,

Citation:

Envoyé par neila_ayari

wiztricks as tu une solution?

Si les informations que vous cherchez sont remontées dans la page, vous pouvez faire comme je l'ai raconté plus haut:

lecture de la page,
tri des urls qui vous intéressent,
mise en forme, affichage

Ensuite, il faut trouver la bibliothèque qui fasse le maximum de boulot afin d'avoir le moins de lignes à écrire.

Comme il falloir un peu plus que le contenu des balises "href" trouvées dans le HTML pour faire le tri et construire l'URL... Une bibliothèque sympa est mechanize - bon d'accord nous l'utilisons à minima -.

La mise en oeuvre de tout çà pour un site/url est 'straightforward':
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 #!/usr/bin/env python import os import mechanize as m #url = 'file://' + os.getcwd() + '/yahoo.html' url = 'http://fr.yahoo.com' def is_video(link): attrs = dict(link.attrs) return attrs['href'].find('video') >= 0 if 'href' in attrs else False br = m.Browser() # lecture de la page br.set_response(m.urlopen(url)) # tri des urls qui vous intéressent, links = (link for link in br.links() if is_video(link)) # mise en forme, affichage urls = [ link.url for link in links ] print '\n'.join([u for u in urls])
En sortie çà donne:
Code:

1 2 3 4 5 http://fr.video.search.yahoo.com/video http://fr.video.yahoo.com http://fr.news.yahoo.com/54/20100914/video/ven-a-c-est-du-strike-d34fe38.html http://fr.news.yahoo.com/54/20100914/video/ven-c-est-ce-qui-s-appelle-se-prendre-un-d34fe38.html http://fr.news.yahoo.com/54/20100913/video/ven-un-distributeur-automatique-bien-gnr-d34fe38.html
La fonction is_video demande sans doute à être revue pour filtrer les 2 URLs en trop.

Le traitement de chaque site demandera l'adaptation des opérations de la séquence - is_video est une de ces opérations.
La question suivante est comment 'spécialiser' les opérations, tout en gardant la même structure dans le cas plusieurs sites.
- W

Je n’ai pas laissé tomber ce sujet, mais j’ai buté sur un problème inédit: la capture du code source de la page http://fr.yahoo.com ne capture pas ce que je capture à la main par un "clic droit/ Afficher la source"

Quand la capture d’un code source par un programme marche, cela rend les choses assez simples.

Je prends par exemple le site http://www.toppeo.com/
Avec le code suivant, j’obtiens le code source sous une forme lisible:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 import urllib url = 'http://www.toppeo.com' sock = urllib.urlopen(url) ch_source = sock.read() sock.close() lg = 50 with open('videos toppeo.txt','w') as f: f.write('\n'.join( str(n).rjust(4) + ' ' + repr(ligne[0:lg]) + ('','\n')[len(ligne)>50]+\ '\n'.join( ' '+repr(ligne[j:j+lg]) for j in xrange(lg,len(ligne),lg) ) for n,ligne in enumerate(ch_source.splitlines(1) ) ) )
Sur la page http://www.toppeo.com/ , on fait ensuite "clic droit/ Copier le raccourci" sur une video
On le colle dans un fichier texte pour voir un peu comment se présente ce lien. Par exemple:
http://www.toppeo.com/video-b-soucis-faire-12894.html

On fait un Ctrl-F pour chercher ce lien dans le code source mis en fichier. On ne le trouve pas.
Mais en cherchant /video-b-soucis-faire-12894.html , on trouve deux occurences:

Citation:

172 '\t\t\t\t\t<a href="/video-b-soucis-faire-12894.html" cl'
'ass="image"><img src="/files/thumb_98e9c7b180ab97d'
'7756cd4e19bc360a3.jpg" width="133px" height="100px'
'" alt="B\xe9yonc\xe9 a du soucis a se faire ?" /></a>\r\n'
173 '\t\t\t\t\t<h2><a href="/video-b-soucis-faire-12894.html'
'">B\xe9yonc\xe9 a du soucis a se faire ?</a></h2>\r\n'

En répétant l’opération sur plusieurs liens videos dans la page http://www.toppeo.com/ , on ne trouve pas de format différent.
Les liens paraissent donc tous être contenus partiellement dans des balises <a href="......html"

Il suffit alors d'écrire une RE adaptée, et hop on chope tous les liens dans un code très court. Les liens étant présents deux fois, sur ce site, un petit traitement pour n’en retenir qu’un de chaque est nécessaire.

Il suffira ensuite d’ajouter http://www.toppeo.com devant chaque portion de lien trouvée pour obtenir un lien fonctionnel.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 import re,urllib RE ='<a href="(/[^"]+)(?<=\.html)' pat = re.compile(RE) url = 'http://www.toppeo.com' sock = urllib.urlopen(url) ch_source = sock.read() sock.close() li_href = [] for ma in pat.finditer(ch_source): gr = ma.group(1) if not gr in li_href: li_href.append(gr) print '\n'.join(li_href)
Code:

1 2 3 4 5 6 7 8 9 10 11 /video-un-qui-pleure-parce-que-12897.html /video-david-guetta-ren-taupe-12896.html /video-move-your-body-12895.html /video-b-soucis-faire-12894.html /video-sono-20000-watts-dans-une-voiture-12893.html /video-stationnement-serr-12892.html /video-zapping-septembre-2010-12891.html /video-policiers-frappent-homme-terre-12890.html /video-une-vache-prend-fuite-avant-son-sacrifice-12889.html /video-le-plus-petit-monde-12888.html >>>
Ça repose donc sur une analyse du code source à l’œil. Cette analyse et le codage de la détection peuvent être plus ou moins longs et pénibles. De plus, je ne sais pas comment on peut être assuré d’avoir vu tous les types de liens video dans une page et qu’aucun format nouveau n’échappera au code qu’on écrit. Je ne sais pas si tous les liens video qu'on peut trouver sur le net doievent respecter un standard minimum.

Pour cette raison, ton code est intéressant, wiztricks, car mechanize fait peut être les mêmes choses de façon plus exhaustive et fiable.
Mais je n'ai pas encore regardé de près. Quand je m’étais intéressé à mechanize, il m’avait paru compliqué et long à maîtriser, j’avais préféré apprendre les regex pour me débrouiller tout seul. Je vais essayer de le regarder.

20/09/2010, 16h35
wiztricks

Salut,

Citation:

Envoyé par eyquem

Pour cette raison, ton code est intéressant, wiztricks, car mechanize fait peut être les mêmes choses de façon plus exhaustive et fiable.

Lorsqu'un browser charge le contenu du document à l'URL machin, il ne se contente pas de faire http GET /machin. Qu'est ce qu'on interprête ou pas - et charge en plus - c'est compliqué et mechanize fait "mieux" que... Mais,
certains sites doivent 'bouger' via du JS et remonter des URL en exécutant du JS... Dans ce cas, il faut encore une autre artillerie.

Pour l'instant, elle n'est pas nécessaire.
Le code que j'ai posté est très "bourrin"...
De toutes façons, comme il faut construire une moulinette site par site pour savoir ce qui est ou pas une lien vers une video et l'url associée, ses 'links' contiennent des informations intéressantes sur lesquelles s'appuyer.

Citation:

Mais je n'ai pas encore regardé de près. Quand je m’étais intéressé à mechanize, il m’avait paru compliqué et long à maîtriser, j’avais préféré apprendre les regex pour me débrouiller tout seul. Je vais essayer de le regarder.

Ben les regex c'est bien mais pour faire la sélection, il faut du contexte et donc 'parser' le document HTML. Ce n'est pas impossible à faire, mais c'est beaucoup de boulot... pour refaire des machins déjà faits.

Après la question est de savoir s'il est "plus simple" de faire un script par "site" que d'essayer de "faire tous les sites"...

Le problème étant:
- un script par site fait environ 100 lignes,
- un script factorisé est du même ordre de grandeur, j'aimerai sensiblement "moins".
- W