Discussion :

[neila_ayari]

Bonjour a tous,
j'aimerai construire des expressions regulieres en entrant une liste des urls d'un meme site.
donc comme entrée j'ai la listes des urls et la sortie c'est les expresions reguliers.
y 'a t'il quelqu'un qui peut m'aider
merci d'avance pour tte aide

[eyquem]

Bonjour,



Je veux bien t’aider mais la formulation de ton problème ne me permet pas de comprendre ce que tu veux.

la listes des urls d'un meme site

C’est à dire ?

et la sortie c'est les expresions reguliers

Et elles sont censées permettre de faire quoi ces expressions régulières déduites ?

[neila_ayari]

Bonjour,
merci bcp eyquem pour votre aide.
je vous explique tt mon projet, au faite,par exemple dans le site www.yahoo.fr il y a bcp des séquences vidéos, moi je veux extraire les urls de ces séquences sans les ouvrir,c'est la première tache du projet et par la suite en sachant tous ces urls je veux construire son regex.
pour le moment j m'intéresse au regex en entrant par exepmle 4 ou 5 urls des séquences vidéos d'un meme site et j'aurai comme sortie son regex.j sais pas quel langa je vais utiliser et comment en faire
merci d'avance pour l'aide

[eyquem]

Bon, je ne suis toujours pas sûr de ce qu’il faut comprendre comme objectif, mais il n’y a qu’à se lancer.



Puisque tu n’es pas fixé(e) sur le langage, cela veut dire que tu n’as pas d’exigence précise sur ce point.
Personnellement, j’utilise Python que je connais relativement bien. Je te propose donc d’installer Python 2.7 (c’est la version que j’utilise) et qu’on écrive ton code tous les deux.

J’estime que Python est parfaitement adapté à ce que tu veux faire, d’ailleurs il est adapté pour presque tout, et tu verras avec quelle facilité le code s’écrira. J’ai déjà fait le même genre de programme que ce que tu veux faire.


Si ça te dit de faire ainsi, il suffit d’aller sur
http://www.python.org/download/
de télécharger et d’installer Python 2.7 (c’est la version que j’utilise). Personnellement, sur une machine Windows, ceci prend moins de 10 minutes.
Sinon, avec un autre langage, je ne pourrai t’aider qu’au niveau de l’écriture d’une RE.


Pour la suite, je voudrais savoir sur quel SO tu es: Windows, Mac , Linux ....?

[neila_ayari]

merci eyquem,moi j'utilise ubuntu 10 et concernant python j l'ai jamais utiliser mais s'il me permet d'en faire et avec votre aide, si vous voulez bien sur,j commence l'essai.
j'attend votre réponse s'il vous plait c tres urgent
merci infiniment une autre fois

[neila_ayari]

j'ai vérifié que python est installé sur ma machine et sa version est 2.6.2

[eyquem]

Ah oui, dans les distributions Linux, Python est intégré de base, c’est vrai, je n’y pensais plus, car moi je suis sur Windows.
Donc on va faire avec Python 2.6.2, je pense pas que ça occasionne de problèmes.
Mais il pourra y avoir des différences à cause de Windows / Linux. Signale le quand ce sera le cas.





Bon, la première chose à faire c’est de créer un fichier dans lequel on écrira le script.





Sur Windows, il faut faire:

- Démarrer / Programmes / Python 2.7 / IDLE (Python GUI)

- ça ouvre une fenêtre avec une barre bleu en haut dans laquelle est écrit un logo rouge et “Untitled“, et en dessous une barre de commandes
File Edit Format Run Options Windows Help

- cliquer sur Options / Configure IDLE... / onglet General

- dans la rubrique Startup Preferences, cocher Open Edit Window

- faire Apply puis OK





Puis faire:

- Edit / Save As...

- sauvegarder le fichier (pour le moment il est vide) dans le dossier de ton choix sur ton ordinateur.
Personnellement j’enregistre mes fichiers dans un autre disque virtuel que C: après avoir fait un partitionnement du disque dur physique. Ainsi je peux réinstaller C: sans avoir me poser de questions sur les fichiers et dossiers que je veux conserver avant de faire la réinstallation.

- créer un raccourci vers le fichier que tu viens d’enregistrer ou vers le dossier qui le contient pour pouvoir l’ouvrir facilement ultérieurement.
Une autre possibilité sera de faire Démarrer / Programmes / Python 2.7 / IDLE (Python GUI) et ensuite File / Open puis se déplacer dans l’arborescence des dossiers







Ensuite,

- écris dans le fichier le code suivant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import urllib
 
url = 'http://fr.yahoo.com/'
 
sock = urllib.urlopen(url)
ch_source = sock.read()
sock.close()
 
print 'NOMBRE DE CARACTERES DANS LE CODE SOURCE : ',len(ch_source)
 
print '\n---------------------------------------------------------\n'\
      "800 PREMIERS CARACTERES DU CODE SOURCE D'UN SEUL TENANT :\n"
print repr(ch_source[0:800])
 
print '\n-------------------------------------------------------------\n'\
      '800 PREMIERS CARACTERES DU CODE SOURCE PRESENTES PAR LIGNES :\n'
li_source = ch_source[0:800].splitlines(1)
for ligne in li_source:
    print repr(ligne)

- exécute par Run , ou Ctrl-F5





ch_source contient le code source de la page d’url fixée. C’est à dire une chaîne de caractères: un fichier est une succession continue de caractères. Parmi ces derniers, le caractère ’\n’ provoque un retour à la ligne quand la chaîne est affichée.

Un affichage est affectué par un moteur de rendu, qui interprète les caractères de mise en forme: les ’\n’, ’\t’, ’\r’, etc. Si on ne fait rien, une chaîne affichée est soumise à interprétation de ces caractères avant d’apparaître à l’ecran.

Dans Python, repr() est une fonction qui désactive l’interprétation des caractères spéciaux tels que ’\n’ . On l’utilise pour visualiser exactement le contenu d’une chaîne, c’est à dire les caractères précis qu’elle contient.





Le code source de la page d’url http://fr.yahoo.com/
fait dans les 135018 caractères.
Comme c’est très important, ch_source[0:800] découpe une tranche des 800 premiers caractères pour montrer un peu ce que ça donne.

sequ[n:m] signifie:
dans la séquence sequ, découper une tranche qui va de devant l’élément d’index n à devant l’élément d’index m.
sequ peut être une chaine, une liste, un tuple.....

Tu peux faire

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

print repr(ligne)[1:-1]

si tu veux afficher les lignes sans le ’ devant et le ’ à la fin de chaque ligne, qui sont les signes utilisés par repr() pour entourer le contenu de la chaîne qu’on veut afficher sans interprétation





splitlines est une méthode de chaîne:
ch.splitlines() renvoie une liste des lignes virtuellement contenues dans ch, c’est à dire que splitlines() splite la chaîne ch sur la base du caractère ’\n’

sur le split, cf


splitlines() ne conserve pas les caractères ’\n’

splitlines(True) ou splitlines(1) ou splitlines(8876) , c’est pareil, conservent les caractères ’\n’ dans les lignes découpées.





Je te suggère d’ouvrir une file dans le forum Python plutôt que de rester dans ce forum PHP.

Et tu peux me tutoyer, on est sur un forum et je ne me prends pas pour un ministre.

[neila_ayari]

d'accord ,
je sais pas si je dois installer un editeur de python sous ubunu ou j 'ecrit directement sur un fichier en utilisant le shell??

[neila_ayari]

j'ai installer le paquet wine qui permet d'executer les logiciels s'executant sous windows
en linux
j'ai ecrit le script et c'est bon j'ai comme resultat le code source
qu'est c que j dois faire apres?

[eyquem]

je sais pas si je dois installer un editeur de python sous ubuntu

Je ne sais pas ce qu’il y a dans la suite Python intégrée de base dans Ubuntu.
Mais je serais bien étonné qu’il n’y ait pas l’IDE appelé IDLE.

C’est l’éditeur fourni de base avec Python. Il en existe de plus sophistiqués mais je me suis contenté de celui-ci jusqu’à présent. En suivant la procédure précédemment décrite
Démarrer / Programmes / Python 2.7 / IDLE (Python GUI)
c’est celui qui s’ouvre pour écrire les scripts en mode GUI sur mon ordi.

Ce mode GUI permet d’écrire soit en mode Edit , soit en mode Shell qui mime le comportement shell pur en ligne de commande. Le réglage de la config se fait dans Options / Configure IDLE.. comme je l’ai décrit.

Si tu veux enregistrer le travail que tu fais , il faut se mettre en mode GUI sous IDLE.

Et pour enregistrer un travail qui soit un script exécutable, il faut se placer en mode Edit du mode GUI de IDLE.









Python s’exécute sur toutes les plateformes. Ça m’étonne un peu que le paquet wine soit nécessaire. Je pense qu’il ne faut ce paquet wine que pour des logiciels qui ne sont pas prévus pour s’exécuter sur Linux.
C’est à toi de voir s’il te faut vraiment ce paquet wine

qu'est ce que je dois faire après?

Eh bien , c’est là que commencent les joyeusetés.

Il faut analyser le code source, je veux dire on regarde dans le code source avec ses yeux, pour trouver les lignes dans lesquelles les vidéos sont repérées et comprendre de quelle façon est codé ce repérage.

Ensuite, il faudra écrire du code pour extraire les chaînes qui dans le code source sont ces adresses des vidéos.

Ensuite après, si j’ai bien compris, il faudra traiter ces adresses pour en extraire un motif commun. Je ne sais pas comment on va faire ça, je n’ai pas encore bien compris l’objectif final. Mais on va commencer par le commencement.





Je plonge dans le code source pour essayer de voir où il y a des références à des vidéos.

Il faut s’aider en faisant des “clic droit / Copier le raccourci“

Par exemple, sur une vidéo, ça me donne

http://fr.yahoo.com/_ylt=Aq9BhJ3TBTg...le-poteau.html

Il faut chercher cette référence dans le code source.



Lancer un Ctrl-F avec le mot "video" aussi sur le code source

[eyquem]

Pour enregistrer le code source (non interprété) dans un fichier dans une présentation par lignes numérotées.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
import urllib
 
url = 'http://fr.yahoo.com/'
 
sock = urllib.urlopen(url)
ch_source = sock.read()
sock.close()
 
f = open('C:\\videos yahoo.txt','w')
f.write('\n'.join( str(n).rjust(3) + ' ' + repr(ligne)
                   for n,ligne in enumerate(ch_source.splitlines(1))  )  )
f.close()

[eyquem]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
import urllib
 
url = 'http://fr.yahoo.com/'
 
sock = urllib.urlopen(url)
ch_source = sock.read()
sock.close()
 
mot = 'video'
 
compteur = 0
for n,ligne in enumerate(ch_source.splitlines()):
    if mot in ligne:
        compteur += 1
        if len(ligne)<800:
            print 'Ligne numero ' + str(n) +\
                  '.  Cette ligne comporte ' + str(len(ligne)) + ' caracteres.\n'+\
                  '\n' + repr(ligne)
        else:
            print 'Ligne numero ' + str(n) +\
                  '.  Cette ligne comporte ' + str(len(ligne)) + ' caracteres.\n'\
                  '\nVoici les 400 premiers:\n' + repr(ligne)[0:400]+\
                  '\n\net voici les 400 derniers :\n' + repr(ligne)[-400:]
 
        print '----------------------------------------------------------------'
 
print "\n\nJ'ai trouve " + str(compteur)+ ' lignes contenant la chaine : ' + mot

Je m’absente. Je reviens ce soir.



Regarde:
Démarrer / programmes / Python 2.6.2 / Python Manuals

[neila_ayari]

bonjour,
je t'explique bien l'objectif de travail,au faite actuellemnt je fais l'extraction des urls des vidéos de chaque site manuellement (c tres couteux en terme de temps)en utilisant le plugin download helper de firefox car je dois prendre l'url exacte (de sa source) de vidéo et non pas celle écrite dans la barre d'url de firfox.par exemple avec download helper j'extrais cette url qui ne contient pas le mot vidéo http://www.putfile.nl/files/wmv/2132...1106213838.wmv alors qu'en haut de firefox s'ecrit une autre url celle de site contenant le vidéo et non pas la source exacte de vidéodonc.
moi je veux avoir l'adresse exacte mais avec download helper je n'aurai pas l'url que seulement lorsque j'ouvre le vidéo.
je crois on doit faire la recherche des liens hypertextes et selon l'extension

[wiztricks]

Salut,

Il ne devrait pas être très compliqué(*) de récupérer les liens vers d'autres URL en filtrant les éléments LINK et Anchors. Après, il faut voir s'il est "suffisant" de trier en fonction du type "Mime" de l'extension de l'URL ou s'il faut faire un HEAD sur ces URL pour récupérer le Mime type dans le header content-type.

Par contre, je ne vois pas trop la relation avec la description initiale:

j'aimerai construire des expressions regulieres en entrant une liste des urls d'un même site.
donc comme entrée j'ai la listes des urls et la sortie c'est les expressions reguliers.

Si Eyquem sèche je regarderais çà tantôt... Ca devrait être un bon exercice pour jouer un peu avec les "generators expressions".

- W
(*) Mais, il ne suffit pas de faire un http.get pour récupérer le contenu de la "page"

[neila_ayari]

je viens d'expliquer a eyquem tout le projet car par la suite je vais construire le regex des urls trouvées

[wiztricks]

je viens d'expliquer a eyquem tout le projet car par la suite je vais construire le regex des urls trouvées

le regex des urls trouvées!

C'est quoi ce dinosaure?
- W

[eyquem]

je fais l'extraction des urls des vidéos de chaque site manuellement (c tres couteux en terme de temps)en utilisant le plugin download helper de firefox car je dois prendre l'url exacte (de sa source) de vidéo et non pas celle écrite dans la barre d'url de firfox.par exemple avec download helper j'extrais cette url qui ne contient pas le mot vidéo http://www.putfile.nl/files/wmv/2132...1106213838.wmv alors qu'en haut de firefox s'ecrit une autre url celle de site contenant le vidéo et non pas la source exacte de vidéodonc.
moi je veux avoir l'adresse exacte mais avec download helper je n'aurai pas l'url que seulement lorsque j'ouvre le vidéo.

C’est confus mais ça confirme ce que je pensais depuis le début: il ne s’agit pas comme tu le disais dans le premier post d’obtenir des expressions réguliéres en sortie, mais des liens hyper-texte vers des videos.
Le plus adapté est effectivement de les attraper au moyen d’expresssions régulières.

Il ne s’agit donc pas de faire ceci:

par la suite je vais construire le regex des urls trouvées

mais tout de suite d’établir les RE nécessaires à la capture des liens videos, et préalablement à cette capture.



Je ne pense pas qu’il y ait un format de lien standard pour les liens vers des videos, sur le web. Il va falloir analyser le code source de chaque site pour comprendre la structure des liens videos qui y sont pratiqués, afin de rédiger une RE particularisée pour chaque site/page.

Et même dans un site donné, les liens video ne sont pas tous semblables:
hier soir, avec le code suivant j’attrapais deux liens video, mais plus ce matin car il n’y a plus de videos sportives:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
import urllib,re
 
url = 'http://fr.yahoo.com/'
#url = 'http://fr.yahoo.com/?r0=1284719399'
 
sock = urllib.urlopen(url)
ch_source = sock.read()
sock.close()
 
RE = 'http://fr.sports.yahoo.com/video/\d+/\d+/.+?\.html"'
pat = re.compile(RE)
 
print pat.findall(ch_source)

Il va donc falloir analyser les codes sources pendant une période plus ou moins prolongée en accumulant peu à peu les expressions régulières détectant les liens video, avant d’atteindre une certaine exhaustivité de détection.
Mais ce sera toujours à la merci de changements mineurs / importants dans les liens utilisés par chaque site.





Ceci étant dit, je me casse les dents depuis un grand moment sur le site http://fr.yahoo.com/

Voici un code qui capte le code source d’une page et l’enregistre dans un fichier sous une forme devant faciliter l’analyse:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
import urllib
 
url = 'http://fr.yahoo.com/'
 
sock = urllib.urlopen(url)
ch_source = sock.read()
sock.close()
 
lg = 50
with open('videos yaya.txt','w') as f:
    f.write('\n'.join( str(n).rjust(4) + '   ' + repr(ligne[0:lg]) + ('','\n')[len(ligne)>50]+\
                       '\n'.join( '       '+repr(ligne[j:j+lg])
                                  for j in xrange(lg,len(ligne),lg)  )
                       for n,ligne in enumerate(ch_source.splitlines(1) ) ) )

En allant sur la page http://fr.yahoo.com/ , il suffit d’extraire par “Copier le raccourci“ (clic droit) les liens des videos que l’on y trouve.

Présentement il s’agit de

http://fr.yahoo.com/_ylt=ApSLQuBjSXE...e-d34fe38.html

http://fr.yahoo.com/_ylt=AliRAVUfhZ0...n-d34fe38.html

http://fr.yahoo.com/_ylt=At8tSjIYSea...r-d34fe38.html

Quand je cherche ces liens dans le fichier du code capté, je ne trouve rien.



J’ai remplacé l’extension ’.txt’ du fichier par ’.html’ et j’ai cliqué dessus.
Ça m’affiche un truc qui est incomplet par rapport à la page http://fr.yahoo.com/
Je ne peux pas le copier dans ce post. Fais les manips en question.

Je n’ai pas encore compris ce qui se passe. Je vais laisser tomber l’ordi un moment jusqu’à ce soir.





Est-ce que tu peux donner les adresses des autres sites dont tu souhaites extraire les liens videos, stp.

[neila_ayari]

c tres gentil eyquem,
oui c tout a fait c que t'as dit et peut etre moi j'ai mal exprimé,
voici qlq sites q je vais utiliser:
atomfilms.com, guba.com ,vimeo.com

[neila_ayari]

eyquem j'ai trouvé sur le net le logiciel url snooper qui permet de capturer les urls des vidéos dans une page web mais j'ai trouvé des pbs dans sonutilisation, tjs il envoie des paquets mais sans reponse

[wiztricks]

Cher Eyquem,
Ton truc ne va pas marcher
- W