Version imprimable
Bonjour,
j'ai le code HTML suivant à repérer :
Je voudrais mettre cela dans un dictionnaire du type :Code:
2
3
4
5
Quelqu'un a-t-il une méthode toute simple à proposer ?Code:
2
3
bonjour,
en utilisant une expression régulière ?
retourne:Code:
2
3
4
5
6
7
8
9
10
11
12
13
Code:('http://code.google.com/p/spyderlib/', 'spyderlib - Project Hosting on Google Code ')
Bonjour,
regex
Le seul problème est de savoir si tu veux récupérer uniquement ce lien, un certain nombre de liens ou tous les liens dans une page html. Et en fonction de quels critères un lien est désirable ou non, c’est à dire quels sont les éléments autour d’un lien désirable dans la page html qui permettent son repérage, avec la stabilité/variabilité de ces éléments.
Par exemple, s’il faut remplacer "nofollow" par certains noms seulement ou n’importe quel nom,... tu le feras toi-même. Pour le moment je propose ceci à l’arrache:
Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
Citation:
('"http://code.google.com/p/spyderlib/"', 'spyderlib - Project Hosting on Google Code')
d = {'"http://code.google.com/p/spyderlib/"': 'spyderlib - Project Hosting on Google Code'}
Au passage:
merci pour la correction de mon écriture hideuse des chaînes que tu m’as conseillée il y a quelques jours. J’adopte la forme ’''.....’'' . Jusqu’à ta remarque je n’avais pas compris comment fonctionnait cette forme et son intérêt, et ne m’y étais jamais intéressé de près.
Cependant ici pour la définition de RE, obligation d’utiliser celle que j’ai utilisée, parce que je veux spécifier un caractère ’\r’ optionnel devant le ’\n’, de façon à rendre le code apte à traiter un texte dans lequel il y aurait aussi bien ’\r\n’ que ’\n’ comme fin de ligne possible.
Correctif
Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
Merci. :ccool: Effectivement je cherchais tous les liens . J'avais oublié de le dire.
Je ferais ce soir, car là je dois bosser, une version avec le module http qui ira sur le net chercher la page.
Différence entre group() et groups():
- groups()[0] n’est pas la chaîne matchante avec la totalité de la RE , comme c’est le cas pour group(0)
groups()[0] est le premier groupe capturé
- groups() ne permet pas de sélectionner plusieurs groupes. On peut écrire pat.search(ch).groups()[0] par exemple,
mais pas pat.search(ch).groups()[0,1] et donc pas pat.search(ch).groups()[1,0]
- group(0) équivaut à group() et renvoie la chaîne matchante totale c’est à dire matchant avec la RE dans son entier
- Une RE qui capture 10 groupes permettra d’écrire
pattern.search().group(2,5,1,10,9,6,7,9,2) par exemple (remarquer répétition de 2 et 9)
Ici on utilise cette possibilité pour présenter à l’update un tuple dans l’ordre inverse de leur capture:
pat.search(ch).group(2,1)
J’ai remplacé la forme update((pat.search(ch).group(2,1),))
par update([pat.search(ch).group(2,1)]) , moins étrange
Code:
2
3
4
5
6
7
8
9
10
11
12
13
Le cod suivant me renvoie : " u,v = pat.search(ch).groups() AttributeError: 'NoneType' object has no attribute 'groups' "
Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
bonsoir,
c'est que la donnée analysée ne correspond pas à l'expression régulière définie à cause des sauts de lignes.
teste avec le pattern que je donne dans mon post en haut :)
Où avais-je la tête ?...Citation:
Envoyé par kango
Voici un code fonctionnel :
J'obtiens au jour d'aujourd'hui :Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
Merci pour les regex... :ccool:Code:
2
3
4
5
6
7
8
On y estCitation:
Et en fonction de quels critères un lien est désirable ou non, c’est à dire quels sont les éléments autour d’un lien désirable qui permettent son repérage, avec la stabilité/variabilité de ces éléments.
J’espère que tu as vu pourquoi ce ch ne peut matcher avec la regex définie:
comme le dit kango, il n’y a pas de fins de lignes dans ce ch, alors que les \n dans la RE définie en exigent
Dans ce cas, on pourrait passer en mode MULTILINE de façon que le point puisse représenter tous les types de caractères = y compris les fins de ligne.
Mais les deux chaîne à capturer sont tellement proches dans le texte, avec des caractères entre eux en si petit nombre mais malgré tout entachés d’une variabilité (\n ou pas? , whitespace ou pas?) que je pense préférable d’éviter le point en MULTILINE.
D’où je propose ceci:
Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
Citation:
repr(ch) :
'<a rel="nofollow" class="taggedlink " href="http://forum.ubuntu-fr.org/" >Forum Ubuntu-fr.org</a>'
pat.search(ch).group(2,1) :
('Forum Ubuntu-fr.org', '"http://forum.ubuntu-fr.org/"')
myDeliciousTag = {'Forum Ubuntu-fr.org': '"http://forum.ubuntu-fr.org/"'}
repr(ch2) :
'<a rel="nofollow"\nclass="taggedlink "\nhref="http://code.google.com/p/spyderlib/" >\n spyderlib - Project Hosting on Google Code\n</a>'
pat.search(ch2).group(2,1) :
('spyderlib - Project Hosting on Google Code', '"http://code.google.com/p/spyderlib/"')
myDeliciousTag = {'Forum Ubuntu-fr.org': '"http://forum.ubuntu-fr.org/"', 'spyderlib - Project Hosting on Google Code': '"http://code.google.com/p/spyderlib/"'}
Après le deuxième [\r\n\w] je mets une * parce que 'Forum Ubuntu-fr.org' suit immédiatement ’>’, tandis qu’il y aura toujours au moins un blanc avant ’class’ et avant ’href’
J’ai réécrit la RE de façon que le précédent ch continue de matcher, évidemment.
Il ne reste plus qu'à attendre le prochain bug pour cause de variabilité.
:)
EDIT:
rambc, il me semble que tu n’as pas dû remarquer que j’avais ajouté un message #6 à midi qui évite l’écriture lourdingue de (u,v) pour intervertir les groupes.
Merci pour tout. On arrive finalement au code suivant :
Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
OK
Mais je continue de regarder. Il y a des choses qui me paraissaient obscures dans ton précédent.
Il faut que j’arrive à comprendre ce qui se passe dans ce nouveau code
À +
Tu penses à quoi....Citation:
Envoyé par eyquem
Je me doutais bien qu’il y avait un lézard.
Quelles les contorsions tu fais pour arriver à attraper tous les matches dans la page !
Tu initialises groupsSearched par
groupsSearched = pat.search(content).group(2,1)
de façon à pouvoir lancer une boucle while.
Puis dans la boucle , tu recherches l’index du premier caractère de l’adresse qui se trouve dans groupsSearched, caractère qui se trouve obligatoirement après ’<a rel="nofollow"...’ , ce qui te permet de relancer groupsSearched = pat.search(content).group(2,1)
pour trouver le match suivant.
Tu n’as jamais dû avoir le temps de potasser les regex.
Parce qu’il y a deux fonctions toutes prêtes pour attraper tous les matches dans un texte, et pas un seul:
- findall()
produit une liste des tuples groups() de tous les matches qui existent dans la chaîne explorée.
Une fois établie cette liste , on ne peut pas rechercher des données paticulières associées aux matches, comme le début et la fin du match. De plus les tuples enregistrés dans la liste renvoyée par findall() comportent nécessairement tous les groupes dans un ordre fixe, sans possibilité de sélectionner certains groupes, et encore moins de pouvoir le faire de façon différenciée d’un match à l’autre.
- finditer()
produit un itérateur sur l’ensemble des MatchObjects trouvés dans le parcours de la chaîne explorée.
Cet itérateur est éminemment pratique puisqu’il permet de débiter les MatchObjects au compte goutte , donnant ainsi la possibilité de manipuler chaque MatchObject pour en tirer ce qui nous arrange: sélection de groupes, extraction de m.end() , m.start() , m.span() et des valeurs attributs du MatchObject comme pos , endpos , etc. Possibilité même de faire plusieurs différentes de ces opérations, de les répéter, de faire jouer un véritable algorithme sur chaque MatchObject, en définitive.
Comme on veut inverser les deux groupes trouvés dans chaque match, findall() n’est pas adaptée à ce qu’on veut faire.
Avec finditer() , on peut faire
- soit une boucle for
- soit une list comprehension
- soit un générateur
Et comme la fonction update du dictionnaire accepte un iterable, son remplissage prend une ligne avec un générateur !
Par ailleurs, j’ai affiché le code source de la page web analysée pour l’examiner.
Il est clair que les motifs dans lesquels se trouvent les adresses et commentaires que tu recherches ne sont en fait pas sur plusieurs lignes, contrairement à la chaîne avec des \n que tu as présentée dans le message #1.
Je pense qu’il est donc inutile de se trainer une RE comportant des \r et des \n et qu’il faut la réécrire en l’optimisant.
Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
Enfin, comme il s’agit d’une page sur laquelle tu as le contrôle:
1) je pense que le cas où il y a plusieurs blancs devant une clé de ton dictionnaire comme dans la chaîne que tu as présentée dans message #1 n’existe pas, ou tu dois faire en sorte qu’il n’existe pas.
Je parle de
"http://code.google.com/p/spyderlib/" >
....spyderlib - Project Hosting on Google Code
plusieurs blancs devant le 2ième spyderlib.
2) le blanc avant “ dans "taggedlink " est inutile et pesant. Il faudrait que tu l’élimines. Je penses que c'est toi qui as décidé de ce blanc et pas un créateur de texte.
Ces deux mesures permettraient de simplifier la RE.
Pour le moment j’ai feinté avec [\s"]+ à deux endroits, pour résoudre ces chicanes sans intérêt, mais ce n’est pas satisfaisant.
Bravo pour la concision de ton code !
Me voilà démasqué... Dans la mesure où je n'ai pas eu pour le moment l'obligation de les utiliser, je n'ai pas mis le nez dedans.Citation:
Envoyé par eyquem
Je pense que pour le coup c'est le boulot du script. Tant pis si je fais des fautes de frappe...Citation:
Envoyé par eyquem
Non je n'ai rien paramétré. Les standards HTML sont un peu malmenés quelques fois...Citation:
Envoyé par eyquem
Sinon j'ai fait corrigé "mon" précédent code pour obtenir le suivant :
Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
Je viens de vérifier pour spyder et j'ai bien tapé "spyderlib - Project Hosting on Google Code" dans le nom du marque page... Pour le code source j'ai :Citation:
Envoyé par eyquem
De plus je n'ai pas tous les tags...Code:<a rel="nofollow" class="taggedlink " href="http://code.google.com/p/spyderlib/" >spyderlib - Project Hosting on Google Code</a>
Bravo à Python surtout. Je ne fais que l’utiliser de façon correcte, il n’y a aucun mérite particulier.Citation:
Bravo pour la concision de ton code !
Comprends pas.Citation:
Je pense que pour le coup c'est le boulot du script. Tant pis si je fais des fautes de frappe...
Ça m’amène à une question. Ce code est-il destiné à t’être un outil te permettant d’analyser pour vérification un code source en cours d’élaboration ?
Ou pour extraire des informations d’un code censé être correct ?
Tu veux dire que c’est un écriveur de code HTML (je ne sais pas quel est le terme correct) qui est responsable de ce blanc dans "taggedlink " ? Il n’est pas possible de l’empêcher ? Quelles sont son utilité et son obligation ?Citation:
Non je n'ai rien paramétré. Les standards HTML sont un peu malmenés quelques fois...
Et?......Citation:
Sinon j'ai fait corrigé "mon" précédent code pour obtenir le suivant :
Je ne suis pas responsable du code myDelicious. Souvent sur le net, les codes HTML ne respectent pas tous les standards...
Je ne comprends pas pourquoi il me manque des tags... Cela vient de url qui me renvoit pas la bonne page... 8O
Qu’est ce que tu entends par « il me manque des tags » ?
J'ai repéré le problème. Voici un correctif qui prend en compte plusieurs pages (quand on utilise urllib, on tombe sur la mise en page par défaut qui contient juste 10 tags et non 25 comme je l'avais configuré sur mon ordi.) :
Un grand merci à equyem.Code:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
PS : ma façon de déterminer si la regex a été trouvée n'est peut-être pas la meilleure. Toute info est la bienvenue.