RegEx pour extraire les liens d'une page html

Version imprimable

13/05/2009, 14h18
herch

RegEx pour extraire les liens d'une page html

salut à tous,

ce que je voudrais, c'est extraire tous les liens d'une page html (balise <a href ..>).... mais on obtient pas toujours ce qu'on veut :mouarf:

j'ai d'abord essayé ceci

Code:

Pattern.compile(".*?<a\\s+href\\s*=\\s*[\"']?([^\"'>]*?)[\"']?>.*?");

cela marche bien, mais cette expression rate par exp les liens qui sont ainsi

Code:

<a href="http://site.com" title="titre" target="_blank">

donc j'ai essayé ceci

Code:

Pattern.compile(".*?<a\\s+href\\s*=\\s*[\"']?([^\"'>]*?)[\"']?[^>]*>.*?");

sans succès
et cela aussi sans succès

Code:

Pattern.compile(".*?<a\\s+href\\s*=\\s*[\"']?([^\"'>]*?)[\"']?.*?>.*?");

si quelqu'un a une idée :D
13/05/2009, 14h57
zorm

Bonjour,

Le problème est que tu ne prévois pas dans ton expression qu'il y ait d'autres attributs. Un problème est qu'il n'y a pas d'ordre dans l'écriture des attributs, donc le href n'est pas forcement après le <a ...
Un solution serait de dire d'accepter tout caractère avant et après le href du moment que c'est bien encadré par le <a

Ainsi:

Code:

.*?<a\\s+.*href\\s*=\\s*[\"']?([^\"'>]*)[\"']?.*>.*?

Maintenant, penses tu que ça soit la meilleure solution? tu pourrais aussi utiliser un parseur HTML pour ça...
13/05/2009, 15h08
herch

salut, et merci pour la réponse,

c'est vrai que je n'avais pensé à cette éventualité, vu que presque tout le monde mets href en premier, mais c'est vrai qu'on ne sait jamais

mais le problème vient principalement des attributs après le href
quand je fais ceci

Code:

"<a\\s+href\\s*=\\s*[\"']?([^\"'>]*?)[\"']?.*?>"

cela devrait correspondre à un truc du genre

Citation:

<a href="http://monsite.com" unAttribut="valeur">

et le dernier .* devrait correspondre à ( unAttribut="valeur"), et l'appel de group(1) devrait le retourner (http://monsite.com) mais c'est pas le cas :?
13/05/2009, 15h23
adiGuba

Salut,

Si tu veux uniquement récupéré les URLs, autant recherché uniquement les href :

Code:

Pattern.compile("href=([\"'])(.*?)\\1", Pattern.CASE_INSENSITIVE)

a++
13/05/2009, 15h23
gifffftane

Retrouver les href avec des regexp dans tous les cas imaginables qui peuvent se produire sur le web, c'est mission impossible.

Donc, soit tu te donnes un sous ensemble et tu nous dis lequel (par exemple tu admets ne pas tenir compte des commentaires html, etc), soit tu devras utiliser un parser html.
13/05/2009, 15h45
herch

salut,

c'est vrai qu'en ne cherchant que les href, ça simplifie énormément l'expression.

et c'est vrai aussi, je viens de m'en rendre compte, que ce serait du vrai masochisme que d'essayer de faire ce que je veux avec seulement des regex, donc, je crois que finalement je me tournerais vers un parser html.

auriez vous un parser spécifique à me conseiller??

et merci pour vos réponses
13/05/2009, 16h22
gifffftane

Peut être NekoHTML.

salut,

je viens de faire un tour dans leur site, mais j'avoue que je n'ai pas très bien compris leurs exemples

par contre, je viens de tester htmlparser, et elle me convient parfaitement

voici un petit exemple qui extrait les liens d'une page passé en argument pour le main

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
 
import org.htmlparser.NodeFilter;
import org.htmlparser.Parser;
import org.htmlparser.filters.NodeClassFilter;
import org.htmlparser.tags.LinkTag;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;
 
public class ExtractLinks {
 
	public static void main(String[] args) {
		NodeList list;
		Parser parser;
		NodeFilter filter = new NodeClassFilter(LinkTag.class);
		try {
			parser = new Parser(args[0]);
			//j'avais des problèmes à lire des pages en arabe, c'est pour cela que j'ai ajouté cette ligne
			parser.setEncoding("utf8");     
			list = parser.parse(filter);
			for (int i = 0; i < list.size(); i++) {
				LinkTag linkTag = (LinkTag)list.elementAt(i);
				System.out.println(linkTag.extractLink());
			}
		} catch (ParserException e) {
			e.printStackTrace();
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
}