Eviter de charger plusieurs fois la même url

Version imprimable

Bonjour à tous,

j'ai plusieurs tableau rempli, dont un pour des url, et un pour des path associé.

J'ai par exemple dans le tableau url : url1, url2, url1, url1
Et dans le tableau de path : path1, path2, path3, path4

Un path étant associé à une URL grace à leur indice lors que les tableaux sont remplis.

Ensuite, je charge l'url, pour en sélectionner un morceau grace au path.

Le problème étant que je charge à chaque fois l'url, même si elle l'a déjà été auparavant.

Je vais donc charger url1 puis url2, puis url1 puis url1.

Ce qui rend le traitement lourd.

Comment faire pour ne charger la page qu'une fois?

Voici la portion de code que j'utilise
Code:

1 2 3 4 5 6 7 8 9 10 11 for (i = 0; i < tabUrl.length; i++) { try { page = webClient.getPage(tabUrl[i]); List<HtmlElement> nbElements = (List<HtmlElement>) page.getByXPath(tabpath[i]); if (null != nbElements && !nbElements.isEmpty()) { htmlResult = nbElements.get(0).asText(); } }
Merci

Bonjour,

Utilise un Set

Code:

1
2
3
4
Set<String> urls = new HashSet<String>(Arrays.asList(tabUrl));
		for (String url : urls){
                        try {    
                                    page = webClient.getPage(url);

A+.

20/07/2012, 14h23
Dynamès

Je vois.

Mais est ce que cela saura associé la bonne url avec le bon path?

Si dans mon tableau en [0] j'ai url1, en [1] j'ai url2 et en [2] j'ai url1

Avec ça, est ce qu'il ne va pas prendre en compte une fois l'url 1, ensuite l'url 2 puis à nouveau l'url 1?

Avec ton code, on transforme le tableau en liste avec valeur unique

on aura donc une liste url1, url2.
Avec un tableau de path qui sera : path1 dans l'url1, path2 dans l'url2 et path3 dans l'url1.

Je vais tester ton code, mais avec ça, je pense que, soit il chargera plusieurs fois url1, soit il ne pourra rien faire avec le 3 eme path.

Après c'est peut etre moi qui imagine mal, à voir.

edit : après test, ce qu'il se passe c'est que rien fait sur url1, path3.

Donc effectivement, cela fonctionne si jamais on demande à ce que les mêmes url soient remplies l'une après l'autrre; tel url1 xpath1, url1 xpath2, url2 xpath3.

Tu peux utiliser une map dans laquelle tu stockes les pages deja ouvertes. Un truc du genre :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
Map<Url, ClassPage> m = new HashMapMap<Url, ClassPage>();
for (i = 0; i < tabUrl.length; i++) {
   try {
      ClassPage page;
      if(m.containsKey(tabUrl[i]) == false)
      {
         page = webClient.getPage(tabUrl[i]);
         m.put(tabUrl[i], page);
      }
      else
      {
         page = m.get(tabUrl[i]);
      }
 
      List<HtmlElement> nbElements = (List<HtmlElement>) page.getByXPath(tabpath[i]);
      if (null != nbElements && !nbElements.isEmpty()) {
         htmlResult = nbElements.get(0).asText();
      }
}

20/07/2012, 15h11
Dynamès

Merci hwoarang, ça à l'air de fonctionner.

A ceci près que chez moi, j’ai eu quelques petites choses simples à faire, URL est a remplacé par String(mon tableau d'url contenant des string) et ClassPage remplacé par HtmlPage.

Merci beaucoup.
23/07/2012, 10h13
hwoarang

Citation:

Envoyé par Dynamès

A ceci près que chez moi, j’ai eu quelques petites choses simples à faire, URL est a remplacé par String(mon tableau d'url contenant des string) et ClassPage remplacé par HtmlPage.

ClassPage est un nom que j'ai donné au pif ne connaissant pas le type de la variable page et Url le type que j'ai supposé d'apres le nom tabUrl ;)