Discussion :

[stc074]

Bonjour, en entrée j'ai du texte pouvant contenir des url, le comportement de mon code doit s'adater à ses url, j'ai du mal à tester si c'est une page web pouvant être affiché (avec du html) ou un lien de chargement, pour l'instant j'utilise JSoup mais ça rame, j'imerais trouver une api qui fait ça plus rapidement ou une autre methode (je dispose du mime mais la pas facile de faire le tri).

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
if (Jsoup.connect(linkUrl).get().hasText()) {
//je considère que c une page ayant du contenu
}

[Pill_S]

Tu peux définir "peut être affiché" ?

Par exemple:
- Le nom de domaine peut être résolu
- Le nom de domaine est résolu et un serveur web répond à la racine sur le port 80
- L'url complète est correctement formatée
- L'url complète est correcte et un document est accessible en GET
- L'url complète est correcte et un document est accessible en GET, et son content-type est text/html
- Etc...

Quel doit être le comportement si le serveur est temporairement down?
Quel comportement si la réponse est un redirect?
Quel comportement si la réponse demande une authentification (401/403)?
Etc.

[stc074]

peux être affichée veut dire pour moi que si tu cliques sur le lien tu as un document html lisible.
Merci.

[joel.drigo]

"Lisible", donc du "texte", donc, à priori :

• du html, statique ou dynamique ;
• que du texte ;
• pas d'images, pas de présentations spéciales (pas de tableaux (table, td, tr...), de formulaires (form et tout ce qui s'y trouve)... ignorer objets, tags sémantiques, map, canvas, etc.)) ;

Donc, du texte donc donc du contenu de p & span, de div, de a, de ul/ol/li, de h_n, dd/dl/dt en gros, et tous les tags de style. Je vois mal comment le savoir sans utiliser un accès dynamique (htmlunit serait mieux que jsoup pour le dynamique, mais pas sûr que ça soit mieux en terme de performances. Pour les pages statiques, Jericho ou TagSoup pourrait être plus performant dans la conversion html vers texte, à essayer en tout cas) sans parser le résultat et faire une analyse par sélection de tag (parser en sax ou stax permettrait de gagner du temps et de la mémoire) . Une chose qui peut être longue relativement dans ton traitement, c'est l'accès distant (le parsing en local, sauf pour des pages énormes, ne doit pas être très important). Et c'est difficile d'y couper, à moins que le site d'origine soit le tien. Reste à savoir distinguer ce qui est dynamique de ce qui est static en automatique, sans perdre trop de temps.
Qu'est-ce qui gêne dans le fait que ça soit lent ? Est-ce que çà te freeze la GUI par exemple, auquel cas, un traitement en tâche de fond pourrait permettre une illusion de meilleur temps de réponse ?

[stc074]

oui c important pour moi que ce soit rapide, je fait un mur a la facebook avec les données qui s'affiche dynamiquement faut que ça speed, en gros le but du truc c'est d'afficher un aperçu si il y a bien une page visible, si c'est juste un lien pour dl ou autre chose je zap.
Merci.

[joel.drigo]

Un aperçu, tu veux dire une image, calculée en fonction du contenu ?