Discussion :

[Bouuhhh01142]

Bonjour à tous,
C'est mon premier post, j’espère l'avoir fait dans la bonne catégorie. Comme le titre l'indique, je recherche un outil qui permet de scanner le contenu d'une page, et d'en extraire les mots clés les plus pertinent en se basant sur la récurrence notamment. J'attends donc de savoir quelles outils vous utilisez qu'ils soient plus ou moins "complet".

En vous remerciant d'avance de votre participation!!!!!!!
Bouuhhh

[Metafire18]

C'est raté pour le choix du forum

Je te conseille toutefois de regarder du côté de TF/IDF (Term Frequency/Inverse Document Frequency).

[Bouuhhh01142]

Merci pour la rapidité de la réponse, et tu as tapé exactement dans le mille!!
La méthode représente exactement ce dont j'ai besoin, mais connaitrais-tu un outil qui l'utilise ?

[Metafire18]

Je ne sais pas. Je ne serais pas surpris que que l'outil suivant ait recours à cette technique: http://gate.ac.uk/

[Sapience]

Je ne crois pas que Gate utilise TF/IDF : il fonctionne plutôt à l'aide de grammaires linguistiques. Ce sont les outils de search comme SolR qui utilisent ce genre d'algo.

Dans l'écosystème du web sémantique on peut trouver DBPedia Spotlight (http://dbpedia.org/spotlight) qui permet de détecter des entités de DBPEdia dans un texte; ca ne s'appuie pas sur du TF/IDF, c'est simplement de la détection d'entités. OpenCalais (http://www.opencalais.com/) fournit quelque chose de similaire. Après, une fois les entités détectées, il suffiraient de compter combien de fois elles sont apparues dans le contenu.

[Bouuhhh01142]

J'essaie de voir comment fonctionne Gate. Ce qui me plaisait dans le TF/IDF c'est qu'il permettait de pondérer la pertinence des mots par rapport à la présence dans des articles du corpus. En fait pour être clair, je cherche à comparer les mots clés de plusieurs articles entre eux. Donc dans ce sens TF/IDF était assez complet. Trouver comment l'utiliser serait top!
Je ne sais pas si mon explication est trop confuse, dites le moi au cas.

[Metafire18]

TF/IDF est utile lorsque tu veux comparer la pertinence des termes d'un document donné. Je ne pense pas que, dans sa version de base, cette technique soit adaptée pour comparer la pertinence de mots-clefs entre documents car ces derniers peuvent être de tailles variables notamment (tu peux regarder du côté de cette variante de TF/IDF pour obtenir de meilleurs résultats). Dans TF/IDF, le corpus est seulement utile pour calculer les indices d'IDF.

Si tu as un peu de temps devant toi, TF/IDF est assez rapide à implémenter. Il m'a fallu quelques heures pour coder un outil en Java utilisant cette méthode.