Discussion :

[daniel1985]

Bonjour à Tous,

Je travaille dans un projet ou j'ai besoin de déterminer les catégories (ou Topics) d'intérêts des utilisateurs.

Pour cela, je suis entrain de chercher une base de connaissance générique (de préférence une taxonomie) qui peut me déterminer les centres d'intérêts des utilisateurs en reposant sur leurs activités.

Je connais une taxonomie générique (DMOZ) qui permet de déterminer la catégorie (ou Topics) des activités des utilisateur en reposant sur une fonction de similarité entre des vecteurs définissant les contenus vus par l'utilisateur et des vecteurs des catégories de la taxonomie (sachant que chaque catégorie dans la taxonomie est définie par un ensemble des mots clés). En d'autres termes, si je le donne comme entrée un document ou un ensemble des mots clés, elle me renvoie la catégorie la plus proche de ce contenu. Le souci que cette taxonomie est en anglais et la version française est très limitée. Pour cela, je suis entrain d'investiguer et vérifier si avec DBpedia je peux faire ce que j'ai déjà expliqué.

Dans DBpedia, j'ai vu le mot catégories mais savez vous s'ils ont tous le même niveau ou bien des niveaux différent selon une hiérarchie déjà clair. Également, les catégories dans DBpedia sont ils définie en reposant sur un vocabulaire des mots qu'ont peut les utiliser après pour identifier la distance entre les catégories de Dbpedia et les mots clés définissant chacun des contenus ?

Merci d'avance !

[Sapience]

Bonjour

Dans DBpedia, j'ai vu le mot catégories mais savez vous s'ils ont tous le même niveau ou bien des niveaux différent selon une hiérarchie déjà clair

Les catégories DBPEdia correspondent aux catégories Wikipedia, et à ce titre elles sont plus ou moins développées suivant la thématique, l'intérêt et l'humeur de la communauté des wikipediens qui administrent ces catégories. On trouve des catégories un peu farfelues du style (je cite de mémoire) "Jeux vidéos publiés en 1994".

Également, les catégories dans DBpedia sont ils définie en reposant sur un vocabulaire des mots qu'ont peut les utiliser après pour identifier la distance entre les catégories de Dbpedia et les mots clés définissant chacun des contenus ?

Non, pas directement. Mais par contre les catégories DBPedia référencent tous les articles de Wikipedia dans ces catégories. Et ces articles contiennent tout un tas de mots qu'il est possible de prendre et d'analyser comme base pour des algorithmes de rapprochement de contenus. C'est même une matière beaucoup plus riche que quelques mots-clés associés à chaque catégorie, je pense.

Peut-être des services comme Faviki peuvent t'aider. C'est un système de social bookmarking qui utilise les pages wikipedia (donc par extension les entrées DBPedia) pour tagger des contenus.

[daniel1985]

Merci beaucoup pour votre réponse rapide.

Je cherche à définir un ensemble des catégories par des sacs des mots en reposant sur les articles de chacune de ces catégories. En d'autre termes, définir chacune des catégories Wikipedia par un sac de mots.

Pourriez-vous me recommandez des apis, codes sources me permettant tout d'abord d'identifier tous les catégories Wikipedia ou même les sous catégories d'une catégories particulière. Avez-vous également une idée comment je peux extraire les articles wikipédia de chacune de ces catégories s'il vous plaît.

Merci d'avance et très bonne journée !

[Sapience]

1. Tu devrais trouver de la littérature scientifique là-dessus, car ce sont des approches qui ont déjà été explorées;
2. Tu pourrais utiliser le service sparql de DBPedia (http://dbpedia.org/sparql ou http://fr.dbpedia.org/sparql pour DBPedia francophone) avec des requêtes SPARQL pour extraire à la fois la hiérarchie des catégories et les liens vers les pages wiki correspondantes. Si tu regardes une catégorie au hasard dans DBPedia, http://dbpedia.org/resource/Category...ries_in_Europe, tu verras que
   
   1. les sous-catégories sont indiquées avec la propriété "skos:broader" (de la catégorie fille vers la catégorie parente);
   2. les resources dans la catégorie sont indiquées avec la propriété "dcterms:subject" (de la resource vers sa catégorie);
   3. et sur une resource DBPedia le lien vers la page wiki est indiquée avec la propriété foaf:isPrimaryTopicOf

[daniel1985]

Je vous remercie encore une fois pour vos réponses pertinentes.

En cherchant sur internet comment faire pratiquement pour extraire les catégories de Wikipédia, j'ai tombé sur ce tutoriel 'http://jplu.developpez.com/tutoriels/web-semantique/dbpedia-extraction-framework/'

Comme vous avez déjà une expérience sur le sujet, pourrirez-vous me dire s'il s'agit de la bonne piste à suivre pour extraire pratiquement les catégories ainsi que les articles relative à chacune des catégories Wikipédia.


Si j'ai bien compris, il faut tout d'abord installer Dbpedia et après utiliser des requêtes SparQL comme vous m'avez expliqué pour extraire les catégories Wikipedia.

Avez-vous également une idée s'il y-a un autre tutoriel précisant comment le faire sur Windows car dans le Tutoriel ils assument qu'on utilise Ubuntu.

Merci encore une fois pour votre aide et je vais vous tenez au courant à propos mon avancement dans ce sujet !

[Sapience]

Je vous remercie encore une fois pour vos réponses pertinentes.

En cherchant sur internet comment faire pratiquement pour extraire les catégories de Wikipédia, j'ai tombé sur ce tutoriel 'http://jplu.developpez.com/tutoriels/web-semantique/dbpedia-extraction-framework/'

Comme vous avez déjà une expérience sur le sujet, pourrirez-vous me dire s'il s'agit de la bonne piste à suivre pour extraire pratiquement les catégories ainsi que les articles relative à chacune des catégories Wikipédia.

Non. L'article explique comment traiter les articles de wikipedia pour générer la base DBPedia. La base DBPedia est déjà en ligne et accessible en SPARQL à http://dbpedia.org/sparql (version anglaise) ou http://fr.dbpedia.org/sparql (version française). Inutile de refaire tourner les moulinettes d'extraction. Tu peux déjà interroger DBPedia en SPARQL.
Si tu veux, tu peux télécharger les données RDF de DBPedia (http://wiki.dbpedia.org/Downloads) et les charger dans ton triplestore local, ce qui peux te donner de meilleures perfs, mais ce seront les mêmes données.

Voilà une requête SPARQL qui te permet d'extraire les catégories sous une catégorie donnée (dans l'exemple la catégorie "Countries in Europe"), jusqu'au niveau 5 :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
select ?cat ?catLabel ?immediateParent ?level
where {
  ?cat a skos:Concept .
  ?cat rdfs:label ?catLabel .
  {
          { ?cat skos:broader <http://dbpedia.org/resource/Category:Countries_in_Europe> . ?cat skos:broader ?immediateParent . BIND(1 AS ?level) }
    UNION { ?cat skos:broader/skos:broader <http://dbpedia.org/resource/Category:Countries_in_Europe> . ?cat skos:broader ?immediateParent . BIND(2 AS ?level) }
    UNION { ?cat skos:broader/skos:broader/skos:broader <http://dbpedia.org/resource/Category:Countries_in_Europe> . ?cat skos:broader ?immediateParent . BIND(3 AS ?level) }
    UNION { ?cat skos:broader/skos:broader/skos:broader/skos:broader <http://dbpedia.org/resource/Category:Countries_in_Europe> . ?cat skos:broader ?immediateParent . BIND(4 AS ?level) }
    UNION { ?cat skos:broader/skos:broader/skos:broader/skos:broader/skos:broader <http://dbpedia.org/resource/Category:Countries_in_Europe> . ?cat skos:broader ?immediateParent . BIND(5 AS ?level) }
  }
}
order by ?level ?immediateParent ?cat

A essayer donc à http://dbpedia.org/sparql

On trouve des catégories un peu "exotiques" comme "Badminton in Liechtenstein" (http://dbpedia.org/resource/Category..._Liechtenstein), ou encore "Ukrainian expatriate basketball people in China" (http://dbpedia.org/resource/Category...eople_in_China) qui ne contiennent qu'une seule page.

Merci encore une fois pour votre aide et je vais vous tenez au courant à propos mon avancement dans ce sujet !

Oui, si tu as un article ou des résultats, n'hésite pas à en parler ici.