Clustering / AFC-ACP en Text-Mining

Bonjour à tous,

Voilà mon problème : je cherche actuellement à miner une série de textes, provenant de zones et d'époques différentes (premier biais), dont je souhaite déterminer les rapprochements et les groupes. Il s'agit donc de clustering.

J'ai testé toute une série d'algorithmes, sous Weka (surtout K-means et EM) et sous R (packages : e1071, ade4, cluster, cclust, hclust, etc.). Pourtant, je ne suis guère satisfait de ce que j'obtiens... en fait de "simples" AFC semblent plus efficaces que toutes les "autres" méthodes de clustering, y compris des clustering sur ACP comme peut le faire le package ade4.

Bien entendu, j'ai fait varier le pruning, afin d'extraire ce qui classait le mieux mes documents... rien n'y fait :aie:... l'AFC reste largement plus stable, plus fiable je dirais.

De même, je trouve assez peu d'articles portants *directement* (j'insiste sur le directement) sur ce(s) point(s). Aurais-je mal cherché ?!

Quelqu'un aurait une idée s'il vous plaît ? :ccool:
Merci beaucoup pour toute réponse. Cordialement.

Bonjour,

là tu te bats avec les algorithmes de classification et tu sembles converger vers une limite.
Est ce qu'il ne vaudrait pas mieux améliorer tes descripteurs ?

Je pense que ce lien peut t'aider, il y a pas mal d'informations.

Merci beaucoup pour vos réponses. Je vais réfléchir à tout ça.
Oui, le LSA, mentionné dans le lien, est intéressant (pas encore tenté, contrairement au TF-IDF). Il faut que je regarde... je vous (re)dis dans quelques semaines :mouarf::aie::P

Merci encore.

Avant de traité un texte avec une ACP ou autre méthode, il faut analyser le text et pour cela il existe sous R des modules pour l'espagnole et l'anglais mais pas le français. J'ai prochainement une étude a faire tout comme toi sur des textes et j'ai trouver en open source Gate sur tu arrive a l'utiliser ? Sinon tu as celui-ci aussi.

Cela peut il t'aider ?

Comme le dit à juste titre Toto13, il me semble qu'il vaudrait tout d'abord bien focaliser sur les descripteurs.

Bonjour,

Qu'est-ce que vous entendez par descripteurs?

Le descripteur est typiquement un vecteur de nombre qui synthétise l'information du document. Pour un document texte, il peut s'agir de l'histogramme représentant le comptage des occurrences des mots d'un dictionnaire par exemple.

Citation:

---

Envoyé par nounouuuuu201186

Qu'est-ce que vous entendez par descripteurs?

---

Prenons un exemple : que prendre comme descripteur si tu souhaitais décrire quelqu'un sans connaître son nom ?
Ben pour ma part je commencerai par :
- Sexe (ça sépare déjà bien la population et ça ne change pas)
- Age, voire date de naissance.
- Taille (bien descriptif pour un adulte, moins pour un enfant)
- Couleur des cheveux (les filles qui adorent se faire des couleurs vont poser problème)
- Poids (plus ou moins constant chez les individus... maudits régimes pour nous)
- Signes particuliers distinctifs (très bien mais rare)

Bref, c'est tout ce qui peut me permettre de décrire au mieux ce que l'on souhaite classer.

Bonjour :D,

@Alexis.M:
Est-ce que le descripteur peut être le vecteur des poids représentant un document. Ce vecteur est calculé par la mesure Tf-idf?

@ ToTo13:
Voilà ce que j'ai compris :

que prendre comme descripteur si tu souhaitais décrire un document sans connaître la classe à qu'il appartient ?

-->titre
-->auteur
-->date de publication
-->mots clés
...
Mais, ils ne sont pas organisés selon l'ordre de priorité comme vous ayez fait.
Je souhaite que j'aie bien compris la notion de descripteur.

Cordialement,