Votre avis sur le classement supervisé

Bonjour,
je suis actuellement en stage de fin d'étude de DUT GEII.

On m'a demandé de créer un module de classement supervisé qui sera, plus tard, intègré à un logiciel de récupération de donnée sur internet.
Le cahier des charges requiert pour un server de récupérer divers articles sur internet, déterminer la langue de l'article traité, classer les articles dans les catégories (crée manuellement) les plus judicieuses, et ensuite, les stocker dans une base de données (MySQL).

Le server doit-être capable de traiter 40000 articles ET (fallait si attendre) doit-être le plus rapide possible, je ne sais pas précisément combien de temps cela indique, mais le server doit pouvoir répondre aux demandent de connexion à la base mise-à-jour, pas plus de 1h je suppose.

Je me place donc dans la partie "classement des articles par catégories", et je voulais avoir vos avis et conceils sur l'algorithme de classement supervisé que vous jugé le plus apte à être employé, je n'ai jamais touché aux domaines de l'IA mais je suis prêt à m'y plonger sérieusement, le projet doit-être réalisé en 2 mois, ou facilement réutilisable.

Je vous remercie d'avance.

Bonjour,

si tu veux t'intéresser au domaine, commence donc pas lire la "bible" écrite par Stéphane Tufféry : Data Mining et Statistiques Décisionnelles. Si tu ne veux pas l'acheter, il est présent dans les Google Books.

Plus que de choisir une "bonne" méthode de classement, je te conseille de commencer par travailler sur l'extraction de BONS descripteurs !

Bonjour,

Tu dois lire sur la classification de documents textuels. Si vous n'avez aucune idée sur ça, je te conseille de commencer par voir comment se déroule le processus d'extraction des connaissances à partir des données, ensuite apprendre quelques méthodes de classification. Je dirais qu'il faut juste commencer par KPPv et la classification centrée, pour leur simplicité.

Pour les document textuels, il s'agit de données non structurées. Donc, il faut faire la structuration d'abord. En d'autre termes, il faut mettre le texte sous forme d'un vecteur de poids.

Le Data Mining est-il bien adapté à se que je cherche à realiser ? Ma partie ne consite pas à répondre à la demande d'un utilisateur lors d'une recherche, mon objectif est de récupérer les articles placés dans une catégorie "inconnue", les lire et déterminer les quelles des catégories connues seraient les plus judicieuses en concordance avec le sujet des articles (placer un article sur les énergies renouvelables dans la catégorie énergie).

je vais me renseigner sur les vecteurs de poids,

merci à vous.

Citation:

---

Envoyé par bambam978

Ma partie ne consite pas à répondre à la demande d'un utilisateur lors d'une recherche, mon objectif est de récupérer les articles placés dans une catégorie "inconnue", les lire et déterminer les quelles des catégories connues seraient les plus judicieuses en concordance avec le sujet des articles (placer un article sur les énergies renouvelables dans la catégorie énergie).

---

C'est la même chose !
Que ce soit l'utilisateur qui souhaite classe un élément ou un robot sur internet qui récupère un article, le problème est le même.

très bien, je suiverais vos conseils merci.

Bonjour,

dans la suite de mon projet, j'en suis venu à découper mes textes en chaînes de mots après les avoir épurés des mots "vides". Je pense que l'analyse des chaînes de mots est plus pertinente que l'analyser de mots indépendants. Mes chaînes seront délimitées par les ponctuations du texte.

Comment rendre l'analyse de chaînes de mots pertinentes ?

Une des solutions envisagées est de rechercher les mots de cette chaîne dans le dictionnaire créer préalablement (dictionnaire de chaîne de mots également). Selon le nombre de mots identiques dans les deux chaînes, la chaîne du texte gagnerai plus ou moins d'importance dans la catégorie, se qui aura pour but de donner un niveau de pertinence pour chaque catégorie, la meilleur étant à la fin choisie.

J'ai des doûtes sur l'efficacité final de mon projet. Pouvez-vous me conseiller ?

Cordialement,
Bam-Bam.