Discussion :

[mafanta]

Bonjour,

Je débute un peu dans le data mining. Et j'aimerais savoir comment se fait le choix entre un algo de classification et les réseaux de neurones.

En gros j'ai un ensemble de variables en entrée (age, sexe,salaires, etc..) et je dois prédire une colonne en sortie (booléen décrivant si l'individu est acheteur ou pas) et apparement c'est l'algo de classification qui marche mieux que le réseau de neurones (tests réalisés sous sql server). Alors comment aurais-je pu choisir directement l'arbre de classification? Je suis preneur de tout type d'indication.

J'aimerais juste comprendre comment se fait le choix entre les 2 algorithmes?
PS: Dans mon message précédent au lieu d'algo de classification comprenez algo d'arbres de décision.
D'avance merci.

[PRomu@ld]

En fait quand tu parles de méthode de classification et de réseaux de neurones, c'est assez vague.

De quelle méthode de classification parles-tu ? K-Means ? Approche Bayésienne ?

De plus, les réseaux de neurones sont des outils qui permettent de faire une classification, c'est donc clairement un outils de classification.

Bref ta question est assez bizarre, il faut que tu détailles (beaucoup) plus pour qu'on puisse te répondre.

[ToTo13]

En fait quand tu parles de méthode de classification et de réseaux de neurones, c'est assez vague.

De quelle méthode de classification parles-tu ? K-Means ? Approche Bayésienne ?

De plus, les réseaux de neurones sont des outils qui permettent de faire une classification, c'est donc clairement un outils de classification.

Bref ta question est assez bizarre, il faut que tu détailles (beaucoup) plus pour qu'on puisse te répondre.

+1.
Il est bien aussi de tester plusieurs algorithmes de classement : SVM, forêts aléatoires (mon préféré en ce moment), etc.

[Aleph69]

Bonjour,

il faudrait préciser quelles sont les données, quel est l'arbre de décision utilisé et quel est le réseau de neurones utilisé. D'après mon expérience, les mauvais résultats obtenus avec les réseaux de neurones sont généralement dus à l'absence d'une démarche de sélection de modèle, notamment en ce qui concerne l'architecture (nombre de couches cachées, nombre de neurones par couche).

[medchok]

Bonjour,

Aleph69, ayant vu vôtre réponse et particulièrement les propos : "D'après mon expérience, les mauvais résultats obtenus avec les réseaux de neurones sont généralement dus à l'absence d'une démarche de sélection de modèle, notamment en ce qui concerne l'architecture (nombre de couches cachées, nombre de neurones par couche).", permettez-moi de vous demander de bien vouloir m'indiquer une documentation traitant de méthodologie de choix de type ou d'architecture et de topologie de réseau approprié à un problème donné. Bien entendu, je ne parle pas des différentes définitions d'architectures possibles, entre autres existantes un peu partout, mais plutôt de vrais méthodologies pour bien définir son réseau en partant de la simple spécification du problème à résoudre.

Vous remerciant d'avance

[medchok]

Bonjour,

Mafanta, je ne sais pas trop si j'ai bien compris le sens de vôtre interrogation à laquelle je vais tenter d'apporter quelques éléments de réponse, espérant me rendre utile ne serait ce que peu.

A mon sens, lorsqu'on dispose d'une série d'algorithmes proposés pour répondre à un problème donné le meilleur serait celui donnant la solution optimale ou celle se rapprochant de l'optimalité donc faisant le moins d'erreurs et ce, indépendamment de la nature des algorithmes en question et particulièrement indépendamment du fait que ce soient des réseaux de neurones artificels, des arbres de décision ou tout autre classifieur ou prédicteur.

En gros, les réseaux de neurones, les SVM ou les arbres de décision peuvent avoir une bonne résonance mais ce n'est pas pour autant qu'ils seront meilleurs qu'un tout petit code avec une simple formule mathématique si celui-ci arrive à donner une solution optimale.

Bien à Vous

[mafanta]

Bonjour,

Mafanta, je ne sais pas trop si j'ai bien compris le sens de vôtre interrogation à laquelle je vais tenter d'apporter quelques éléments de réponse, espérant me rendre utile ne serait ce que peu.

A mon sens, lorsqu'on dispose d'une série d'algorithmes proposés pour répondre à un problème donné le meilleur serait celui donnant la solution optimale ou celle se rapprochant de l'optimalité donc faisant le moins d'erreurs et ce, indépendamment de la nature des algorithmes en question et particulièrement indépendamment du fait que ce soient des réseaux de neurones artificels, des arbres de décision ou tout autre classifieur ou prédicteur.

En gros, les réseaux de neurones, les SVM ou les arbres de décision peuvent avoir une bonne résonance mais ce n'est pas pour autant qu'ils seront meilleurs qu'un tout petit code avec une simple formule mathématique si celui-ci arrive à donner une solution optimale.

Bien à Vous

Tout d'abords merci à tous pour vos réponses.
Je comprends un peu mieux maintenant.
en gros quand on a un probleme il faut faire tourner plusieurs algo sur ses données puis voir celui qui prédit le mieux suivant le taux d'erreur.
En fait moi je croyais que quand on a un problème il y'a forcément un type d'algo qui doit être appliqué. Par exemple un probleme de prédiction comme le mien, je pensais qu'il fallait toujours choisir l'arbre de décision et ne jamais choisir les réseaux de neurones etc..

merci.

[Aleph69]

Bonjour,

En gros, les réseaux de neurones, les SVM ou les arbres de décision peuvent avoir une bonne résonance mais ce n'est pas pour autant qu'ils seront meilleurs qu'un tout petit code avec une simple formule mathématique si celui-ci arrive à donner une solution optimale.

Oui, c'est bien connu et il y a même une théorie là-dessus, les théorèmes "no free lunch". La véritable question est d'identifier les algorithmes donnant les meilleurs performances en moyenne. C'est comme au poker : on peut gagner avec 7 et 2 devant une paire d'as mais sur "le long terme" (comprendre "en moyenne"), il est tout de même préférable de partir avec une paire d'as!

[Aleph69]

Bonjour,

permettez-moi de vous demander de bien vouloir m'indiquer une documentation traitant de méthodologie de choix de type ou d'architecture et de topologie de réseau approprié à un problème donné.

La méthodologie est simple et toujours la même. La base de données est divisée en 3 bases distinctes, l'une pour l'apprentissage, l'une pour le test et la dernière pour la validation. On boucle sur plusieurs valeurs des paramètres de l'algorithme d'apprentissage employé (nombre de couches cachées, nombre de neurones par couches, taux d'apprentissage, etc). Il y a bien sûr autant de boucles que de paramètres à optimiser. A chaque itération, on apprend un modèle avec l'algorithme étudié et la base d'apprentissage puis on évalue les performances de ce modèle sur la base de validation à l'aide d'un ou plusieurs critères (taux d'erreur, critère d'Akaike, critère BIC, etc). Une fois sorti des boucles, on sélectionne le meilleur modèle, i.e. le jeu de paramètres qui a donné les meilleurs performances selon le critère d'évaluation retenu. On peut ensuite appliqué ce modèle à la base de test pour estimer le biais et la variance par exemple.

[KDacy]

Bonjour à tous,

Je me permets d'intervenir suite à la remarque d'un membre proposant les kmeans comme méthode de classification. Attention, les Kmeans font partie des méthodes de "clustering" et non de classification.

la classification regroupe des méthodes d'apprentissage supervisé, i.e. la classe est connue à priori.
le clustering regroupe les méthodes d'apprentissage non supervisé, i.e. la classe n'est pas connue à priori.

Les deux approches conduisent à diviser une population en fonction de leurs attributs.

Concernant le choix d'une approche, comme cela a été souligné, en premier il convient de prendre en considération la nature de tes attributs (continus, discrets, ...) afin de réduire le pré-processing des données. Ensuite, le choix d'un algorithme peut se faire par comparaison des résultats obtenus sur différents jeux de données.

[mafanta]

Merci KDACY pour ces informations tres utiles!!
Encore merci.