Discussion :

[dourouc05]

Mike Davies, research manager chez Intel en charge des architectures neuromorphiques, s'est permis un commentaire cinglant face à Yann Le Cun, chief artificial intelligence scientist chez Facebook (très respecté dans la communauté de l'apprentissage profond) : un réseau neuronal profond "n'apprend pas vraiment". "La rétropropagation [l'algorithme utilisé pour entraîner les réseaux neuronaux] n'a aucun rapport avec le cerveau […], ce n'est qu'une procédure d'optimisation, elle n'enseigne rien."

Il n'a jamais mis en doute les résultats obtenus par ces réseaux neuronaux. Pour faire mieux, il propose une variante : exploiter des impulsions comme communication entre neurones. Dans un réseau neuronal classique ("profond"), un neurone calcule sa sortie en fonction de ses entrées : à chaque entrée (un nombre réel, par exemple entre zéro et un) correspond un poids ; cette moyenne pondérée des entrées passe à travers une fonction d'activation et est ensuite passée aux neurones d'après. Au contraire, dans un réseau neuronal d'impulsions, les neurones communiquent uniquement à l'aide d'impulsions : un neurone n'est activé que si suffisamment d'entrées sont activées.

Ce système est beaucoup plus proche du fonctionnement du cerveau humain, selon la recherche actuelle en neurologie. Or, le cerveau est réellement capable d'intelligence, peu importe la manière de la définir ; de plus, sa puissance de calcul est phénoménale, surtout au regard de sa consommation énergétique. Cela n'est possible que grâce à une énorme économie de moyens : un neurone envoie assez rarement une impulsion. Pendant ce temps, justement, le développement de processeurs spécifiques pour les réseaux neuronaux "classiques" bute sur l'exploitation du caractère épars des données.

Justement, Intel a récemment proposé une nouvelle puce pour les réseaux neuronaux à impulsions : (Loihi pas encore basée sur des transistors MESO). Celle-ci tend à consommer bien moins d'énergie pour effectuer de l'inférence (avec une précision moindre, cependant, sur une expérience de reconnaissance de mot clé). Sur une autre tâche (une classification plus classique), Loihi a pu aller quarante fois plus vite (avec des impulsions) que des processeurs graphiques (avec des réseaux neuronaux classiques), avec une précision légèrement améliorée (huit pour cent).

Mike Davies a cependant reconnu une faiblesse de l'approche : même si le matériel est prêt, les algorithmes n'ont pas reçu autant d'attention que pour les autres réseaux neuronaux. Son équipe a d'ailleurs pour objectif de faire avancer la recherche à ce sujet. (À ce sujet, sa remarque faisait écho à une attaque similaire de Yann Le Cun : ce dernier annonçait qu'il ne fallait pas perdre de temps avec "des algorithmes qui ne marchent pas").

Source : Intel’s neuro guru slams deep learning: ‘it’s not actually learning’.

Voir aussi : Benchmarking Keyword Spotting Efficiency on Neuromorphic Hardware.

[super_navide]

Non la solution est de faire ce que les humains font depuis la nuit des temps trouver les relations/modèle mathématique qui modélise notre environnement.
Un réseau de neurone est juste une boite noir qui permet de corréler des entré et des sortie, mais il n'explique rien.
Pourtant dans le domaine des sciences on cherche a avoir des relation entre les entré et les sortie sous forme d'algorithme ou de fonction mathématique genre
U= RI
PV=nRT
etc ...
donc il y a encore bcp de boulot ....

[onilink_]

Déjà, ce ne sont pas des boites noires au sens strict du terme, car tu peux faire de la rétro ingénierie (on a accès précisément a toutes les données) et comprendre leur fonctionnement.
Il y a beaucoup de recherche pour justement comprendre comment les réseau convolutifs fonctionnent, et on comprend de mieux en mieux pourquoi ça marche si bien.
https://distill.pub/2017/feature-visualization/

Ensuite, décrire un système complexe avec un modèle précis n'est pas toujours réalisable, surtout dans le domaine de l'intelligence artificielle.
En plus d'être limité par la théorie, on est tout bêtement limité par les performances... certains calculs théoriques étant tout simplement irréalisables.


Bref, je le trouve bien présomptueux ce Mike Davies, à croire qu'il peut dire ou non ce qui est intelligent ou pas.
Qu'il apporte une réelle preuve plutôt que de dire que ce n'est pas "intelligent" car "ce n'est pas une copie carbone de ce qui se passe dans notre cerveau".

Après c'est très bien de chercher d'autres solutions, mais il faut arrêter ces joutes marketing...

[Matthieu76]

Je ne suis absolument pas d'accord avec Mike Davies ce n'est pas parce que les réseaux de neurones à spike sont plus inspiré du cerveaux humain que les réseaux de neurones artificielle "classique" qu'ils sont meilleurs. Le cerveaux humain doit faire face à des contraintes physiques et biologies que l’algorithmie n'a pas, reproduire à la lettre ces contraintes est complètement débile.

Sur une autre tâche (une classification plus classique), Loihi a pu aller quarante fois plus vite (avec des impulsions) que des processeurs graphiques (avec des réseaux neuronaux classiques), avec une précision légèrement améliorée (huit pour cent).

Sur quel jeu de données ? Quels type de réseaux de neurones ? Combien de neurones ? Ça veut dire quoi classique, de la reconnaissance d'images ?

Sans aucune autre information cela n'est pas vraiment pertinent, surtout qu'en classification une différence de 8% est vraiment énorme.

De plus j'ai bossé sur les réseaux de neurones à spike lors de mon stage de master et je n'ai lu aucun article qui disais que les les réseaux de neurones à spikes avait une meilleur précision que les réseaux de neurones artificielle "classique", bien au contraire.

En conclusion cette article est très intéressant mais me laisse un peu perplexe Il faudrait approfondir le sujet ... Mais un peu la flemme