Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #1
    Responsable Qt & Livres


    Avatar de dourouc05
    Homme Profil pro
    Ingénieur de recherche
    Inscrit en
    août 2008
    Messages
    24 676
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Val de Marne (Île de France)

    Informations professionnelles :
    Activité : Ingénieur de recherche
    Secteur : Enseignement

    Informations forums :
    Inscription : août 2008
    Messages : 24 676
    Points : 165 713
    Points
    165 713

    Par défaut Les réseaux neuronaux "n'apprennent pas vraiment"

    Mike Davies, research manager chez Intel en charge des architectures neuromorphiques, s'est permis un commentaire cinglant face à Yann Le Cun, chief artificial intelligence scientist chez Facebook (très respecté dans la communauté de l'apprentissage profond) : un réseau neuronal profond "n'apprend pas vraiment". "La rétropropagation [l'algorithme utilisé pour entraîner les réseaux neuronaux] n'a aucun rapport avec le cerveau […], ce n'est qu'une procédure d'optimisation, elle n'enseigne rien."

    Il n'a jamais mis en doute les résultats obtenus par ces réseaux neuronaux. Pour faire mieux, il propose une variante : exploiter des impulsions comme communication entre neurones. Dans un réseau neuronal classique ("profond"), un neurone calcule sa sortie en fonction de ses entrées : à chaque entrée (un nombre réel, par exemple entre zéro et un) correspond un poids ; cette moyenne pondérée des entrées passe à travers une fonction d'activation et est ensuite passée aux neurones d'après. Au contraire, dans un réseau neuronal d'impulsions, les neurones communiquent uniquement à l'aide d'impulsions : un neurone n'est activé que si suffisamment d'entrées sont activées.

    Ce système est beaucoup plus proche du fonctionnement du cerveau humain, selon la recherche actuelle en neurologie. Or, le cerveau est réellement capable d'intelligence, peu importe la manière de la définir ; de plus, sa puissance de calcul est phénoménale, surtout au regard de sa consommation énergétique. Cela n'est possible que grâce à une énorme économie de moyens : un neurone envoie assez rarement une impulsion. Pendant ce temps, justement, le développement de processeurs spécifiques pour les réseaux neuronaux "classiques" bute sur l'exploitation du caractère épars des données.

    Justement, Intel a récemment proposé une nouvelle puce pour les réseaux neuronaux à impulsions : (Loihi pas encore basée sur des transistors MESO). Celle-ci tend à consommer bien moins d'énergie pour effectuer de l'inférence (avec une précision moindre, cependant, sur une expérience de reconnaissance de mot clé). Sur une autre tâche (une classification plus classique), Loihi a pu aller quarante fois plus vite (avec des impulsions) que des processeurs graphiques (avec des réseaux neuronaux classiques), avec une précision légèrement améliorée (huit pour cent).

    Mike Davies a cependant reconnu une faiblesse de l'approche : même si le matériel est prêt, les algorithmes n'ont pas reçu autant d'attention que pour les autres réseaux neuronaux. Son équipe a d'ailleurs pour objectif de faire avancer la recherche à ce sujet. (À ce sujet, sa remarque faisait écho à une attaque similaire de Yann Le Cun : ce dernier annonçait qu'il ne fallait pas perdre de temps avec "des algorithmes qui ne marchent pas").

    Source : Intel’s neuro guru slams deep learning: ‘it’s not actually learning’.

    Voir aussi : Benchmarking Keyword Spotting Efficiency on Neuromorphic Hardware.
    Vous souhaitez participer aux rubriques Qt ou PyQt (tutoriels, FAQ, traductions), HPC ? Contactez-moi par MP.

    Créer des applications graphiques en Python avec PyQt5
    Créer des applications avec Qt 5.

    Pas de question d'ordre technique par MP !

  2. #2
    Nouveau Candidat au Club

    Profil pro
    Inscrit en
    juin 2003
    Messages
    434
    Détails du profil
    Informations personnelles :
    Âge : 43
    Localisation : Afghanistan

    Informations forums :
    Inscription : juin 2003
    Messages : 434
    Points : 0
    Points
    0
    Billets dans le blog
    1

    Par défaut

    Non la solution est de faire ce que les humains font depuis la nuit des temps trouver les relations/modèle mathématique qui modélise notre environnement.
    Un réseau de neurone est juste une boite noir qui permet de corréler des entré et des sortie, mais il n'explique rien.
    Pourtant dans le domaine des sciences on cherche a avoir des relation entre les entré et les sortie sous forme d'algorithme ou de fonction mathématique genre
    U= RI
    PV=nRT
    etc ...
    donc il y a encore bcp de boulot ....

  3. #3
    Membre expérimenté Avatar de onilink_
    Profil pro
    Inscrit en
    juillet 2010
    Messages
    371
    Détails du profil
    Informations personnelles :
    Âge : 27
    Localisation : France

    Informations forums :
    Inscription : juillet 2010
    Messages : 371
    Points : 1 406
    Points
    1 406

    Par défaut

    Déjà, ce ne sont pas des boites noires au sens strict du terme, car tu peux faire de la rétro ingénierie (on a accès précisément a toutes les données) et comprendre leur fonctionnement.
    Il y a beaucoup de recherche pour justement comprendre comment les réseau convolutifs fonctionnent, et on comprend de mieux en mieux pourquoi ça marche si bien.
    https://distill.pub/2017/feature-visualization/

    Ensuite, décrire un système complexe avec un modèle précis n'est pas toujours réalisable, surtout dans le domaine de l'intelligence artificielle.
    En plus d'être limité par la théorie, on est tout bêtement limité par les performances... certains calculs théoriques étant tout simplement irréalisables.


    Bref, je le trouve bien présomptueux ce Mike Davies, à croire qu'il peut dire ou non ce qui est intelligent ou pas.
    Qu'il apporte une réelle preuve plutôt que de dire que ce n'est pas "intelligent" car "ce n'est pas une copie carbone de ce qui se passe dans notre cerveau".

    Après c'est très bien de chercher d'autres solutions, mais il faut arrêter ces joutes marketing...
    Des tutos de pixel art: https://twitter.com/OniMille

  4. #4
    Membre éclairé Avatar de Matthieu76
    Homme Profil pro
    Consultant informatique
    Inscrit en
    mars 2013
    Messages
    564
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Hauts de Seine (Île de France)

    Informations professionnelles :
    Activité : Consultant informatique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : mars 2013
    Messages : 564
    Points : 855
    Points
    855

    Par défaut ?

    Je ne suis absolument pas d'accord avec Mike Davies ce n'est pas parce que les réseaux de neurones à spike sont plus inspiré du cerveaux humain que les réseaux de neurones artificielle "classique" qu'ils sont meilleurs. Le cerveaux humain doit faire face à des contraintes physiques et biologies que l’algorithmie n'a pas, reproduire à la lettre ces contraintes est complètement débile.

    Sur une autre tâche (une classification plus classique), Loihi a pu aller quarante fois plus vite (avec des impulsions) que des processeurs graphiques (avec des réseaux neuronaux classiques), avec une précision légèrement améliorée (huit pour cent).
    Sur quel jeu de données ? Quels type de réseaux de neurones ? Combien de neurones ? Ça veut dire quoi classique, de la reconnaissance d'images ?

    Sans aucune autre information cela n'est pas vraiment pertinent, surtout qu'en classification une différence de 8% est vraiment énorme.

    De plus j'ai bossé sur les réseaux de neurones à spike lors de mon stage de master et je n'ai lu aucun article qui disais que les les réseaux de neurones à spikes avait une meilleur précision que les réseaux de neurones artificielle "classique", bien au contraire.

    En conclusion cette article est très intéressant mais me laisse un peu perplexe Il faudrait approfondir le sujet ... Mais un peu la flemme

Discussions similaires

  1. IA : Google montre que les réseaux neuronaux sont capables de créer leur propre chiffrement
    Par Michael Guilloux dans le forum Intelligence artificielle
    Réponses: 4
    Dernier message: 29/10/2016, 17h14
  2. Réponses: 16
    Dernier message: 13/02/2016, 19h54
  3. Questions d'ordre général sur les réseaux neuronaux et les algorithmes génétiques
    Par Vincent PETIT dans le forum Méthodes prédictives et apprentissage automatique
    Réponses: 9
    Dernier message: 09/03/2015, 09h54
  4. Après les réseaux neuronaux avec apprentissage génétique
    Par lilalex dans le forum Méthodes prédictives et apprentissage automatique
    Réponses: 3
    Dernier message: 16/09/2014, 20h18

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo