IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Intelligence artificielle Discussion :

Des chercheurs du MIT viennent de découvrir une IA qui imite le cerveau par elle-même


Sujet :

Intelligence artificielle

  1. #1
    Chroniqueur Actualités
    Avatar de Bruno
    Homme Profil pro
    Rédacteur technique
    Inscrit en
    mai 2019
    Messages
    761
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Cameroun

    Informations professionnelles :
    Activité : Rédacteur technique
    Secteur : High Tech - Produits et services télécom et Internet

    Informations forums :
    Inscription : mai 2019
    Messages : 761
    Points : 10 083
    Points
    10 083
    Par défaut Des chercheurs du MIT viennent de découvrir une IA qui imite le cerveau par elle-même
    Des chercheurs du MIT viennent de découvrir une IA qui imite le cerveau par elle-même,
    l'apprentissage automatique commence à ressembler beaucoup à la cognition humaine

    Au cours des dernières années, les modèles d'intelligence artificielle du langage sont devenus très performants dans certaines tâches. Cependant, Interrogé sur l'apprentissage automatique et ses contributions aux sciences cognitives par le Massachusetts Institute of Technology (MIT), Noam Chomsky et Steven Pinker, deux des plus grands spécialistes mondiaux des sciences linguistiques et cognitives ont exprimé beaucoup de scepticisme et une certaine déception.

    « Dans presque tous les domaines pertinents, il est difficile de voir comment l'apprentissage automatique peut apporter une quelconque contribution à la science, déplore Chomsky, en particulier à la science cognitive, quelle que soit la valeur qu'il puisse avoir dans la construction des dispositifs utiles ou pour explorer les propriétés des processus informatiques employés. »

    Nom : ia4B.jpg
Affichages : 10918
Taille : 35,3 Ko

    Bien que Pinker adopte un ton légèrement plus doux, il se fait l'écho du manque d'enthousiasme de Chomsky quant à la façon dont l'IA a fait progresser notre compréhension du cerveau : « La science cognitive elle-même a été éclipsée par les neurosciences dans les années 1990 et par l'intelligence artificielle au cours de cette décennie, mais je pense que ces domaines devront surmonter leur stérilité théorique et être réintégrés à l'étude de la cognition, la neurophysiologie et l'apprentissage automatique se sont chacun heurtés à des murs lorsqu'il s'agit d'éclairer l'intelligence. »

    Mais à mesure que notre compréhension de l'intelligence humaine et artificielle progresse, des positions comme celles-ci pourraient bientôt se retrouver sur un terrain instable. Alors que l'IA n'a pas encore atteint une cognition semblable à celle de l'homme, les réseaux neuronaux artificiels qui reproduisent le traitement du langage (un système considéré comme un élément essentiel de la cognition supérieure) commencent à ressembler étonnamment à ce que nous voyons se produire dans le cerveau.

    Au cours des dernières années, les modèles d'intelligence artificielle du langage sont devenus très performants dans certaines tâches. Ils excellent notamment à prédire le prochain mot d'une chaîne de texte ; cette technologie aide les moteurs de recherche et les applications de messagerie à prédire le prochain mot que vous allez taper. Ces modèles ont été conçus pour optimiser les performances de la fonction spécifique de prédiction du texte, sans tenter d'imiter quoi que ce soit sur la façon dont le cerveau humain effectue cette tâche ou comprend le langage.

    En début de cette année, Microsoft a par exemple annoncé qu’elle prévoyait d’utiliser l'apprentissage automatique pour ajouter la fonction de prédictions de texte à Word. L'année dernière, Kimberley de l'équipe Word et Thomas de l'équipe Outlook ont présenté la nouvelle fonctionnalité pour Word et Outlook. Selon ces derniers, il suffit de commencer à taper un document dans Word ou dans un Mail via Outlook, et les prédictions commenceront à apparaître.

    Mais une nouvelle étude menée par des neuroscientifiques du MIT suggère que la fonction sous-jacente de ces modèles ressemble à la fonction des centres de traitement du langage dans le cerveau humain. Les modèles informatiques qui obtiennent de bons résultats dans d'autres types de tâches linguistiques ne présentent pas cette similitude avec le cerveau humain, ce qui prouve que le cerveau humain pourrait utiliser la prédiction du mot suivant pour gérer le traitement du langage.

    « Plus le modèle est performant dans la prédiction du mot suivant, plus il se rapproche du cerveau humain, explique Nancy Kanwisher, professeure au département des sciences du cerveau et des sciences cognitives du MIT et chercheuse au McGovern Institute for Brain Research et du Center for Brains et auteur de la nouvelle étude. Il est étonnant que les modèles s'ajustent si bien, et cela suggère très indirectement que ce que fait le système de langage humain est peut-être de prédire ce qui va se passer ensuite. »

    En novembre, un groupe de chercheurs du MIT a publié une étude démontrant que l'analyse des tendances de l'apprentissage automatique peut ouvrir une fenêtre sur ces mécanismes de la fonction cognitive supérieure du cerveau. Ce qui est peut-être encore plus étonnant, c'est que l'étude implique que l'IA évolue de manière convergente avec la nature, sans que personne ne la programme pour cela.

    Réseaux neuronaux et prédiction du mot suivant

    Les nouveaux modèles de prédiction du mot suivant, très performants, appartiennent à une catégorie de modèles appelés réseaux neuronaux profonds. Ces réseaux contiennent des « nœuds » informatiques qui forment des connexions de force variable, et des couches qui transmettent les informations entre elles de manière prescrite.

    Au cours de la dernière décennie, les scientifiques ont utilisé des réseaux neuronaux profonds pour créer des modèles de vision capables de reconnaître des objets aussi bien que le cerveau des primates. Des recherches menées au MIT ont également montré que la fonction sous-jacente des modèles de reconnaissance visuelle des objets correspond à l'organisation du cortex visuel des primates, même si ces modèles informatiques n'ont pas été spécifiquement conçus pour imiter le cerveau.

    Dans la nouvelle étude, l'équipe du MIT a utilisé une approche similaire pour comparer les centres de traitement du langage dans le cerveau humain avec les modèles de traitement du langage. Les chercheurs ont analysé 43 modèles de langage différents, dont plusieurs sont optimisés pour la prédiction du mot suivant. Il s'agit notamment d'un modèle appelé GPT-3 (Generative Pre-trained Transformer 3), qui, à partir d'une invite, peut générer un texte similaire à celui que produirait un humain.

    OpenAI, qui a mis au point l’intelligence artificielle nommée GPT-3, a récemment annoncé qu'il est aujourd’hui utilisé dans plus de 300 applications, par des « dizaines de milliers » de développeurs et qu'il produit 4,5 milliards de mots par jour, avec une précision de 91 %. « Neuf mois après le lancement de notre premier produit commercial, l'API OpenAI, plus de 300 applications utilisent désormais GPT-3, et des dizaines de milliers de développeurs du monde entier construisent sur notre plateforme. Nous générons actuellement en moyenne 4,5 milliards de mots par jour et nous continuons à faire augmenter le trafic de production », a déclaré OpenAI.

    GPT-3 est un modèle de langage autorégressif qui utilise l'apprentissage profond pour produire des textes similaires à ceux des humains. Il s'agit du modèle de prédiction du langage de troisième génération de la série GPT-n créé par OpenAI, un laboratoire de recherche en intelligence artificielle basé à San Francisco et composé de la société à but lucratif OpenAI LP et de sa société mère, la société à but non lucratif OpenAI Inc. L'une des principales caractéristiques informatiques des modèles prédictifs tels que le GPT-3 est un élément connu sous le nom de transformateur prédictif unidirectionnel. Ce type de transformateur est capable de prédire ce qui va suivre, sur la base des séquences précédentes.

    Une caractéristique importante de ce transformateur est qu'il peut faire des prédictions sur la base d'un contexte antérieur très long (des centaines de mots), et pas seulement des derniers mots. Les scientifiques n'ont pas trouvé de circuits cérébraux ou de mécanismes d'apprentissage correspondant à ce type de traitement, précise Joshua Tenenbaum, professeur de sciences cognitives computationnelles au MIT et membre du CBMM et du Laboratoire d'intelligence artificielle du MIT (CSAIL). Cependant, les nouveaux résultats sont cohérents avec les hypothèses proposées précédemment selon lesquelles la prédiction est l'une des fonctions clés du traitement du langage.

    Le traitement du langage est un problème hautement contraignant

    « L'un des défis du traitement du langage est son aspect en temps réel, explique-t-il. Le langage arrive, et vous devez le suivre et être capable de lui donner un sens en temps réel ». Les chercheurs prévoient maintenant de construire des variantes de ces modèles de traitement du langage pour voir comment de petits changements dans leur architecture affectent leurs performances et leur capacité à s'adapter aux données neuronales humaines.

    Selon dit Tenenbaum, si nous sommes en mesure de comprendre ce que font ces modèles de langage et comment ils peuvent se connecter à des modèles qui font des choses plus proches de la perception et de la pensée, alors cela peut nous donner des modèles plus intégratifs de la façon dont les choses fonctionnent dans le cerveau. Cela pourrait nous conduire à de meilleurs modèles d'intelligence artificielle, ainsi qu'à de meilleurs modèles du fonctionnement d'une plus grande partie du cerveau et de l'émergence de l'intelligence générale, que ceux dont nous disposions jusqu'à présent.

    « L'un des principaux enseignements de ces travaux est que le traitement du langage est un problème hautement contraignant : les meilleures solutions que les ingénieurs en IA ont créées sont finalement similaires, comme le montre cet article, aux solutions trouvées par le processus évolutif qui a créé le cerveau humain. Étant donné que le réseau d'IA n'a pas cherché à imiter directement le cerveau, mais qu'il finit par lui ressembler, cela suggère que, dans un sens, une sorte d'évolution convergente s'est produite entre l'IA et la nature », explique Daniel Yamins, professeur adjoint de psychologie et d'informatique à l'université de Stanford, qui n'a pas participé à l'étude.

    Une autre grande conclusion de l'étude, et celle qui la relie le plus aux théories sur la cognition, est que plus un modèle d'IA est semblable au cerveau, plus il est capable de correspondre au comportement humain, dans ce cas, aux temps de lecture individuels des sujets.

    « Pour moi, ce résultat a changé la donne, déclare Evelina Fedorenko, professeur associé de neurosciences. Il a totalement transformé mon programme de recherche, car je n'aurais pas prédit que, de mon vivant, nous parviendrions à ces modèles explicites sur le plan informatique qui capturent suffisamment d'informations sur le cerveau pour que nous puissions réellement les exploiter afin de comprendre le fonctionnement du cerveau. »

    Lorsqu'une chaîne de mots a été présentée à chaque modèle, les chercheurs ont mesuré l'activité des nœuds qui composent le réseau. Ils ont ensuite comparé ces modèles à l'activité du cerveau humain, mesurée chez des sujets effectuant trois tâches linguistiques : écouter des histoires, lire des phrases une par une et lire des phrases dans lesquelles un seul mot est révélé à la fois. Ces ensembles de données humaines comprenaient des données de résonance magnétique fonctionnelle (IRMf) et des mesures électrocorticographiques intracrâniennes (iEEG) prises chez des personnes subissant une opération du cerveau pour l'épilepsie.

    Ils ont constaté que les modèles de prédiction du mot suivant les plus performants présentaient des schémas d'activité très proches de ceux observés dans le cerveau humain. L'activité de ces mêmes modèles était également fortement corrélée avec les mesures du comportement humain, comme la rapidité avec laquelle les personnes étaient capables de lire le texte.

    « Nous avons constaté que les modèles qui prédisent bien les réponses neuronales ont également tendance à mieux prédire les réponses du comportement humain, sous la forme de temps de lecture. Et ces deux éléments sont expliqués par les performances du modèle en matière de prédiction du mot suivant. Ce triangle relie vraiment tout », explique Martin Schrimpf, étudiant diplômé du MIT qui travaille au Center for Brains, Minds, and Machines (CBMM) du MIT. Les chercheurs prévoient également d'essayer de combiner ces modèles de langage très performants avec certains modèles informatiques que le laboratoire de Tenenbaum a déjà mis au point et qui peuvent effectuer d'autres types de tâches, comme la construction de représentations perceptuelles du monde physique.

    Selon dit Tenenbaum, si nous sommes en mesure de comprendre ce que font ces modèles de langage et comment ils peuvent se connecter à des modèles qui font des choses plus proches de la perception et de la pensée, alors cela peut nous donner des modèles plus intégratifs de la façon dont les choses fonctionnent dans le cerveau. Cela pourrait nous conduire à de meilleurs modèles d'intelligence artificielle, ainsi qu'à de meilleurs modèles du fonctionnement d'une plus grande partie du cerveau et de l'émergence de l'intelligence générale, que ceux dont nous disposions jusqu'à présent.

    « L'un des principaux enseignements de ces travaux est que le traitement du langage est un problème hautement contraignant : les meilleures solutions que les ingénieurs en IA ont créées sont finalement similaires, comme le montre cet article, aux solutions trouvées par le processus évolutif qui a créé le cerveau humain. Étant donné que le réseau d'IA n'a pas cherché à imiter directement le cerveau, mais qu'il finit par lui ressembler, cela suggère que, dans un sens, une sorte d'évolution convergente s'est produite entre l'IA et la nature », explique Daniel Yamins, professeur adjoint de psychologie et d'informatique à l'université de Stanford, qui n'a pas participé à l'étude.

    Une autre grande conclusion de l'étude, et celle qui la relie le plus aux théories sur la cognition, est que plus un modèle d'IA est semblable au cerveau, plus il est capable de correspondre au comportement humain, dans ce cas, aux temps de lecture individuels des sujets.

    Source : MIT

    Et vous ?

    Quel est votre avis sur le sujet ?

    Voir aussi :

    Microsoft prévoit d'utiliser le machine learning pour ajouter la fonction de prédictions de texte à Word, elle apportera la réduction d'erreurs d'orthographe et de grammaire

    Microsoft crée un autocompléteur de code à l'aide de GPT-3, le système de génération de texte d'OpenAI, pour combler le manque de développeurs dans le monde

    GPT-3, le système de génération de texte d'OpenAI, produit désormais 4,5 milliards de mots par jour, avec une précision de 91 %

    Open AI présente DALL-E (comme GPT-3), un modèle qui crée des images à partir de texte, pour un large éventail de concepts exprimables en langage naturel
    Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  2. #2
    Membre éclairé
    Homme Profil pro
    Chargé de projets
    Inscrit en
    décembre 2019
    Messages
    168
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 31
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Chargé de projets
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : décembre 2019
    Messages : 168
    Points : 690
    Points
    690
    Par défaut
    Citation Envoyé par Bruno Voir le message
    Des chercheurs du MIT viennent de découvrir une IA qui imite le cerveau par elle-même,
    l'apprentissage automatique commence à ressembler beaucoup à la cognition humaine
    Je me demande dans quelle mesure on peut "découvrir" une IA dans le sens ou c'est une création de l'esprit, du code... Le reste de l'article est nébuleux : on à "découvert" ce code (en soulevant un cailloux dans la jungle sauvage de GitHub ?) et il se comporterait "comme" le cerveau, ce qui bien sûr est "révolutionnaire"

    Donc : de leurs propres aveux le cerveau humain est trop compliqué à comprendre mais cette IA découverte se comporterait comme le cerveau humain qu'il ne comprenne pas pour pouvoir auto complété les recherches des gens ? Je ne vois rien de révolutionnaire la dedans. Faire correspondre l'encéphalogramme ou je ne sais quoi d'un mec qui lit et celui d'une IA semble être un progrès mais je ne vois pas à quoi ça avance exactement car du code statique ne s'adaptera jamais comme le cerveau le fait. Cette volonté de faire ressembler l'inerte au vivant est presque même un peu dérangeante dans le fond non ? Surtout pour compléter des recherches google du type "boulangerie a... PROXIMITE"

    J'abuse, en plus de toute façon j'y comprend rien

  3. #3
    Membre éclairé
    Profil pro
    Inscrit en
    janvier 2009
    Messages
    252
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : janvier 2009
    Messages : 252
    Points : 682
    Points
    682
    Par défaut
    C'est marrant...J'avais entendu parler de Noam Chomsky lorsque je débutais mes études il y a plus de trente ans.
    J'ai regardé sur Internet; le gars a 93 ans...Ca conserve de travailler au MIT

    https://fr.wikipedia.org/wiki/Noam_Chomsky

  4. #4
    Expert éminent sénior
    Avatar de Jipété
    Profil pro
    Inscrit en
    juillet 2006
    Messages
    9 675
    Détails du profil
    Informations personnelles :
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations forums :
    Inscription : juillet 2006
    Messages : 9 675
    Points : 13 855
    Points
    13 855
    Par défaut
    Bonjour,

    Citation Envoyé par Jules34 Voir le message
    [...] Surtout pour compléter des recherches google du type "boulangerie à... PROXIMITÉ"
    Les gens qui bossent dans ce domaine me donnent l'impression de se bercer d'illusions, exemple ce matin avec une recherche ggl sur typographie palavas et la première page qui remonte ne concerne que des articles sur la police municipale de la ville, celle qui fait régner l'ordre.
    J'ai essayé de comprendre et la lumière a jailli : typographie donc écriture donc police de caractères. Quel rapport avec la police municipale de Palavas ? Aucun, à part le mot police.
    Autre recherche avec typographique marseille et là, ce ne sont que des résultat concernant la typographie. Alors ? Deux poids deux mesures ? Mais là c'est le même poids, donc un poids mais deux mesures quand même ?

    Y a vraiment encore beaucoup de boulot sur ces histoires d'IA avant que ça ne soit opérationnel, si ça l'est un jour.

    Et on s'étonne que des logiciels de ce genre contrôlant des bagnoles dites autonomes provoquent des accidents ? Rien ne m'étonne plus.

    Nom : recherche_typo-palavas.png
Affichages : 1834
Taille : 76,5 Ko

    Nom : recherche_typo-mrs.png
Affichages : 1827
Taille : 139,7 Ko
    Il a à vivre sa vie comme ça et il est mûr sur ce mur se creusant la tête : peutêtre qu'il peut être sûr, etc.
    Oui, je milite pour l'orthographe et le respect du trait d'union à l'impératif.
    Après avoir posté, relisez-vous ! Et en cas d'erreur ou d'oubli, il existe un bouton « Modifier », à utiliser sans modération
    On a des lois pour protéger les remboursements aux faiseurs d’argent. On n’en a pas pour empêcher un être humain de mourir de misère.
    Mes 2 cts,
    --
    jp

  5. #5
    Expert éminent
    Avatar de Matthieu Vergne
    Homme Profil pro
    Consultant IT, chercheur IA indépendant
    Inscrit en
    novembre 2011
    Messages
    2 214
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant IT, chercheur IA indépendant
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : novembre 2011
    Messages : 2 214
    Points : 7 554
    Points
    7 554
    Billets dans le blog
    3
    Par défaut
    On s'inspire du cerveau humain pour définir des neurones artificiels, on les utilise pour reproduire des actions humaines... et on s'étonne qu'elles s'organisent/reproduisent des fonctions comme un cerveau humain ? Va falloir qu'on m'explique où est la surprise.
    Site perso
    Recommandations pour débattre sainement

    Références récurrentes :
    The Cambridge Handbook of Expertise and Expert Performance
    L’Art d’avoir toujours raison (ou ce qu'il faut éviter pour pas que je vous saute à la gorge {^_^})

Discussions similaires

  1. Des chercheurs du MIT ont conçu une puce sur le modèle des synapses du cerveau humain
    Par Victor Vincent dans le forum Intelligence artificielle
    Réponses: 4
    Dernier message: 25/01/2018, 17h27
  2. Des chercheurs du MIT testent le programme probabiliste Picture
    Par Olivier Famien dans le forum Langages de programmation
    Réponses: 8
    Dernier message: 04/05/2015, 09h19
  3. Des chercheurs du MIT mettent au point un algorithme pour détecter les erreurs du type débordements d'entier
    Par Stéphane le calme dans le forum Algorithmes et structures de données
    Réponses: 5
    Dernier message: 01/04/2015, 13h11
  4. Des chercheurs du MIT créent KLOS, un algorithme puissant de parcours de graphe non orienté
    Par Cedric Chevalier dans le forum Algorithmes et structures de données
    Réponses: 11
    Dernier message: 21/01/2014, 22h46
  5. Réponses: 9
    Dernier message: 14/08/2012, 16h38

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo