IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Actualités Discussion :

Pourquoi la nouvelle IA "liquide" de MIT est-elle une innovation révolutionnaire ?

  1. #1
    Expert éminent sénior

    Homme Profil pro
    Consultant informatique
    Inscrit en
    Avril 2018
    Messages
    1 548
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Côte d'Ivoire

    Informations professionnelles :
    Activité : Consultant informatique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Avril 2018
    Messages : 1 548
    Points : 125 220
    Points
    125 220
    Par défaut Pourquoi la nouvelle IA "liquide" de MIT est-elle une innovation révolutionnaire ?
    Pourquoi la nouvelle IA "liquide" de MIT est-elle une innovation révolutionnaire ?
    Elle apprend continuellement de son expérience du monde

    Alors que la plupart des algorithmes d'apprentissage machine actuels – qui sont comparés au cerveau humain et toute sa belle complexité – ne peuvent pas affiner leurs compétences au-delà d'une période de formation initiale, un groupe d’ingénieurs a mis au point une nouvelle approche qui s’inspire du cerveau d'un minuscule ver. Et cette simplicité a payé, selon le document de recherche des ingénieurs. En effet, le réseau de neurones qui en résulte est efficace, transparent, et son point fort est qu’il permet d'apprendre tout au long de la vie.

    Le monde de la technologie regorge de mises à jour sur les dernières innovations dans le domaine de l’IA. Des applications telles que l'apprentissage machine, la vision par ordinateur, l'apprentissage approfondi, le traitement du langage naturel et les réseaux de neurones sont en cours de déploiement et influencent les résultats de plusieurs secteurs industriels. Parmi celles-ci, le réseau neuronal a acquis un statut de grand intérêt dans la communauté scientifique, car il s'inspire des informations sur les processus du système nerveux biologique. En émulant les fonctions du cerveau humain, il aide à développer des modèles de calcul équipés pour la reconnaissance des formes et, enfin, la délibération de nouvelles informations.

    Nom : N01.jpg
Affichages : 85992
Taille : 41,9 Ko

    Cependant, comme les réseaux neuronaux ne peuvent pas être programmés directement pour une application quelconque, ils doivent d'abord être formés, avant d'apprendre à partir du flux de données d'entrée. Récemment, une équipe de chercheurs du MIT a formé ce sous-ensemble de l'apprentissage machine à s'adapter et à apprendre en permanence à partir des données entrées. La nouvelle approche, appelée "réseau neuronal liquide", possède une sorte de "neuroplasticité" intégrée, selon les chercheurs. En termes simples, ce nouveau modèle de réseau neuronal est capable d'adapter son comportement sous-jacent après la phase initiale de formation.

    L'architecture de l'algorithme a été inspirée par les 302 neurones qui composent le système nerveux du Caenorhabditis elegans, un minuscule nématode (ou ver). Dans un document publié en décembre dernier, le groupe, qui comprend des chercheurs du MIT et de l'Institut autrichien des sciences et technologies, a déclaré que malgré sa simplicité, C. elegans est capable d'un comportement étonnamment intéressant et varié.

    Le groupe de travail dirigé par Hasani, post-doctorant du laboratoire d'informatique et d'intelligence artificielle du MIT (CSAIL) et auteur principal de l'étude, a codé son réseau de neurones en portant une attention particulière à la façon dont les neurones du C. elegans s'activent et communiquent entre eux par des impulsions électriques. Dans les équations que les chercheurs ont utilisées pour structurer leur réseau neuronal, ils ont laissé les paramètres changer au fil du temps en se basant sur les résultats d'un ensemble imbriqué d'équations différentielles.

    Pour tester son approche, l'équipe a choisi une tâche particulièrement importante : le maintien des voitures autonomes sur leur voie. Le réseau neuronal reçoit en entrée des images de caméra de la route et doit décider automatiquement de se diriger à droite ou à gauche. Leur algorithme était beaucoup plus simple que les autres algorithmes d'apprentissage machine de pointe, et pourtant il était capable d'accomplir des tâches similaires, comme par exemple garder une voiture dans sa voie.

    « Aujourd'hui, des modèles d'apprentissage profond comportant plusieurs millions de paramètres sont souvent utilisés pour apprendre des tâches complexes telles que la conduite autonome », a déclaré l’année dernière Mathias Lechner, doctorant à l'Institut autrichien des sciences et des technologies et co-auteur de l'étude. « Cependant, notre nouvelle approche nous permet de réduire la taille des réseaux de deux ordres de grandeur. Nos systèmes n'utilisent que 75 000 paramètres pouvant être formés ». Depuis l’année dernière, le groupe a ajouté de nouvelles capacités à son système.

    Une IA "liquide" dont les paramètres continuent à changer avec le temps et l'expérience

    La sortie d'un réseau de neurones - tourner le volant vers la droite, par exemple - dépend d'un ensemble de connexions pondérées entre les neurones du réseau. Dans le cerveau humain, c'est la même chose. Chaque cellule du cerveau est connectée à de nombreuses autres cellules. Le fait qu'une cellule particulière se mette en marche ou non dépend de la somme des signaux qu'elle reçoit. Au-delà d'un certain seuil - ou poids - la cellule envoie un signal à son propre réseau de connexions en aval.

    Dans un réseau neuronal, ces poids sont appelés paramètres. À mesure que le système alimente le réseau en données, ses paramètres convergent vers la configuration qui donne les meilleurs résultats. Habituellement, les paramètres d'un réseau neuronal sont verrouillés après l'entraînement, et l'algorithme est mis en œuvre. Mais dans le monde réel, cela peut signifier que l'algorithme est un peu fragile - si l'algorithme s'écarte trop de sa formation, il se casse. Ce qui n'est pas un résultat idéal.

    En revanche, dans le "réseau neuronal liquide" de MIT, les paramètres peuvent continuer à changer avec le temps et l'expérience. L'IA apprend sur le tas. Cette adaptabilité signifie que l'algorithme a moins de chances de se casser lorsque le monde réel envoie des informations nouvelles ou bruyantes, par exemple, lorsque la pluie masque la caméra d'une voiture autonome. En outre, contrairement aux algorithmes plus importants, dont le fonctionnement interne est largement impénétrable, l'architecture simple de l'algorithme permet aux chercheurs de regarder à l'intérieur et de vérifier ses décisions.

    Selon Hasani, les données de séries chronologiques sont à la fois omniprésentes et essentielles à notre compréhension du monde. « Le monde réel est fait de séquences. Même notre perception - vous ne percevez pas des images, vous percevez des séquences d'images », dit-il. « Donc, les données des séries temporelles créent en fait notre réalité ».

    Hasani cite le traitement de vidéo, les données financières et les applications de diagnostic médical comme exemples de séries chronologiques qui sont au cœur de la société. Les vicissitudes de ces flux de données en constante évolution peuvent être imprévisibles. Pourtant, l'analyse de ces données en temps réel, et leur utilisation pour anticiper les comportements futurs, peuvent stimuler le développement de technologies émergentes comme les voitures autonomes.

    Un algorithme adaptable qui consomme relativement peu de puissance de calcul ferait un cerveau de robot idéal. Ramin Hasani pense que cette approche pourrait être utile dans d'autres applications qui impliquent l'analyse en temps réel de nouvelles données comme le traitement vidéo ou l'analyse financière. Elle pourrait également faciliter la prise de décision basée sur des flux de données impliqués dans le diagnostic médical.

    L’équipe prévoit de continuer à utiliser cette approche pour la rendre pratique. « Nous disposons d'un réseau neuronal plus expressif qui s'inspire de la nature. Mais ce n'est que le début du processus », a déclaré Hasani. « La question évidente est de savoir comment étendre cela ? Nous pensons que ce type de réseau pourrait être un élément clé des futurs systèmes d’IA ».

    Une nouvelle IA "liquide" avec une taille réduite change-t-elle tout ?

    Selon Hasani, ni la nouvelle capacité du "réseau neuronal liquide", ni sa stature réduite ne semblaient freiner l'IA. L'algorithme s'est avéré aussi performant, voire meilleur, que d'autres algorithmes de séquence temporelle de pointe pour prédire les prochaines étapes d'une série d'événements. « Tout le monde parle d'étendre son réseau », a déclaré Hasani. « Nous voulons réduire l'échelle, avoir moins de nœuds, mais plus riches ».

    À l'heure où de grands acteurs comme OpenAI et Google font régulièrement la une des journaux avec des algorithmes d'apprentissage machine géants, c'est un exemple fascinant d'une approche alternative allant dans la direction opposée. L'algorithme GPT-3 d'OpenAI a impressionné l’année dernière, tant pour sa taille - à l'époque, un record de 175 milliards de paramètres - que pour ses capacités. Un récent algorithme de Google, formé en janvier, a dépassé les records avec plus de mille milliards de paramètres.

    Pourtant, les critiques s'inquiètent de la tendance à l'augmentation constante des systèmes d'IA, qui est source de gaspillage et de coûts et qui concentre la recherche entre les mains de quelques entreprises disposant de fonds pour financer des modèles à grande échelle. De plus, ces modèles gigantesques sont des "boîtes noires", leurs actions étant largement impénétrables. Cela peut être particulièrement problématique lorsque des modèles non supervisés sont formés sur Internet. On ne peut pas contrôler quelles mauvaises habitudes ils vont prendre.

    De plus en plus, les chercheurs universitaires s'efforcent de résoudre certains de ces problèmes. Alors que des entreprises comme OpenAI, Google et Microsoft s'efforcent de prouver l'hypothèse du "bigger is better", il est possible que de sérieuses innovations en matière d'efficacité de l'IA apparaissent ailleurs afin de juguler le manque de ressources.

    Hasani dit que son réseau liquide contourne l'impénétrabilité commune aux autres réseaux neuronaux, « En changeant simplement la représentation d'un neurone », dit-il. « Le modèle lui-même est plus riche en termes d'expressivité ». Cela pourrait aider les ingénieurs à comprendre et à améliorer les performances du réseau neuronal liquide. Cette recherche a été financée, en partie, par Boeing, la National Science Foundation, le Fonds autrichien pour la science et Electronic Components and Systems for European Leadership.

    Sources : Document recherche, IST d'Australie

    Et vous ?

    Que pensez-vous de cette nouvelle approche du réseau neuronal inspirée du cerveau d’un ver ?
    Le modèle n’utilise que 75 000 paramètres, comparés aux 175 milliards de paramètres de GPT-3 d'OpenAI et aux plus de mille milliards de paramètres dans un récent algorithme de Google. Qu’en pensez-vous ?
    Quels sont les avantages de cette approche simplifiée, selon vous ?

    Voir aussi :

    Open AI propose en bêta privée son modèle de traitement du langage naturel GPT-3, ses applications vont de la génération de texte cohérent à la génération de code en passant par la création d'apps
    Google utilise l'intelligence artificielle pour concevoir des puces plus efficaces et moins gourmandes en énergie, qui accéléreront le développement de l'IA, selon l'entreprise
    États-Unis : une loi donne un coup de pouce à la recherche sur l'intelligence artificielle, un Cloud national est prévu pour accélérer la formation des algorithmes d'IA
    Microsoft embarque les accélérateurs d'IA de Graphcore à sa plateforme cloud Azure, pour optimiser les calculs liés à l'intelligence artificielle
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  2. #2
    Membre averti

    Homme Profil pro
    Directeur de projet
    Inscrit en
    Juillet 2003
    Messages
    106
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 42
    Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Directeur de projet
    Secteur : Transports

    Informations forums :
    Inscription : Juillet 2003
    Messages : 106
    Points : 354
    Points
    354
    Par défaut Intéressant
    Les progrès en terme d'IA ces dernières années m'impressionne, et notamment cette IA "liquide". En effet quoi de mieux que de mimer la nature, et l'on voit q'un petit réseau de neurones peut effectuer des taches variées, au lieu de multiplier a l'infini des capacités (comme toujours), avec les couts techniques et écologiques que cela comporte.

  3. #3
    Membre habitué
    Homme Profil pro
    Chef de projet MOA
    Inscrit en
    Mai 2015
    Messages
    82
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 53
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Chef de projet MOA
    Secteur : High Tech - Opérateur de télécommunications

    Informations forums :
    Inscription : Mai 2015
    Messages : 82
    Points : 157
    Points
    157
    Par défaut
    Les réseaux de neurones versus le code classique, c'est un peu comme Darwin versus Descartes, l'évolution versus le créationnisme, le chaos versus dieu...: laissez faire avec des lois simples mais puissantes, combinables à l'infini, et vous obtenez ce que vous voudrez. Or l'évolution animale a créé les plus grandes intelligences chez les primates (dont l'homme), les cétacés (dauphins, orques...), et les oiseaux: ils savent compter et communiquer en grands groupes. Et s'orienter, pour les 2 derniers, en 3D (dans l'eau ou l'air) sur des distances gigantesques, plus que nous.
    Voire "parler en 3D" car nous avons découvert que les dauphins émettaient avec leur cavité frontale, leur sonar, une onde représentant des formes, par exemple un cercle comme un fumeur peut en faire , pour représenter une bouée gonflable. Quand nous, humains, sommes si restreints avec notre langue et écriture en 2D (à part les élitistes UML et autres Merise/SADT/RT... ou les chronophages slides powerpoint).

    https://fr.wikipedia.org/wiki/Liste_...re_de_neurones : 86 millions de neurones pour l'homme, 257 pour l'éléphant... mais nous en avons 21 millions dans le cortex, lui n'en a "que" 11... mais le globicéphale en a 37!
    Notez que les insectes ont moins d'1 million de neurones, les premiers animaux "intelligents" (souris, rats, petits mammifères, oiseaux...) plusieurs centaines de millions, les grands mammifères 1 à 10 milliards, l'homme 86, l'éléphant ..257!, mais que nous avons 150 000 milliards de synapses! (et le chat 10 000 milliards, le rat 400 milliards...). 17 000 connexion par neurones... (comme le chat ou la souris, alors que le rat n'en a que 2000, l'abeille 1000, et le moustique 40!)
    Moins de neurones, plus de connexions= meilleure intelligence?

    Mieux, ce qui fait l'intelligence est une partie du cerveau capable de faire des associations entre sensations et donc des représentations: https://en.wikipedia.org/wiki/List_o...tive_structure : oups, l'humain n'est plus, de loin, l'animal le plus intelligent!
    (chiens, cheval, grand oiseaux: autour du milliard de ces neurones, grand singes, perroquets éléphants "phoques" et cétacés bien plus, 21 milliards pour l'homme dauphins et les baleines, et jusqu'à 43 pour les dauphins et les orques!)

    Modéliser des neurones de base, ou plutôt leur interconnexion (nous en avons plus de 10^14 soit un ordre de 1000x le nombre de neurones), trouver le meilleur compromis (dont l'énergie nécessaire, ce que la nature a exigé aussi), est le but... et peut-être devrions nous faire faire ce travail...par des IA elle-mêmes pour que le résultat soit en évolution rapide, d'ailleurs?

    D'ici là, Neuralink, d'Elon Musk, aura fait la jonction entre GPT-42 et nous: https://waitbutwhy.com/2017/04/neuralink.html ... (à lire, très long mais excellent article pour comprendre d'où nous venons et où allons nous, non pas (que) avec l'IA mais entre nos IN, Intelligences Naturelles!)

Discussions similaires

  1. Réponses: 3
    Dernier message: 10/03/2007, 13h07
  2. Réponses: 1
    Dernier message: 19/06/2006, 16h46
  3. quote dans des valeurs d'une colonne SET
    Par Jean Fi dans le forum Requêtes
    Réponses: 6
    Dernier message: 30/03/2006, 21h16

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo