IA : il est désormais possible de transformer l'activité cérébrale en paroles
En établissant un schéma neuronal spécifique à chaque personne

La médecine a fait de gigantesques progrès ces dernières années et aujourd’hui, on est en mesure d’effectuer des choses impensables il y a encore quelques décennies et les travaux sur l'intelligence artificielle y ont grandement contribué. On se souvient qu'il y a seulement quelques mois, une expérience menée par le consortium BrainGate, avait permis à des individus paralysés de faire fonctionner une tablette grâce à un implant cérébral et un peu plus tôt l'an dernier, des chercheurs du MIT avaient mis au point un dispositif dénommé AlterEgo capable de transcrire des mots que l'utilisateur verbalise en interne.

Toutes ces avancées donnent de l'espoir aux personnes paralysées et dans l'incapacité de parler. Il s'avère que les signaux de ce que ces personnes voudraient dire se cachent dans leurs cerveaux et le déchiffrement direct de ces signaux n'a jusqu'ici pas encore été fait, mais des avancées notoires ont été observées. En effet, trois équipes de recherche ont récemment progressé en convertissant des données générées par des électrodes placées chirurgicalement sur le cerveau en parole générée par ordinateur. Lors de ces expériences, les chercheurs ont surveillé des parties du cerveau des patients pendant que ceux-ci lisaient à voix haute, parlaient à voix basse ou écoutaient des enregistrements.

Nima Mesgarani, informaticienne à l'université de Columbia a déclaré ceci : « Nous essayons de définir le schéma de neurones qui s’allument et s’éteignent à différents moments et déduisent le son de la parole. »

La façon dont ces signaux traduisent les sons de la parole varie d'une personne à l'autre, par conséquent, les modèles informatiques doivent être adaptés pour chaque personne. Ces modèles fonctionnent mieux avec des données extrêmement précises, ce qui nécessite une ouverture du crâne.

Nom : images.jpg
Affichages : 4332
Taille : 26,1 Ko

La première équipe de recherche était constituée des chercheurs de l'université de Columbia et de l'école de médecine Hofstra Northwell à New York. Les cinq participants de cette étude étaient épileptiques et les chercheurs avaient enregistré les signaux cérébraux des cortex auditifs des participants alors que ces derniers écoutaient des enregistrements d’histoires et des personnes nommant des chiffres de zéro à neuf. Les données du signal ont été transmises à un réseau de neurones pour analyse, qui a ensuite reconstitué les fichiers audio qui ont été identifiés avec précision par les auditeurs participants 75% du temps.

La seconde équipe de recherche était constituée des neuroscientifiques Miguel Angrick de l'Université de Brême en Allemagne et Christian Herff de l'Université de Maastricht aux Pays-Bas. L'étude s'est appuyée sur les données de six personnes subissant une opération pour une tumeur au cerveau. Chaque patient a lu des mots spécifiques à voix haute pour cibler les données collectées. Une fois que les données du cerveau et les données audio ont été transmises à leur réseau neuronal pour entraînement, le programme a reçu des signaux du cerveau non inclus dans les données d'entraînement pour recréer l'audio. Selon un système de notation informatisé, environ 40% des mots générés par ordinateur étaient compréhensibles.

La troisième équipe de recherche était constituée du neurochirurgien Edward Chang et son équipe de l'Université de Californie à San Francisco. Au cours de cette étude, trois participants atteints d’épilepsie ont lu un texte à voix haute, tandis que l’activité cérébrale était capturée à partir de la parole et des zones motrices de leur cerveau afin de reconstituer des phrases entières. Lors d'un test en ligne, 166 personnes ont entendu l'une des phrases reconstituées et ont dû la sélectionner parmi 10 choix écrits. Certaines phrases ont été correctement identifiées plus de 80% du temps.

Les trois études ont démontré une capacité à reconstruire la parole sur la base de données neuronales avec une capacité significative, cependant le plus gros enjeu est celui de pouvoir le faire avec des patients qui ne peuvent pas parler. Les signaux du cerveau lorsqu'une personne parle ou entend sa voix dans sa tête ne sont pas identiques aux signaux de la parole ou de l'audition. Sans un son externe correspondant à l'activité cérébrale, il peut être difficile pour un ordinateur de déterminer le début et la fin de la parole intérieure, mais selon Herff, une des solutions pourrait consister à informer l'utilisateur de l'interface cerveau-ordinateur que s'il peut entendre l'interprétation de la parole de l'ordinateur en temps réel, il pourra peut-être ajuster ses pensées pour obtenir le résultat souhaité. Avec un entraînement suffisant à la fois des utilisateurs et des réseaux neuronaux, il se pourrait qu'on franchisse encore un cap.

Sources : science mag

Et vous ?

Pensez-vous qu'une pareille expérience sur des personnes incapables de parler pourrait réussir ?

Voir aussi :

Des chercheurs du MIT créent un dispositif dénommé AlterEgo capable de transcrire des mots que l'utilisateur verbalise en interne
Des individus paralysés font fonctionner une tablette avec un implant cérébral, une expérience menée par le consortium BrainGate
Un portrait généré par une IA se vend à près d'un demi-million de dollars lors d'une vente aux enchères à New York