Des Chinois utilisent Kinect pour transformer le langage des signes en texte

Des Chinois utilisent Kinect pour transformer le langage des signes en texte,
un système très ingénieux

La communication est un outil primordial chez les êtres humains car elle permet des interactions. Cependant, combien de fois avez-vous été en face d'une personne frappée de surdité sans comprendre ce qu'elle dit et vice versa ? Une équipe de chez Microsoft Research Asia a récemment travaillé avec l’Institut de Technologie de l’Informatique à l’Académie Chinoise des Sciences sur la conception d'un système capable de traduire le langage des signes en écriture.

En combinant les données des caméras de Kinect, les chercheurs ambitionnent d’apprendre à l’interface Kinect de la Xbox 360 à reconnaître les gestes présents dans la langue des personnes malentendantes.

Le but de ce programme est de permettre à ces personnes de pouvoir communiquer aisément avec ceux qui ne connaissent pas la langue des signes et vice versa.

http://www.youtube.com/watch?v=pFUClV1FNYo

La façon dont le système fonctionne est assez astucieuse. En enregistrant puis en normalisant les mouvements de la langue des signes, le système utilise un algorithme pour déterminer l'alignement du mouvement de la trajectoire 3D. Une fois que la machine a pu assimiler les données visuelles, elle essaye de les faire correspondre aux mots qu'elle connait par ordre de pertinence. Le système devrait aussi pouvoir transformer les textes sous formes d'avatar qui apparaîtront devant l'écran des malentendants.

Encore au stade embryonnaire, si ce projet est commercialisé il permettra sans doute de rompre la barrière de la langue entre les personnes atteintes de surdité et les autres.

Source : reconnaissance des langages de signes et traduction par Kinect (au format PDF)

Et vous ?

:fleche: Que pensez-vous de cette initiative ?

Bonsoir a tous.

(Enfin) Une application utile de la puissance de l'esprit humain et de la puissance de calcul qui en résulte dans nos machines.
Un point qui me chiffonne (c'est un détail) : je crois savoir (lire : je ne sais pas) que la langue des signe n'est pas universelle, chaque langue a ses codes. Mais il est certain qu'une fois décodées les postures des intervenants, la transcription dans chaque langage humain ne sera plus qu'un jeu d'enfant...
Mais je crains qu'il faille se convertir au chinois pour étudier les algorythmes !!!
Cordialement
Dutilleul

Je trouve l'idée vraiment sympa. Par contre

Citation:

---

Envoyé par Stéphane le calme

Cependant, combien de fois avez-vous été en face d'une personne frappé de surdité sans comprendre ce qu'elle dit et vice-versa ?

---

Jamais, ça vous arrive souvent vous ? :D

Citation:

---

Envoyé par MarieKisSlaJoue

Je trouve l'idée vraiment sympa. Par contre

Citation:

---

Envoyé par Stéphane le calme

Cependant, combien de fois avez-vous été en face d'une personne frappé de surdité sans comprendre ce qu'elle dit et vice-versa ?

---

Jamais, ça vous arrive souvent vous ? :D

---

Sauf qu'un sourd profond finit par ne plus savoir s'exprimer intelligiblement à l'oral. :?

Citation:

---

Envoyé par MarieKisSlaJoue

Jamais, ça vous arrive souvent vous ? :D

---

ça permettrait notamment d'équiper toutes les administrations recevant du public

Citation:

---

Que pensez-vous de cette initiative ?

---

C'est une très bonne initiative de la part de cette équipe de chez microsoft :ccool:

Par contre :

Citation:

---

Envoyé par Stéphane le calme

Le système devrait aussi pouvoir transformer les textes sous formes d'avatar qui apparaîtront devant l'écran des malentendants.

---

Cela existe déja, en 2007 IBM avait financé des personnes pour sortir SiSi (Say It, Sign It) qui faisait exactement celà. J'ai d'ailleurs pu utiliser cette solution en 2009 et cela fonctionnait magnifiquement.

Citation:

---

Envoyé par Voïvode

Sauf qu'un sourd profond finit par ne plus savoir s'exprimer intelligiblement à l'oral. :?

---

Faux, j'suis sourd profond et je m'en sors très bien ;)


Le Langage des signes est un choix personnel. J'ai des camarades sourds qui ont choisi de ne pas apprendre à parler. Selon eux, le handicap n'a pas lieu d'être, entre sourds et avec le langage des signes, il y a pas de problèmes de communication.

Malgré tout, je suis contre une utilisation TOTALE de la LS ( je suis pas contre la LS mais pour une utilisation exclusive de la LS , je signe tous les jours mais aussi je parle tous les jours). Malheureusement, peu de sourds apprennent la langue orale et la langue des signes. Souvent c'est soit l'un soit l'autre. Mes copains sourds se renferment dans leur monde...


Après il y a un autre problème : La langue des signes n'est pas universelle.
1 - Elle est nationale : la LSF ( Langue des Signes Francçaise ) , l'ASL ( L'American Sign Language ) ...
2- Peu normalisée : l'ASL est très normalisée mais la LSF ( du fait qu'elle était interdite jusqu aux alentours des années 2000 ) ne l'est pas assez. Chaque école emploie ses propres signes. Après avec le temps, ca va se normaliser ( j'espère ).
3- Est ce que c'est du francais signé ? car la Langue des signes a sa propre syntaxe ( pas de temps , inversion du COD et du verbe ... ).
4- La langue des signes ne comprend pas uniquement les mains, mais aussi l'expression faciale. Je ne sais pas si l'outil prend en compte ce paramètre.

Citation:

---

Envoyé par lelensois16

Après il y a un autre problème : La langue des signes n'est pas universelle.

---

J'ai toujours trouvé que c'était d'une bêtise sans nom, ç'aurait été tellement plus simple de créer une langue des signes universelle d'autant qu'elle a été créée relativement récemment, à une période où il était devenu facile de communiquer avec le reste du monde...

Citation:

---

Envoyé par lelensois16

Faux, j'suis sourd profond et je m'en sors très bien ;)


Le Langage des signes est un choix personnel. J'ai des camarades sourds qui ont choisi de ne pas apprendre à parler. Selon eux, le handicap n'a pas lieu d'être, entre sourds et avec le langage des signes, il y a pas de problèmes de communication.

Malgré tout, je suis contre une utilisation TOTALE de la LS ( je suis pas contre la LS mais pour une utilisation exclusive de la LS , je signe tous les jours mais aussi je parle tous les jours). Malheureusement, peu de sourds apprennent la langue orale et la langue des signes. Souvent c'est soit l'un soit l'autre. Mes copains sourds se renferment dans leur monde...


Après il y a un autre problème : La langue des signes n'est pas universelle.
1 - Elle est nationale : la LSF ( Langue des Signes Francçaise ) , l'ASL ( L'American Sign Language ) ...
2- Peu normalisée : l'ASL est très normalisée mais la LSF ( du fait qu'elle était interdite jusqu aux alentours des années 2000 ) ne l'est pas assez. Chaque école emploie ses propres signes. Après avec le temps, ca va se normaliser ( j'espère ).
3- Est ce que c'est du francais signé ? car la Langue des signes a sa propre syntaxe ( pas de temps , inversion du COD et du verbe ... ).
4- La langue des signes ne comprend pas uniquement les mains, mais aussi l'expression faciale. Je ne sais pas si l'outil prend en compte ce paramètre.

---

il y a quelques années j'ai rencontré une société qui propose des traducteurs en ligne grâce à un système de webcam qui apporte la video pour la LS et le son l'interlocuteur. C'est à cette occasion que j'ai appris que l'illettrisme touche 80% des sourds de naissance...d'où l'importance de ce genre de système. Ma première réaction aurait en effet été d'avoir recours à l'écrit pour communiquer :)

Citation:

---

Envoyé par Loceka

J'ai toujours trouvé que c'était d'une bêtise sans nom, ç'aurait été tellement plus simple de créer une langue des signes universelle d'autant qu'elle a été créée relativement récemment, à une période où il était devenu facile de communiquer avec le reste du monde...

---

Une certaine entreprise qui a fait faillite avec le projet de Building "Babel" s'est dit la même chose :aie:

Plus sérieusement ce n'était probablement pas un choix, les muets du monde entier ne se sont pas réunis un jour pour dire :
"On se fait une fait une langue des signes universelle ?
- Non !
- Ok tant pis, on fait ça national alors."
La diversité des langues de signe me parait aussi évidente que la diversité des langues orales, des cultures etc. Et elle n'est pas si récente que ça, toute langue a une histoire. Et difficile de renoncer totalement à son histoire pour accepter une nouvelle norme universelle, en tout cas pas en une seule génération (on en a la preuve sur tout un tas d'autres trucs).

Ben, il ya pas mal de similitudes entre signes. Genre l'ASL est insipiré de la LSF. Mais ca reste des signes nationaux.

Wikipédia :

Citation:

---

L'ASL est proche de la LSF, avec une similarité lexicale de 43 % sur une liste-type de 872 mots. Ceci est dû à l’influence de Laurent Clerc sur Thomas Hopkins Gallaudet, le fondateur aux États-Unis de la première école pour les enfants sourds en Amérique et dont le fils Edward-Miner Gallaudet fonda ensuite à Washington le Gallaudet College qui devint la seule université enseignant en Signes.

---

J'ai du mal à croire à ce chiffre de 80% d'illétrés. Il est peut être vrai pour la génération précédente. Mais notre génération a fait pas mal de progrès :
- les outils de communication actuels : Internet, l'outil de l'article, le sous-titrage, les SMS, les outils de reconnaissance vocale ... Le jour où j'ai eu mon premier PC, j'étais heureux :)
- les progrès en manière d'éducation ( même si ce n'est pas parfait ) : les sourds qui font des progrès sont intégrés dans des classes normaux pour leur habituer à un environnement normal ( de ce fait , j'ai fait 3 ans avec les sourds et 15 ans avec les entendants ).
- la reconnaissance de la langue des signes qui aide pas mal à l'émancipation sourde.

Citation:

---

Envoyé par lelensois16

J'ai du mal à croire à ce chiffre de 80% d'illétrés..

---

je ne sais pas, mais c'est un chiffre qu'on retrouve facilement sur Google.

A la réflexion ça m'a semblé logique vu que l'écrit se rapporte à l'oral. Déjà que les lettres muettes posent des problèmes d'orthographe aux entendants, que penser d'une écriture totalement muette :) enfin ça c'est une réflexion personnelle, je ne sais pas comment est appréhendée l'écrit par un sourd.

Inversement, un entendant qui fait des signes ne leur associe pas forcément des mots, alors que la lecture labiale fait partie intégrante du LS si j'ai bien compris.

sur le kinect qui est un appareil non mobile je vois moyennement l’intérêt en revanche pour des google glass, c'est une véritable Bombe.

Citation:

---

Envoyé par HelpmeMM

sur le kinect qui est un appareil non mobile je vois moyennement l’intérêt en revanche pour des google glass, c'est une véritable Bombe.

---

Ce qui est important c'est le principe et l'algo qu'il y a derrière.

Et rien qu'en fixe c'est déjà très bien et utilisable. Après effectivement ça sera bien quand ça sera mobile aussi.

Sinon
Quand on pense que la LS était interdite en France jusqu'à récemment, c'était vraiment n'importe quoi.

Vous savez que les sourds sont plus forts que les entendants à l'oral (sachant que la dictée se fait en LSF).
La raison est simple :
On écrit par rapport à ce qu'on lit et non par rapport à ce qu'on entend. Du coup, on a un meilleur niveau que les entendants en orthographe : on se trompe rarement sur les "er" , "é" , "ez". Or ces terminaisons ont un son identique , du coup , les entendants font souvent ce genre d'erreur.

Malgré tout l'apprentissage de la langue est difficile car on peine à associer les paroles orales/ les sons au sens. Pour apprendre à parler, j'utilisais un miroir ( le s ) , les vibrations du cou ...

Mais les sourds en soi n'ont pas de problème au niveau du sens. Le niveau d'intelligence est le même chez les sourds et les entendants. Je pense que la notion d'alphabétisation est à redéfinir. Les sourds doivent être bilingues bimodaux ( 2 canaux ), le problème vient de la transmission du message c'est tout... Après si la transmission du message est difficile, l'apprentissage sera difficile et là on tombe dans un cercle vicieux.

La langue des signes sert à ce but. La Lsf permet à l'enfant d'acquérir du sens, ensuite, il apprend à parler à partir du sens acquis. C'est notre référentiel, des fois, je pense en LSF et non en langue orale ( bizarre ?).

Couplé avec un système de type "Google glass", ça pourrait devenir très utile. J'imagine aussi relier les lunettes intelligentes à deux oreillettes bluetooth, pour créer un système de balisage de l'environment pour les aveugles: les lunettes capturent l'environment, une application traduit les obstacles/dangers identifiés en balises sonores 3D (http://sciencesetavenir.nouvelobs.co...du-son-3d.html).

Bonjour,

Il faut, bien sur, saluer ce projet : non seulement il cherche à améliorer la communication entre sourds et entendants mais surtout il consacre la valeur des langues des signes, leur capacité à transmettre des messages, des idées, des concepts. Il les considère comme de vraies langues qu’on peut traiter et traduire comme d’autres langues orales telles que l’anglais, le chinois, l’espagnol…
[Je préfère d'ailleurs ce type de recherches à celles sur la "réparation" de l'oreille via les implants cochléaires qui à l'inverse nient tout intérêt aux langues des signes, se focalisant sur l'oreille cassée et le nécessaire passage par l'oralisme pour communiquer.]
Néanmoins l’efficacité de ces technologies est encore limitée et je doute que ce système puisse traduire fidèlement et agréablement un long discours.

En effet les langues des signes sont vivantes, complexes. Elles ne sont pas qu’une succession de signes. Elles possèdent leur propre syntaxe qui est intimement liée à la perception visuelle, puisque cette langue répond à une logique visuelle et non auditive. Ainsi la grammaire de la LSF n’est pas identique à celle du français (par exemple la place des mots dans la phrase n’est pas la même). Elle se construit comme un plan au cinéma. D’abord le temps (passé-présent-futur), ensuite le lieu (où cela se passe-t-il ? ), puis les acteurs (qui ? ) et enfin l’action (le verbe).

Les signes sont basés sur l’utilisation des mains mais aussi du regard et de l’espace, des expressions du visage (il est admis que les langues des signes sont composées de 5 paramètres) : les configurations des mains, leurs emplacements, leurs orientations et leurs mouvements forment des signes équivalents à des mots disposés devant soi comme sur une scène de théâtre. Les emplacements de ces signes, ainsi que la direction du regard, permettent de visualiser les relations (actif, passif ?), le temps (signes tournés vers l’arrière pour le passé, vers l’avant pour le futur). Le visage et le mouvement des épaules servent aussi à exprimer les nuances du discours par exemple l’ironie, le doute, la fermeté…

Les caméras ont-elles aujourd’hui la précision et la finesse nécessaires pour détecter tous ces paramètres ? Les algorithmes sont-ils assez élaborés pour déterminer avec exactitude l’intention du locuteur ? A voir…
Au mieux, aujourd’hui ce système pourrait sans doute traduire quelques signes simples en mots, quelques phrases basiques (sujet/verbe/complément).

Stéphan Barrère
Interprète F/LSF
http://interpretelsf.fr