Discussion :

[Nancy Rey]

Facebook étudie des systèmes d'IA qui voient, entendent et se souviennent de tout ce que vous faites,
ces outils pourraient un jour apparaître dans les lunettes de réalité virtuelle de Facebook

Facebook consacre beaucoup de temps et d'argent à la réalité augmentée, notamment en construisant ses propres lunettes de réalité augmentée avec Ray-Ban. Pour l'instant, ces gadgets ne peuvent qu'enregistrer et partager des images, mais à quoi l'entreprise pense-t-elle que ces dispositifs seront utiles à l'avenir ? Ego4D, un nouveau projet de recherche mené par l'équipe d'IA de Facebook suggère l'étendue des ambitions de l'entreprise. Ce projet imagine des systèmes d'IA qui analysent en permanence la vie des gens à l'aide de vidéos faites à partir d’une perspective à la première personne (ce que la communauté des chercheurs appelle communément la perception égocentrique), enregistrant ce qu'ils voient, font et entendent afin de les aider dans leurs tâches quotidiennes. Les chercheurs de Facebook ont défini une série de compétences que ces systèmes doivent développer, notamment la "mémoire épisodique" (répondre à des questions telles que "où ai-je laissé mes clés ?") et la "journalisation audiovisuelle" (se souvenir de qui a dit quoi et quand). À l'heure actuelle, les tâches décrites ne peuvent être réalisées de manière fiable par aucun système d'IA, et Facebook souligne qu'il s'agit d'un projet de recherche plutôt que d'un développement commercial. Les experts de la protection de la vie privée s'inquiètent déjà de la façon dont les lunettes à réalité augmentée de Facebook permettent aux utilisateurs d'enregistrer secrètement des membres du public. Ces préoccupations ne feront que s'exacerber si les futures versions du matériel ne se contentent pas d'enregistrer des séquences, mais les analysent et les transcrivent, transformant les porteurs en machines de surveillance ambulantes.

La première paire de lunettes AR commerciales de Facebook ne peut qu'enregistrer et partager des vidéos et des photos, et non les analyser.

Imaginez que votre dispositif de réalité augmentée vous montre exactement comment tenir les baguettes pendant une leçon de batterie, vous guide dans la réalisation d’une recette ou vous aide à retrouver vos clés perdues. Une IA qui comprend le monde du point de vue de la première personne pourrait ouvrir une nouvelle ère d’expériences immersives, à mesure que des dispositifs tels que les lunettes de réalité augmentée et les casques de réalité virtuelle deviennent aussi utiles dans la vie quotidienne que les smartphones. À l'heure actuelle, les tâches décrites précédemment ne peuvent être réalisées de manière fiable par aucun système d'IA, et Facebook souligne qu'il s'agit d'un projet de recherche plutôt que d'un développement commercial. Cependant, il est clair que l'entreprise considère des fonctionnalités comme celles-ci comme l'avenir de l'informatique de la RA. « En pensant à la réalité augmentée et à ce que nous aimerions être en mesure d'en faire, il est possible que nous tirions parti de ce type de recherche », a déclaré Kristen Grauman, chercheur en IA chez Facebook.
Le projet de recherche de Facebook, Ego4D, fait référence à l'analyse de vidéos faites à partir d’une perspective à la première personne ou égocentriques. Il se compose de deux éléments principaux : un ensemble de données ouvertes sur les vidéos égocentriques et une série de critères de référence que les systèmes d'IA devraient être en mesure d'atteindre à l'avenir, selon Facebook.

Cet ensemble de données est le plus grand de ce type jamais créé et Facebook s'est associé à 13 universités du monde entier pour collecter les données. Au total, quelque 3 205 heures de vidéo ont été enregistrées par 855 participants vivant dans neuf pays différents. Les universités, et non Facebook, étaient responsables de la collecte des données. Les participants, dont certains étaient rémunérés, portaient des caméras GoPro et des lunettes de réalité augmentée pour enregistrer des vidéos d'activités non scénarisées. Cela va des travaux de construction à la pâtisserie en passant par les jeux avec les animaux domestiques et la socialisation avec des amis. Toutes les séquences ont été rendues anonymes par les universités, qui ont notamment flouté les visages des spectateurs et supprimé toute information permettant de les identifier. Selon Grauman, cet ensemble de données est « le premier du genre, tant par son ampleur que par sa diversité ». Le projet comparable le plus proche, dit-elle, contient 100 heures de séquences faites à partir d’une perspective à la première personne, tournées entièrement dans des cuisines.

La deuxième composante d'Ego4D est une série de repères, ou tâches, que Facebook veut que les chercheurs du monde entier essaient de résoudre à l'aide de systèmes d'IA entraînés sur son ensemble de données. L'entreprise les décrit comme suit :

• La mémoire épisodique : Que s'est-il passé à un moment donné (par exemple, "Où ai-je laissé mes clés ?") ?
• Prévision : Que suis-je censé faire ensuite (par exemple, "Attends, tu as déjà ajouté du sel à cette recette") ?
• Manipulation des mains et des objets : Que suis-je en train de faire (ex. : "Apprends-moi à jouer de la batterie") ?
• Journalisation audio-visuelle : Qui a dit quoi et quand (par exemple, "Quel était le sujet principal pendant le cours ?") ?
• Interaction sociale : Qui interagit avec qui (par exemple, "Aidez-moi à mieux entendre la personne qui me parle dans ce restaurant bruyant") ?

Actuellement, les systèmes d'IA trouveraient incroyablement difficile de s'attaquer à l'un de ces problèmes, mais la création d'ensembles de données et de points de référence est une méthode efficace pour stimuler le développement de l'IA.

Selon la société, les systèmes formés sur Ego4D pourraient un jour être utilisés non seulement dans les caméras intégrées au vestimentaire, mais aussi dans les robots assistants domestiques, qui s'appuient également sur des caméras à la vue egocentrique pour naviguer dans le monde qui les entoure. « Ce projet a la possibilité de catalyser le travail dans ce domaine d'une manière qui n'a pas encore été possible. Faire passer notre domaine de la capacité d'analyser des piles de photos et de vidéos qui ont été prises par des humains dans un but très particulier, à ce flux visuel fluide et continu à la première personne que les systèmes de réalité augmentée, les robots, doivent comprendre dans le contexte d'une activité continue », déclare Kristen Grauman.

Ego4D suscite quelques inquiétudes

Bien que les tâches décrites par Facebook semblent certainement pratiques, l'intérêt de l'entreprise dans ce domaine inquiète. Le bilan de Facebook en matière de protection de la vie privée est catastrophique, avec des fuites de données et des amendes de 5 milliards de dollars infligées par la FTC. Il a également été démontré à plusieurs reprises que l'entreprise privilégie la croissance et l'engagement plutôt que le bien-être des utilisateurs dans de nombreux domaines. Dans ce contexte, il est inquiétant de constater que les critères de référence de ce projet Ego4D ne comportent pas de garanties importantes en matière de protection de la vie privée. Par exemple, la tâche de journalisation audio-visuelle (transcrire les propos de différentes personnes) ne mentionne jamais la suppression des données concernant les personnes qui ne veulent pas être enregistrées.

Interrogé sur ces questions, un porte-parole de Facebook a déclaré qu'il s'attendait à ce que des mesures de protection de la vie privée soient introduites ultérieurement. « Nous nous attendons à ce que, dans la mesure où les entreprises utilisent cet ensemble de données et ce référentiel pour développer des applications commerciales, elles développent des garanties pour ces applications. Par exemple, avant que les lunettes de réalité augmentée puissent enregistrer la voix de quelqu'un, il pourrait y avoir un protocole en place qu'ils suivent pour demander la permission aux lunettes de quelqu'un d'autre, ou ils pourraient limiter la portée de l'appareil afin qu'il ne puisse capter que les sons des personnes avec lesquelles je suis déjà en conversation ou qui sont dans mon voisinage immédiat», a déclaré le porte-parole ».

Source : Facebook

Et vous ?

Que pensez-vous de cette technologie futuriste que developpe Facebook ? Seriez-vous intéressés par une paire de lunettes connectées ?
À votre avis, les problèmes de confidentialité de Facebook sont-ils susceptibles d'être un frein à l'adoption de cette IA ? Dans quelle mesure ?

Voir aussi :

Facebook fabrique un bracelet qui permet de contrôler les ordinateurs avec le cerveau, ce dispositif permettrait d'interagir avec ses prochaines lunettes de réalité augmentée par la seule pensée

Mark Zuckerberg veut remplacer les trajets domicile-travail par la RV/RA, il déclare que les travaux sur la fusion de ces deux technologies permettraient à la téléportation de réussir à l'avenir

Oculus de Facebook a dominé le marché de la réalité étendue (XR) en 2020 avec plus de 50 % de part, grâce aux performances de l'Oculus Quest 2

[Jules34]

Entre la téléportation, l'ingénierie sociale et le reste, cette caste de mecs contrôlant les GAFAM font vraiment de plus en plus flipper...

[koyosama]

Entre la téléportation, l'ingénierie sociale et le reste, cette caste de mecs contrôlant les GAFAM font vraiment de plus en plus flipper...

J'ai pas envie de faire la morale, mais je peux comprendre qu'il y a des nouveaux abonnes donc je vais faire la prophétie qui se transmet de développeur a développeur depuis la naissance de l'ordinateur personnel et des livres de science-fiction. A mon avis la tranche d'age sur ce forum doit être très vieux (c'est un juste avis, pas une insulte ).

Quand je vois ce commentaire, je sais pas si c'est un troll ou si c'est vrai, si vous pouviez un smiley (la touche windows + la touche point pour ceux qui windows 11). Ok bon la vérité si vous l'accepter, on va vers une dystopie, purement et simplement pour l'internet public. Si vous on a la fibre on aura d'autres types de reseaux si les pirates veulent continuer leur libertés. Il y aura pas de solarpunk, de cyberpunk ou je sais pas quel punk. Le monde de l'entreprise sait maintenant comment gouverner l'informatique. Tout simplement, comme les anciens empereur de Chine, la politique c'est de simplement d’optimiser l'opinion publique a son avantage ou on veut qu'il soit, c'est tout. Chercher pas midi a quatorze heure.

Tant qu'on a pas découvert le voyage interstellaire, on sera dans le système normal de gouvernance. Donc chercher pas plus loin, c'est fini, on vous l'avait dit et c'est termine. On a perdu point.

Ensuite les GAFAM pour moi ce sont des seigneurs de guerre du net. Ce sont des divinités antiques du monde antiques de l'internet. Marc Zuckerberg est le dernier roi de cette civilisation. Si le dernier roi tombe ou si le monde financier remet un patron classique que un technicien alors on est foutu. Ensuite vous voyez que la surface, c'est les GAFAM qu'on devrait avoir peur, on connait ces tribus, on connait leur guilde. quand on veut, on l’éviter et limiter.

Non moi c'est les entreprise peu connu qui sont extrêmement nombreux et plus vicieux que les GAFAM, je parle des Cambridge Analytica (qui a ce jour existe sous une nouvelle et toujours indemne), les fintech's, les boites de pub, les boites israéliennes (rappeler vous de Pegasus). Cela coûte rien de faire une zone de recherche discrete hors de la zone de publiques et y mettre les meilleurs ingénieurs et data scientists.

Et encore je pense que le pire, c'est certainement le peuple ou encore la "WOKE CULTURE/ CANCEL CULTURE/ POPULISME", la guerre d'opinion s'est supra complique que de combattre les GAFAMs. Non l'age d'or d'internet, c'est simplement fini. 😔💥

[Andy Oka]

Qu'est ce qui pourrait bien se passer? J'en ai marre de cette société sans morale qui met ses tentacules sur tout

[mach1974]

Bien au contraire.
L'internet est une composante de la démocratie pour avoir une liberté de ton et d'information pour sortir les scoops d'assange de snowden

[CoderInTheDark]

Ils n'ont pas pensé aux y voient rien comme moi.

C'est surtout la partie captation qui m'intéresse, car la restitution serait audio pour nous.
Pour nous décrire notre environnement immédiat pour lire les panneaux, prévenir qu'on fonce dans les murs ou les gens, que le petit bonhome est rouge;/...

Si ils ont besoin d'un chef de projet expérimenté sur ce sou projet je suis dispo dans 3 mois

[Andy Oka]

C'est tellement étrange qu'à chaque fois que je reçois un lien Facebook de quelqu'un, il me faut me connecter pour en lire plus d'un quart (et il est coupé juste au bon endroit pour m'attirer) et ensuite, avant que je ne m'en rende compte, je regarde un tas de notifications stupides non lues et de terribles choses dans mon flux. C'est étrange, comme si je réalisais que j'étais hypnotisé pendant une seconde. Je me déconnecte immédiatement et je ferme la fenêtre pour m'en sortir. Facebook est vraiment... un cancer. Ne me racontez pas que leurs publicités ciblées aident les petites entreprises. 99% des choses que j'ai vues sur FB, en ce qui concerne les entreprises, sont des publicités pour des produits louches, des escroqueries ou des combines.

[Andy Oka]

Ils ont pris une opportunité en or de connecter les gens et l'ont ravagée, puis se sont tournés vers l'acquisition de tous les concurrents possibles et imaginables, alors que leur produit principal devenait une poubelle.

Même AOL recueille plus de respect de ma part que FB, comment est-ce possible ! FB doit mourir comme AOL est mort. Il suffira que la génération des boomers s'éteigne. Malheureusement, Instagram est encore une propriété convenable, probablement parce qu'ils n'ont pas laissé Zuckerfuck le bousiller. Attendez-vous à ce qu'Instagram devienne aussi un cancer une fois que FB ne sera plus le principal centre de profit.