Discussion :

[Jade Emy]

La FCC va déclarer illégales les voix générées par l'IA dans les appels automatisés, cette décision intervient après qu'un faux appel de Joe Biden a été envoyé à certains électeurs du New Hampshire.

La FCC criminalise la plupart des appels automatisés (robocalls) générés par l'IA en vertu des législations en vigueur. Cette décision intervient après qu'un faux appel téléphonique de Biden a été envoyé à certains électeurs du New Hampshire.

La Commission fédérale des communications des États-Unis (FCC) s'apprête à criminaliser explicitement les appels téléphoniques non sollicités qui utilisent des voix générées par l'intelligence artificielle, a annoncé l'agence. Cette annonce fait suite à un faux message, créé à l'aide de l'intelligence artificielle pour imiter la voix du président Joe Biden, qui demandait aux habitants du New Hampshire de ne pas voter lors des élections primaires de l'État.

La proposition interdirait ce type d'appels automatiques en vertu du Telephone Consumer Protection Act (TCPA), une loi de 1991 qui réglemente les appels politiques et commerciaux automatisés effectués sans le consentement des destinataires.

La TCPA a été utilisée dans le cadre de plusieurs poursuites judiciaires très médiatisées pour des appels illégaux. L'année dernière, la FCC a infligé une amende de 5 millions de dollars à des militants conservateurs qui s'étaient arrangés pour que des électeurs noirs reçoivent des appels leur disant faussement que leur vote pourrait les exposer à des agents de recouvrement et à des services de police en 2020. La FCC a infligé une amende de 300 millions de dollars à une société qui avait diffusé des publicités sur les garanties automobiles.

Un porte-parole de la FCC a déclaré que la commission, composée de cinq membres, devrait voter et adopter cette modification dans les semaines à venir. Cette modification permettra notamment aux procureurs généraux des États d'intenter des actions en justice contre les spammeurs qui utilisent l'IA, a précisé le porte-parole. Le bureau du procureur général du New Hampshire a annoncé l'ouverture d'une enquête sur le faux appel de M. Biden.

"Le clonage vocal et les images générés par l'IA sèment déjà la confusion en faisant croire aux consommateurs que les escroqueries et les fraudes sont légitimes", a déclaré Jessica Rosenworcel, présidente de la FCC, dans un communiqué envoyé par courriel. "Quelle que soit la célébrité ou l'homme politique que vous préférez, ou quelle que soit votre relation avec vos proches lorsqu'ils appellent à l'aide, il est possible que nous soyons tous la cible de ces faux appels", a-t-elle ajouté.

Kathy Stokes, directrice des programmes de prévention des fraudes à l'AARP, anciennement l'Association américaine des retraités, s'est félicitée de la décision de la FCC, affirmant que les appels automatisés basés sur l'IA trompent régulièrement les personnes âgées. "Dans ce pays, la fraude n'est plus considérée comme un crime, ce qui s'explique par le fait que nous avons une réaction instinctive qui consiste à blâmer la victime parce qu'elle ne sait pas quelque chose", a déclaré Mme Stokes. "Nous ne pouvons pas nous en sortir par l'éducation", a-t-elle ajouté.

Voici le communiqué envoyé par courriel de la FCC :

La présidente de la FCC rend illégaux les robocalls (appels automatisés) générés par la voix artificielle

La présidente de la FCC, Jessica Rosenworcel, a proposé aujourd'hui que la FCC reconnaisse que les appels effectués avec des voix générées par l'IA sont des voix "artificielles" au sens de la loi sur la protection des consommateurs par téléphone (TCPA), ce qui rendrait illégale la technologie de clonage de voix utilisée dans les escroqueries courantes par appels téléphoniques automatisés (robocalls) visant les consommateurs. L'augmentation de ce type d'appels s'est accélérée au cours des dernières années, car cette technologie permet désormais d'induire les consommateurs en erreur en imitant les voix de célébrités, de candidats politiques et de membres de la famille proche. En prenant cette mesure, la FCC fournira de nouveaux outils aux procureurs généraux des États à travers le pays pour poursuivre les mauvais acteurs à l'origine de ces appels téléphoniques frauduleux et les tenir pour responsables en vertu de la loi.

"Le clonage vocal et les images générés par l'IA sèment déjà la confusion en faisant croire aux consommateurs que les escroqueries et les fraudes sont légitimes. Quelle que soit la célébrité ou le politicien que vous préférez, ou quelle que soit votre relation avec vos proches lorsqu'ils appellent à l'aide, il est possible que nous soyons tous la cible de ces faux appels", a déclaré Jessica Rosenworcel, présidente de la FCC. "C'est pourquoi la FCC prend des mesures pour reconnaître cette technologie émergente comme illégale au regard de la législation en vigueur, donnant ainsi à nos partenaires des bureaux des procureurs généraux des États à travers le pays de nouveaux outils qu'ils peuvent utiliser pour réprimer ces escroqueries et protéger les consommateurs".

En novembre, la FCC a lancé un avis d'enquête afin de constituer un dossier sur la manière dont l'agence peut lutter contre les appels illégaux et sur la manière dont l'IA pourrait être impliquée. L'agence a posé des questions sur la manière dont l'IA pourrait être utilisée pour les escroqueries résultant d'appels indésirables, en imitant la voix de personnes que nous connaissons, et sur la question de savoir si cette technologie devrait faire l'objet d'une surveillance en vertu de la TCPA. De même, la FCC s'est interrogée sur la manière dont l'IA peut nous aider à reconnaître les schémas afin que nous transformions cette technologie en une force du bien capable de reconnaître les appels illégaux avant même qu'ils n'atteignent les consommateurs au téléphone.

La loi sur la protection des consommateurs par téléphone (Telephone Consumer Protection Act) est la principale loi utilisée par la FCC pour limiter les appels indésirables. Elle restreint les appels de télémarketing et l'utilisation de systèmes de composition automatique de numéros de téléphone et de messages vocaux artificiels ou préenregistrés. En vertu des règles de la FCC, les télévendeurs sont également tenus d'obtenir le consentement écrit exprès des consommateurs avant d'effectuer des appels téléphoniques non sollicités. Si elle est adoptée, cette décision déclaratoire garantira que les appels vocaux générés par l'IA sont également soumis à ces mêmes normes.

Au début du mois, Michelle A. Henry, procureur général de Pennsylvanie, a pris la tête d'une coalition de 26 procureurs généraux d'État, soit plus de la moitié des procureurs généraux du pays, qui soutiennent cette approche. En prenant cette mesure, la FCC s'appuie sur ses travaux visant à établir des partenariats avec les organismes chargés de l'application de la loi dans les États du pays afin d'identifier et d'éliminer les appels illégaux de type "robocalls". La FCC a conclu un protocole d'accord avec 48 procureurs généraux d'État afin de collaborer à la lutte contre les appels téléphoniques non sollicités.

"Mon bureau est favorable à la réglementation de l'utilisation de l'intelligence artificielle dans les robocalls dans le cadre de la législation existante, afin de protéger les consommateurs contre les tactiques de marketing intentionnellement trompeuses et manipulatrices", a déclaré Michelle Henry, procureur général de Pennsylvanie. "Nous félicitons la présidente Rosenworcel d'avoir pris en compte notre contribution et d'avoir pris cette mesure opportune pour garantir aux consommateurs la possibilité de donner leur consentement écrit préalable avant de recevoir des appels où la technologie de l'intelligence artificielle fait office d'agent en chair et en os."

Source : Communiqué par courriel de la FCC

Et vous ?

Quel est votre avis sur le sujet ?
Pensez-vous que cette approche de la FCC est crédible ou pertinente ?

Voir aussi :

Les nouveaux outils de clonage de voix par l'IA ajoutent "de l'huile sur le feu" de la désinformation. Une voix de Joe Biden générée par l'IA prononce un discours "hilarant" sur l'état de l'Union

Des milliers de personnes arnaquées par des voix d'IA imitant des proches en cas d'urgence. 11 millions de dollars ont été volés par le biais de ces escroqueries par téléphone en 2022

Cybercriminalité : comment un fumeur de cannabis de 35 ans à l'origine de 10 millions d'appels frauduleux a fait fortune. Le site iSpoof.cc a permis aux cybercriminels de voler 100 M£

[Anthony]

La FCC juge illégales les voix générées par l'IA dans les robocalls : "De mauvais acteurs les utilisent pour extorquer des membres de la famille, imiter des célébrités et désinformer les électeurs"

La Commission fédérale des communications (FCC) a interdit ce jeudi 9 février les appels téléphoniques robotisés (robocalls) contenant des voix générées par l'intelligence artificielle, une décision qui envoie un message clair : l'exploitation de cette technologie pour escroquer les gens et induire les électeurs en erreur ne sera pas tolérée.

Cette décision unanime vise les appels téléphoniques robotisés réalisés à l'aide d'outils de clonage vocal par intelligence artificielle, en vertu de la loi sur la protection des consommateurs de services téléphoniques (Telephone Consumer Protection Act), une loi de 1991 qui restreint les appels indésirables utilisant des messages vocaux artificiels et préenregistrés.

L'annonce de l'action entreprise par la Commission est présentée ci-dessous :

La FCC rend illégales les voix générées par l'intelligence artificielle dans les robocalls
Les procureurs des États disposent désormais de nouveaux outils pour lutter contre les escroqueries au clonage vocal

WASHINGTON, le 8 février 2024 - La Commission fédérale des communications a annoncé aujourd'hui l'adoption à l'unanimité d'une décision déclaratoire reconnaissant que les appels effectués avec des voix générées par l'IA sont "artificiels" au sens de la loi sur la protection des consommateurs par téléphone (TCPA). Cette décision, qui prend effet immédiatement, rend illégale la technologie de clonage de la voix utilisée dans les escroqueries de type "robocall" qui ciblent les consommateurs. Les procureurs généraux des États du pays disposeront ainsi de nouveaux outils pour poursuivre les malfaiteurs à l'origine de ces appels téléphoniques frauduleux.

"Les mauvais acteurs utilisent des voix générées par l'IA dans des appels téléphoniques non sollicités pour extorquer des membres vulnérables de la famille, imiter des célébrités et désinformer les électeurs. Nous mettons en garde les fraudeurs qui se cachent derrière ces robocalls", a déclaré Jessica Rosenworcel, présidente de la FCC. "Les procureurs généraux des États disposeront désormais de nouveaux outils pour réprimer ces escroqueries et veiller à ce que le public soit protégé contre la fraude et la désinformation."

L'augmentation de ce type d'appels s'est accélérée au cours des dernières années, car cette technologie permet désormais de confondre les consommateurs avec des informations erronées en imitant les voix de célébrités, de candidats politiques et de membres de la famille proche. Alors que les procureurs généraux des États peuvent actuellement cibler le résultat d'un appel vocal non désiré généré par l'IA, comme l'escroquerie ou la fraude qu'ils cherchent à perpétrer, cette mesure rend désormais illégal le fait d'utiliser l'IA pour générer la voix de ces appels téléphoniques, élargissant ainsi les voies légales par lesquelles les organismes chargés de l'application de la loi dans les États peuvent tenir ces auteurs pour responsables en vertu de la loi.

En novembre 2023, la FCC a lancé un avis d'enquête afin de constituer un dossier sur la manière dont l'agence peut lutter contre les appels téléphoniques illégaux et sur la manière dont l'IA pourrait être impliquée. L'agence a posé des questions sur la manière dont l'IA pourrait être utilisée pour des escroqueries résultant d'appels indésirables, en imitant la voix de personnes que nous connaissons, et sur la question de savoir si cette technologie devrait faire l'objet d'une surveillance en vertu de la TCPA. De même, la FCC s'est interrogée sur la manière dont l'IA peut nous aider à reconnaître les schémas afin que nous transformions cette technologie en une force du bien capable de reconnaître les appels illégaux avant même qu'ils n'atteignent les consommateurs au téléphone.

La loi sur la protection des consommateurs de services téléphoniques (Telephone Consumer Protection Act) est la principale loi utilisée par la FCC pour limiter les appels indésirables. Elle restreint les appels de télémarketing et l'utilisation de systèmes de composition automatique de numéros de téléphone et de messages vocaux artificiels ou préenregistrés. En vertu des règles de la FCC, les télévendeurs sont également tenus d'obtenir le consentement écrit exprès et préalable des consommateurs avant d'effectuer des appels robotisés. Cette décision déclaratoire garantit que les voix générées par l'IA dans les appels sont également soumises à ces mêmes normes.

La TCPA confère à la FCC le pouvoir d'infliger des amendes aux auteurs d'appels téléphoniques non sollicités. La Commission peut également prendre des mesures pour bloquer les appels des opérateurs téléphoniques qui facilitent les appels illégaux. En outre, la TCPA permet aux consommateurs individuels ou à une organisation d'intenter une action en justice contre les auteurs de robocalls. Enfin, les procureurs généraux des États disposent de leurs propres outils d'application, qui peuvent être liés aux définitions des "robocalls" en vertu de la TCPA.

Une coalition de 26 procureurs généraux d'État, soit plus de la moitié des procureurs généraux du pays, a récemment écrit à la FCC pour soutenir cette approche. En prenant cette mesure, la FCC s'appuie sur ses travaux visant à établir des partenariats avec les organismes chargés de l'application de la loi dans les États du pays afin d'identifier et d'éliminer les appels téléphoniques illégaux. Ces partenariats peuvent fournir des ressources essentielles pour monter des dossiers et coordonner les efforts afin de protéger les consommateurs et les entreprises dans tout le pays. La FCC offre aux États partenaires non seulement l'expertise de son personnel chargé de l'application de la loi, mais aussi des ressources et des recours importants pour soutenir les enquêtes des États.

La FCC a conclu un protocole d'accord avec 48 procureurs généraux d'État afin de collaborer à la lutte contre les appels téléphoniques non sollicités.

Source : "FCC makes AI-generated voices in robocalls illegal" (Commission fédérale des communications)

Et vous ?

Que pensez-vous de cette mesure prise par la FCC ? Trouvez-vous cette initiative pertinente et justifiée ?

Voir aussi :

La FCC va déclarer illégales les voix générées par l'IA dans les appels automatisés, cette décision intervient après qu'un faux appel de Joe Biden a été envoyé à certains électeurs du New Hampshire

Les nouveaux outils de clonage de voix par l'IA ajoutent "de l'huile sur le feu" de la désinformation, une voix de Joe Biden générée par l'IA prononce un discours "hilarant" sur l'état de l'Union

[Stéphane le calme]

Le consultant politique à l'origine des faux appels téléphoniques avec la voix de Biden générée par IA
risque une amende de 6 millions de dollars et des poursuites pénales

Le consultant politique Steven Kramer, ancien président du Parti démocrate du New Hampshire, a été condamné à une amende de 6 millions de dollars par la Commission fédérale des communications (FCC) pour avoir envoyé des appels automatisés générés par intelligence artificielle (IA) imitant la voix du président Joe Biden à des électeurs avant les primaires présidentielles du New Hampshire. Cette amende est la première du genre impliquant la technologie d’IA générative. La société accusée d’avoir transmis ces appels, Lingo Telecom, risque également une amende de 2 millions de dollars. Dans les deux cas, les parties pourraient négocier un règlement avec la FCC.

Steve Kramer, un agent démocrate qui a admis avoir commandé un appel téléphonique automatisé imitant la voix du président Biden, généré par une intelligence artificielle, qui demandait aux électeurs du New Hampshire de ne pas voter tôt cette année, est maintenant accusé d'infractions pénales et se voit infliger des amendes fédérales. Kramer, qui a travaillé pour Dean Phillips, candidat démocrate de longue date à l'élection présidentielle qui a mis fin à sa campagne en mars, a affirmé avoir créé cet appel automatisé pour sensibiliser le public aux dangers de l'IA dans les campagnes politiques.

L'appel, qui a été lancé le week-end précédant les primaires du New Hampshire, ressemblait à une voix générée numériquement et usurpant l'identité de Biden, qui conseillait aux gens de ne pas voter mardi, selon les plaintes que le procureur général du New Hampshire avait déclaré examiner en janvier. L'appel, qui commençait par une phrase de Biden qualifiant l'élection de « tas de bêtises », disait aux électeurs : « Il est important que vous gardiez votre vote pour les élections de novembre » (rendez-vous à 1:00 de la vidéo).

Biden ne figurait pas sur le bulletin de vote de la primaire présidentielle démocrate du New Hampshire, mais un groupe de démocrates a organisé une campagne visant à inscrire son nom en signe de soutien au président sortant. « Voter ce mardi ne fait que permettre aux Républicains d'élire à nouveau Donald Trump », disait l'appel, selon un enregistrement audio fourni par un organisateur de la campagne d'inscription de Biden. « Votre vote fera la différence en novembre, pas ce mardi ».

Il a été inculpé

Le procureur général du New Hampshire, John Formella, a annoncé jeudi que Kramer avait été inculpé pour suppression d'électeurs et usurpation d'identité d'un candidat. Il fait face à un total de 26 chefs d'accusation dans quatre comtés, sur la base des résidences de 13 habitants du New Hampshire qui ont reçu les appels.

La Commission fédérale des communications a également annoncé jeudi qu'elle proposerait d'infliger une amende de 6 millions de dollars à Kramer pour avoir enfreint la loi sur la vérité de l'identification de l'appelant (Truth in Caller ID Act). Dans un communiqué, Formella a déclaré qu'il espérait que les mesures d'application fédérales et étatiques « envoient un signal dissuasif fort à tous ceux qui pourraient envisager d'interférer avec les élections, que ce soit par l'utilisation de l'intelligence artificielle ou d'une autre manière ».

Phillips, qui a nié toute implication dans l'appel automatisé, a déclaré dans un communiqué après l'inculpation de Kramer que cette affaire « est un canari dans la mine de charbon ». « Le Congrès doit prendre des mesures immédiates pour gérer l'utilisation néfaste de l'intelligence artificielle avant qu'elle ne nous gère sûrement », a-t-il poursuivi.

En février, Kramer a déclaré qu'il avait envoyé l'appel à « un peu moins de 5 000 » personnes figurant sur la liste des « démocrates les plus susceptibles » de voter lors des primaires du New Hampshire.

L'implication de Lingo Telecom

« Nous agirons rapidement et de manière décisive pour garantir que les mauvais acteurs ne puissent pas utiliser les réseaux de télécommunications américains pour faciliter l'utilisation abusive de la technologie d'IA générative afin d'interférer avec les élections, de frauder les consommateurs ou de compromettre des données sensibles », a déclaré Loyaan Egal, qui dirige le bureau d'application de la FCC, dans un communiqué.

Selon la FCC, Kramer a engagé Voice Broadcasting Corp. pour gérer les transmissions d'appels, qui à son tour a utilisé les services de Life Corp. basée au Texas pour acheminer les appels via le fournisseur de services vocaux Lingo Telecom.

Lingo a ensuite transmis ces appels et les a incorrectement marqués avec le niveau le plus élevé d'attestation d'identification de l'appelant, réduisant ainsi les chances que d'autres fournisseurs identifient les appels comme des communications fictives, a ajouté l'agence. Dans le cadre d'une action distincte annoncée jeudi, la Commission a proposé une amende de 2 millions de dollars à l'encontre de Lingo pour n'avoir pas utilisé les mesures adéquates de connaissance du client destinées à authentifier les données d'identification de l'appelant liées aux robocalls.

« Parce que lorsqu'un appelant ressemble à un politicien que vous connaissez, à une célébrité que vous aimez ou à un membre de votre famille qui vous est familier, chacun d'entre nous peut être amené à croire quelque chose qui n'est pas vrai avec des appels utilisant la technologie de l'IA », a déclaré Jessica Rosenworcel, présidente de la FCC, dans un communiqué.

Présidente de la FCC : « ce n'est que le début »

La présidente de la FCC, Jessica Rosenworcel, a déclaré dans un communiqué que ces mesures n'étaient « qu'un début », car « les technologies d'intelligence artificielle qui permettent d'inonder facilement et à peu de frais nos réseaux de fausses informations sont utilisées de bien des façons, ici et à l'étranger ».

Ci-dessous, un extrait de son communiqué :

« L'année dernière, au Nigéria, un clip manipulé à l'aide de l'intelligence artificielle s'est largement répandu. Il montrait un candidat à l'élection présidentielle en train de truquer des bulletins de vote. En Slovaquie, les habitants du pays ont entendu un clip audio manipulé montrant un candidat de l'opposition soutenant à la fois la fraude électorale et une tentative d'augmentation du prix de la bière.

« Mais il n'est pas nécessaire de se rendre dans des contrées lointaines pour voir comment l'IA peut semer la confusion. En effet, cette année, aux États-Unis, une campagne frauduleuse a ciblé les électeurs du New Hampshire. Elle a utilisé un clonage vocal généré par l'IA pour imiter un message non autorisé du président Biden, deux jours avant l'élection primaire dans cet État. C'est inquiétant. En effet, lorsqu'un appelant ressemble à un homme politique que vous connaissez, à une célébrité que vous appréciez ou à un membre de votre famille qui vous est familier, chacun d'entre nous peut être amené à croire quelque chose de faux grâce à des appels utilisant la technologie de l'IA. C'est exactement comme cela que les mauvais acteurs derrière ces appels indésirables avec des voix manipulées veulent que vous réagissiez

« Aussi, lorsque nous avons constaté que cela se produisait ici, sur nos côtes, nous avons agi rapidement. La Commission fédérale des communications a rendu une décision déclaratoire qui établit clairement que les appels téléphoniques robotisés "à voix artificielle ou préenregistrée" utilisant la technologie de clonage de la voix artificielle violent la loi sur la protection des consommateurs en matière de téléphonie (Telephone Consumer Protection Act). Nous nous sommes associés à cet effort avec les procureurs généraux des États, y compris celui du New Hampshire, qui est l'un des 49 procureurs généraux des États à avoir signé un protocole d'accord pour travailler avec cette agence sur les appels téléphoniques indésirables. Cette décision est importante. Elle donne à nos collègues des États le droit de poursuivre les acteurs malveillants à l'origine de ces appels et de demander des dommages-intérêts en vertu de la loi. Nous avons ensuite travaillé avec les opérateurs pour retrouver les responsables de cette campagne d'appels. Lorsque nous avons trouvé l'opérateur responsable, nous avons immédiatement envoyé une lettre de cessation et d'abstention et avons notifié à tous les autres opérateurs qu'ils devaient cesser d'acheminer ce trafic

« Aujourd'hui, nous clôturons notre enquête sur ces appels dans le New Hampshire par deux actions distinctes.

« Tout d'abord, nous tenons Steve Kramer pour responsable des appels frauduleux qu'il a mis en place pour escroquer les électeurs en utilisant une technologie d'usurpation d'identité qui viole la loi sur la vérité de l'identification de l'appelant. L'amende s'élève à 6 000 000 de dollars.

« Deuxièmement, nous tenons Lingo Telecom, l'opérateur qui a mis en ligne ces appels frauduleux, pour responsable du non-respect de nos politiques d'authentification des appels. L'amende s'élève à 2 000 000 de dollars.

« Mais ce n'est qu'un début. Nous savons en effet que les technologies de l'IA qui permettent d'inonder facilement et à peu de frais nos réseaux de faux messages sont utilisées de bien des manières, ici et à l'étranger. Il est particulièrement effrayant de voir qu'elles sont utilisées dans le cadre d'élections. C'est pourquoi, hier, j'ai partagé avec mes collègues une proposition visant à exiger des publicités électorales aux États-Unis qu'elles indiquent simplement si elles utilisent des technologies d'IA. Je pense qu'à mesure que ces outils deviennent plus accessibles, chacun d'entre nous a le droit de savoir ».

Conclusion

Cette affaire soulève des questions importantes sur l’utilisation de l’IA dans les campagnes politiques et met en lumière les conséquences potentielles pour ceux qui cherchent à manipuler les électeurs par le biais de messages automatisés. La FCC espère que cette amende servira d’avertissement aux autres consultants politiques et entreprises de télécommunications qui pourraient envisager d’utiliser des techniques similaires à l’avenir.

Source : FCC

Et vous ?

La liberté d’expression vs. la désinformation : jusqu’où devrait aller la liberté d’expression dans les campagnes politiques ? Comment pouvons-nous empêcher la diffusion de fausses informations sans restreindre la liberté d’expression ?
Responsabilité des entreprises de télécommunications : les entreprises de télécommunications devraient-elles être tenues responsables des appels automatisés générés par IA qu’elles transmettent ? Comment pouvons-nous les inciter à surveiller et à filtrer ces appels ?
Réglementation de l’IA : faut-il mettre en place des réglementations spécifiques pour l’utilisation de l’IA dans les campagnes politiques ? Si oui, quelles devraient être ces réglementations ?
Transparence et authentification vocale : comment pouvons-nous garantir que les appels automatisés générés par IA sont transparents et authentifiés ? Devrions-nous exiger que les messages automatisés divulguent clairement leur origine ?
Sanctions appropriées : l’amende de 6 millions de dollars est-elle suffisante pour dissuader d’autres consultants politiques d’utiliser des techniques similaires ? Quelles autres sanctions pourraient être efficaces ?

[Patrick Ruiz]

La Commission fédérale des communications (FCC) souhaite que la voix artificielle qui vous appelle indique qu’il s’agit d’un deepfake
Car les robots qui imitent les voix ne pas des humains

L'intelligence artificielle peut imiter une voix humaine suffisamment bien pour tromper de nombreuses personnes en leur faisant croire qu'elles entendent une personne réelle parler. Les voix artificielles font l’objet d’exploitation pour des appels téléphoniques automatisés. La Commission fédérale des communications (FCC) des États-Unis tente de lutter contre les versions les plus malveillantes de ces tentatives et a présenté une proposition visant à renforcer la protection des consommateurs contre les appels téléphoniques non désirés et illégaux générés par l'intelligence artificielle.


La FCC entend fixer des limites et des règles, comme l'obligation pour les voix artificielles de révéler qu'elles sont fausses lorsqu'elles appellent. L'utilité de l'intelligence artificielle dans des communications et des activités peu recommandables fait qu'il n'est pas surprenant que la FCC cherche à mettre en place des réglementations à son sujet. Cela s'inscrit en sus dans le cadre des efforts déployés par la FCC pour lutter contre les appels téléphoniques non sollicités, qui constituent une nuisance et un moyen de commettre des fraudes. L'intelligence artificielle rend ces stratagèmes plus difficiles à détecter et à éviter, d'où la proposition, qui exigerait la divulgation des voix et des mots générés par l'intelligence artificielle. L'appel devrait commencer par l'explication par l'IA de l'origine artificielle de ce qu'elle dit et de la voix utilisée pour le dire. Tout contrevenant se verrait infliger une lourde amende.

Le nouveau plan vient s'ajouter à la décision déclaratoire prise par la FCC au début de l'année, selon laquelle la technologie de clonage de la voix dans le cadre des appels automatisés est illégale sans le consentement de la personne appelée. En plus de s'attaquer aux sources des appels générés par l'IA, la FCC a déclaré qu'elle souhaitait également mettre en place des outils permettant d'alerter les gens lorsqu'ils reçoivent des appels robotisés et des textes générés par intelligence artificielle, en particulier ceux qui sont non désirés ou illégaux.

Il pourrait s'agir de meilleurs filtres d'appels empêchant leur réception, d'algorithmes de détection basés sur l'intelligence artificielle ou d'une amélioration de l'identification de l'appelant afin d'identifier et de signaler les appels générés par intelligence artificielle. Pour les consommateurs, la réglementation proposée par la FCC offre une protection bienvenue contre les tactiques de plus en plus sophistiquées utilisées par les escrocs. En exigeant la transparence et en améliorant les outils de détection, la FCC vise à réduire le risque que les consommateurs soient victimes d'escroqueries générées par intelligence artificielle.

Un couple canadien perd 21 000 dollars à cause d'une fausse voix générée par l'IA qui avait imité à la perfection la voix de leur fils

Un couple canadien a perdu 21 000 dollars à la suite d'une astucieuse fraude téléphonique. Selon des rapports, le couple a reçu un appel se faisant passer pour leur fils, qui avait besoin d'argent pour payer sa caution parce qu'il avait des ennuis judiciaires. Les parents ont obéi lorsqu'on leur a demandé de transférer les fonds sur un certain compte bancaire. Plus tard, ils ont découvert que l'appel avait été passé par une voix générée par IA qui avait imité la voix de leur fils à l'aide d'une technologie deepfake, et non celle de leur enfant.

Les parents, qui ont requis l'anonymat, ont déclaré qu'au début, ils n'ont pas pensé que quelque chose n'allait pas parce que la voix ressemblait exactement à celle de leur fils. Ils ont affirmé que l'appelant était en mesure de divulguer des informations privées, telles que le lieu de résidence et la date de naissance de leur fils, que seul leur fils pouvait connaître. Lorsque leur vrai fils Benjamin les a appelés plus tard dans la journée, ils se sont rendu compte de l'escroquerie car ils savaient que l'appel précédent était un canular.

Les escrocs ont déjà utilisé des voix générées par l'IA pour tromper les victimes et les inciter à donner leur argent. La technologie du deep fake a permis aux escrocs de produire plus facilement des voix d'imitation convaincantes qui peuvent tromper même les personnes les plus observatrices. Bien que la technologie soit encore relativement jeune, elle devient de plus en plus avancée.

Les victimes ciblées conseillent maintenant aux gens d'être prudents et de se méfier de ce type d'escroquerie. Elles affirment qu'elles n'auraient jamais imaginé tomber dans un tel piège, mais que la voix de l'appelant était si convaincante qu'elles ne se sont rendu compte de rien avant qu'il ne soit trop tard. Ils espèrent que leur histoire servira d'avertissement à d'autres personnes et les empêchera de devenir la proie d'escroqueries similaires.

Avant Chat GPT et d'autres robots d'IA populaires comme Chat GPT, il y a eu des escroqueries utilisant la technologie de l'IA. Selon les rapports, une autre escroquerie similaire a eu lieu en 2019. Le directeur général d'une entreprise énergétique britannique a envoyé près de 240 000 dollars sur un compte hongrois parce qu'il croyait que son patron lui avait demandé de le faire lors d'un appel téléphonique.

Selon les experts, la meilleure approche pour se prémunir contre ce type d'escroquerie est de se méfier des appels entrants et de ne jamais donner d'informations personnelles ou financières par téléphone. Il est essentiel de vérifier l'identité de la personne à l'autre bout du fil et de raccrocher si quelque chose vous semble anormal. Par ailleurs, les banques et autres organismes financiers encouragent leurs clients à être prudents lorsqu'ils envoient de l'argent et à confirmer les informations relatives au compte avant d'envoyer des fonds.

Une voix de Joe Biden générée par l'IA prononce un discours "hilarant" sur l'état de l'Union

Alors que la lutte contre la désinformation a été présentée comme acharnée ces dernières années, elle pourrait s'avérer une partie de plaisir comparativement à ce à quoi la communauté pourrait faire face à l'avenir. L'IA générative, une catégorie de nouveaux outils d'IA dans laquelle on peut classer les IA de synthèse vocale et les IA de clonage de voix, semble avoir introduit une nouvelle forme de menace qui inquiète sérieusement les experts. L'utilisation de ces outils est très facile et presque gratuite, et n'importe quel individu peut les utiliser pour synthétiser ou cloner une voix en l'espace de quelques secondes. Le résultat obtenu est extrêmement convaincant.

Dans le cas de la vidéo trafiquée où Joe Biden attaquait les personnes transgenres, les experts en criminalistique numérique estiment qu'elle a été conçue avec l'IA de la société ElevenLabs. Basée au Royaume-Uni, ElevenLabs est une startup d'IA fondées en 2022 par Piotr Dabkowski, ancien ingénieur en apprentissage automatique (ML) chez Google, et Mati Staniszewski, ancien spécialiste en déploiement chez Palantir. Le mois dernier, la société a lancé la phase bêta de la phase bêta Prime Voice, un outil qui permet aux utilisateurs de générer un son réaliste de la voix de n'importe quelle personne à partir d'un échantillon audio et d'une invite textuelle.

Si le clip mettant en scène le président Joe Biden n'a peut-être pas réussi à tromper la plupart des utilisateurs cette fois-ci, il montre à quel point il est désormais facile pour les gens de générer des vidéos "deepfake" haineuses et de désinformation qui pourraient causer des dommages dans le monde réel. « Des outils comme celui-ci vont essentiellement ajouter de l'huile sur le feu. Le monstre est déjà en liberté », déplore Hafiz Malik, professeur d'ingénierie électrique et informatique à l'université du Michigan, qui se concentre sur la criminalistique multimédia. L'IA a été détournée de son usage initial, laissant la startup dans une situation délicate.

ElevenLabs affirme que son IA a été développée pour doubler des fichiers audio dans différentes langues pour des films, des livres audio et des jeux afin de préserver la voix et les émotions de l'orateur. Mais c'est sans compter sur la bonne volonté des membres du forum 4chan. Quelques jours après le lancement de l'IA, ils se sont saisis de l'IA d'ElevenLabs pour simuler des voix de célébrités débitant des propos racistes et homophobes. Ils ont partagé un échantillon audio généré par l'IA d'Hillary Clinton lisant le même texte transphobe que dans le clip de Biden et de faux clips audio de Bill Gates disant que le vaccin contre la Covid-19 provoque le sida.

Dans un autre échantillon audio, on peut entendre la voix de l'actrice Emma Watson lisant le manifeste "Mein Kampf" d'Hitler. Dans un autre exemple, une personne disant "les droits des personnes transgenres sont des droits de l'homme" se fait étrangler. Face à ces cas répétés, ElevenLabs a indiqué sur Twitter qu'elle constatait "un nombre croissant de cas d'utilisation abusive du clonage vocal" et a annoncé qu'elle étudiait actuellement des mesures de protection pour limiter les abus. L'une des premières étapes du plan d'action d'ElevenLabs a été de rendre la fonctionnalité disponible uniquement pour ceux qui fournissent des informations de paiement.

Lors du lancement initial, les utilisateurs anonymes ont pu accéder gratuitement à l'outil de clonage vocal. ElevenLabs affirme également qu'en cas de problème, elle peut remonter jusqu'au créateur de la voix générée. Cependant, les experts affirment que ces dispositions sont insuffisantes et pourront être facilement contournées. Ils affirment également que même la possibilité de retrouver les créateurs n'atténuera pas vraiment le préjudice causé par l'outil de clonage de voix ElevenLabs. « Le mal est déjà fait », a déclaré Hany Farid, professeur à l'université de Californie à Berkeley, qui s'intéresse à la criminalistique numérique et à la désinformation.

Par exemple, Hany Farid a déclaré que des acteurs malveillants pourraient faire bouger le marché boursier avec un faux enregistrement audio d'un PDG affirmant que les bénéfices sont en baisse. Il y a également un clip truqué et faire croire que Biden avait déclaré que les États-Unis lançaient une attaque nucléaire contre la Russie. Selon les experts, même en retrouvant la personne qui est à l'origine de ces matériels, il serait trop tard pour réparer les torts. En outre, des logiciels gratuits et libres dotés des mêmes capacités sont également apparus en ligne, ce qui signifie que les murs payants des outils commerciaux ne sont pas un obstacle.

« La question est de savoir où pointer le doigt et comment remettre le génie dans la bouteille. Nous ne pouvons pas le faire », a déclaré Malik. Par ailleurs, une autre source de préoccupations pour les experts est la "vraisemblance" que ces nouveaux deepfakes apportent. Lorsque les deepfakes ont fait les gros titres il y a environ cinq ans, ils étaient assez faciles à détecter puisque le sujet ne clignait pas des yeux et que l'audio utilisait une voix semblable à celle d'un robot. Ce n'est plus le cas, car les outils deviennent de plus en plus sophistiqués. La détection nécessite de plus en plus de temps, ce qui fait que plus de personnes tombent dans le panneau.

La vidéo modifiée de Biden faisant des commentaires désobligeants sur les transsexuels, par exemple, combinait l'audio généré par l'IA d'ElevenLabs avec un vrai clip du président, tiré d'une émission en direct de CNN du 25 janvier annonçant l'envoi de chars américains en Ukraine. La bouche du président Joe Biden a été manipulée dans la vidéo pour correspondre à l'audio. Si la plupart des utilisateurs de Twitter ont reconnu que le contenu n'était pas quelque chose que Biden était susceptible de dire, ils ont néanmoins été choqués par le réalisme de la vidéo. D'autres semblaient croire que c'était réel, ou du moins ne savaient pas quoi croire.

« Les studios d'Hollywood sont depuis longtemps capables de déformer la réalité, mais l'accès à cette technologie s'est démocratisé sans tenir compte des implications. C'est une combinaison de la très puissante technologie basée sur l'IA, de la facilité d'utilisation, et puis du fait que le modèle semble être : mettons-le sur Internet et voyons ce qui se passe ensuite », a déclaré Farid. Microsoft dispose également d'un outil de synthèse de voix appelé VALL-E. Il n'a pas encore été rendu public, mais d'autres petites ont beaucoup moins hésité à commercialiser leurs outils - parfois sans une analyse profonde, ouvrant ainsi la voie à toute forme d'abus.

Mais l'audio n'est qu'un des domaines où la désinformation générée par l'IA constitue une menace. D'autres systèmes d'IA gratuits de génération d'images en ligne, tels que Midjourney et DALL-E, peuvent produire des images photoréalistes de guerre et de catastrophes naturelles dans le style des médias traditionnels, à partir d'un simple texte. Le mois dernier, certains districts scolaires des États-Unis et de la France ont commencé à bloquer ChatGPT, qui peut produire du texte lisible - comme les travaux de fin d'études des étudiants - à la demande. Le détournement de ces outils peut entraver les maux qui minent déjà Internet et le Web.

Source : FCC

Et vous ?

Transparence et authentification vocale : comment pouvons-nous garantir que les appels automatisés générés par IA sont transparents et authentifiés ? Devrions-nous exiger que les messages automatisés divulguent clairement leur origine ?
La liberté d’expression vs. la désinformation : jusqu’où devrait aller la liberté d’expression dans les campagnes politiques ? Comment pouvons-nous empêcher la diffusion de fausses informations sans restreindre la liberté d’expression ?
Responsabilité des entreprises de télécommunications : les entreprises de télécommunications devraient-elles être tenues responsables des appels automatisés générés par IA qu’elles transmettent ? Comment pouvons-nous les inciter à surveiller et à filtrer ces appels ?
Réglementation de l’IA : faut-il mettre en place des réglementations spécifiques pour l’utilisation de l’IA dans les campagnes politiques ? Si oui, quelles devraient être ces réglementations ?
Sanctions appropriées : l’amende de 6 millions de dollars est-elle suffisante pour dissuader d’autres consultants politiques d’utiliser des techniques similaires ? Quelles autres sanctions pourraient être efficaces ?

Voir aussi :

Plus de 70 % des consommateurs craignent d'être dupés par un deepfake et de voir l'IA et les deepfakes influencer les prochaines élections dans leur pays, selon une étude de Jumio

Un expert en IA « complètement terrifié » par les élections américaines de 2024, qui s'annoncent comme un « tsunami de désinformation », avec l'avènement des deepfakes et les IA génératives

Les "deepfakes" politiques représentent l'utilisation abusive la plus populaire de l'IA : sa faible technicité et son accessibilité ont accru l'utilisation malveillante de l'IA générative, selon DeepMind