Discussion :

[Stéphane le calme]

L'équilibre délicat entre sécurité et innovation dans l'IA : « bannir les modèles "open weights" serait un désastre » selon un chercheur,
l'administration Biden envisage de bloquer l'accès à ces modèles afin d'éviter les abus

L’utilisation de modèles dits "open-weight" dans le domaine de l’intelligence artificielle (IA) suscite des débats passionnés. D’un côté, ces modèles permettent aux développeurs d’étudier et de personnaliser des IA existantes, les rendant plus accessibles à un large éventail d’acteurs tels que les petites entreprises et les chercheurs. D’un autre côté, la disponibilité des poids de modèle peut faciliter la suppression des mécanismes de sécurité.

L'administration Biden souhaite recueillir des commentaires sur les risques et les avantages liés aux modèles d'intelligence artificielle dont les poids sont largement disponibles - un élément clé des systèmes d'intelligence artificielle qui pourrait avoir d'importantes répercussions sur la sécurité nationale. Ils envisagent de bloquer l'accès à ces modèles afin d'éviter les abus. Mais certains pensent que ça serait une terrible erreur.

Open weight contre open source pour les modèles de langage

Lorsqu'un modèle de langage de grande taille (LLM) est rendu public, il convient de faire une distinction importante entre la fourniture "open weights" et le fait de rendre le modèle "open source".

L'expression "open weights" signifie que seuls les paramètres ou les poids pré-entraînés du modèle de réseau neuronal lui-même sont rendus publics. Cela permet à d'autres d'utiliser le modèle à des fins d'inférence et de mise au point. Toutefois, le code d'entraînement, l'ensemble de données d'origine, les détails de l'architecture du modèle et la méthodologie d'entraînement ne sont pas fournis.

La confusion vient du fait que certaines personnes qualifient à tort l'IA "open weights" d'open source, alors qu'il ne s'agit pas d'un code source. Cette situation est problématique car elle conduit à des malentendus sur la nature de ces deux composants différents.

Pour simplifier :

• Code source : Le code source est lisible par l'homme, débogable et modifiable. Il s'agit des instructions relatives à la création d'un logiciel ou d'un algorithme. Dans le contexte de l'IA, le terme "open source" fait référence à la disponibilité du code source pour modification et distribution.
• Weights (littéralement poids en français) : Les poids sont les résultats de l'entraînement sur les données et ne sont pas lisibles par l'homme ou déboguables. Ils représentent les connaissances qu'un réseau neuronal artificiel a apprises. Dans le contexte de l'IA, l'expression "open weights" fait référence à la disponibilité de ces poids à des fins d'utilisation ou de modification.

La publication en "open weights" permet un accès plus large à des modèles puissants, mais limite la transparence, la reproductibilité et la personnalisation. Les personnes qui utilisent des modèles "open weights" s'appuient sur les représentations et les jugements des créateurs du modèle original sans être en mesure d'inspecter ou de modifier entièrement le modèle.

En revanche, la publication d'un modèle en tant qu'open source impliquerait la fourniture de l'ensemble du code source et des informations nécessaires au réentraînement du modèle à partir de zéro. Cela comprend le code de l'architecture du modèle, la méthodologie d'apprentissage et les hyperparamètres, l'ensemble de données d'apprentissage d'origine, la documentation et d'autres détails pertinents.

Ce type de publication favorise le progrès décentralisé, car les chercheurs peuvent mieux comprendre, critiquer, modifier et développer les modèles existants. Cependant, l'open sourcing exige un effort et un engagement supplémentaires importants de la part des créateurs de modèles.

En somme, les publications "open weights" permettent l'utilisation des modèles mais pas une transparence totale, tandis que les publications open source permettent la compréhension et la personnalisation des modèles mais nécessitent beaucoup plus de travail pour leur diffusion. Le choix entre ces deux approches implique des compromis importants tant pour les créateurs de modèles que pour les consommateurs.

L'administration Biden envisage de bloquer l'accès aux modèles "open weights" pour prévenir des abus

Les modèles "open weights" permettent aux développeurs d'étudier et de personnaliser l'IA existante, la rendant plus accessible à une variété de parties prenantes, telles que les petites entreprises et les chercheurs. L'accès aux poids des modèles rend un modèle d'IA plus personnalisable, mais il peut également faciliter la suppression des garanties.

Le 30 octobre 2023, le président Biden a publié un décret intitulé "Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence" (développement et utilisation sûrs, sécurisés et fiables de l'intelligence artificielle), qui charge le secrétaire au commerce de mener un processus de consultation publique et de publier un rapport sur les risques potentiels, les avantages, les autres implications et les approches politiques et réglementaires appropriées concernant les modèles de fondation à double usage pour lesquels les poids des modèles sont largement disponibles.

Conformément à ce décret, l'administration nationale des télécommunications et de l'information (NTIA) a émis une demande de commentaires sur ces questions. Les réponses reçues seront utilisées pour soumettre un rapport au président. Le public avait jusqu'au 27 mars 2024 pour commenter.

« Les modèles d'IA open weights soulèvent des questions importantes concernant les défis en matière de sécurité et les possibilités de concurrence et d'innovation », a déclaré Alan Davidson, secrétaire adjoint au commerce pour les communications et l'information et administrateur de la NTIA. « Ces modèles peuvent contribuer à libérer l'innovation au sein des communautés en rendant accessibles des outils puissants, mais cette même accessibilité pose également de sérieux risques. Notre appel à commentaires nous aidera à tracer une voie politique pour promouvoir à la fois la sécurité et l'innovation dans cette technologie importante ».

Robert Brennan, VP of Product Development at Fairwinds. Former Googler

Le commentaire d'OpenAI

OpenAI a soumis un commentaire en réponse à la demande d’information de la NTIA concernant les modèles de fondation à double usage avec des poids largement disponibles. Publié le 27 mars 2024, ce commentaire fournit un contexte historique pour éclairer les délibérations de la NTIA.

En 2019, OpenAI a créé GPT-2, un modèle capable de générer des paragraphes de texte cohérents. Face à la question de son déploiement, OpenAI a opté pour une sortie progressive afin d’évaluer ses implications sociétales. Après avoir observé l’absence d’utilisation abusive significative, OpenAI a publié les poids complets du modèle.

En 2020, OpenAI a créé GPT-3, encore plus performant. Cette fois, ils ont choisi de le publier via leur API, permettant de répondre aux abus potentiels. Malgré cela, OpenAI continue de soutenir l’écosystème de l’IA en publiant les poids de certains de leurs modèles de pointe.

Les modèles d'IA devenant de plus en plus puissants et les avantages et les risques liés à leur déploiement ou à leur diffusion étant de plus en plus importants, il est également important que nous soyons de plus en plus avertis lorsque nous décidons de déployer ou non un modèle et de la manière dont nous le faisons. Cela est particulièrement vrai si les capacités de l'IA en viennent à avoir des implications significatives pour la sécurité publique ou la sécurité nationale. La présence future de tels risques "catastrophiques" provenant de systèmes d'IA plus avancés est intrinsèquement incertaine, et les spécialistes ne s'accordent pas sur la probabilité et le délai d'apparition de ces risques. Nous ne pensons pas qu'il y ait encore suffisamment de preuves ; nous ne pouvons pas les exclure, ni être certains qu'ils sont imminents. En tant que développeurs faisant progresser les capacités de l'IA afin d'en maximiser les avantages, nous considérons que l'élaboration de la science des risques de cette technologie (y compris la collecte de preuves relatives à ces risques) fait partie intégrante de notre travail.

Pour naviguer dans ces incertitudes d'une manière empirique, OpenAI a lancé publiquement notre Preparedness Framework, une approche scientifique pour évaluer et atténuer en permanence les risques catastrophiques qui pourraient être posés par nos modèles d'IA. Le framework de préparation définit la manière dont nous évaluons les niveaux de capacité de nos modèles d'IA dans plusieurs domaines à haut risque, notamment la cybersécurité, les opérations autonomes, la persuasion individualisée et les menaces CBRN (chimiques, biologiques, radiologiques et nucléaires). Pour un exemple de ce framework en action, voir notre récente étude testant la capacité de GPT-4 à aider à la création de menaces biologiques, qui a conclu qu'il ne pose pas de risque marginal significatif.

Sur la base de ces évaluations, nous déterminons le niveau de risque des modèles dans chaque catégorie : faible, moyen, élevé ou critique. En vertu de notre framework de préparation, nous ne déploierons pas de systèmes d'IA présentant un niveau de risque "élevé" ou "critique" dans notre taxonomie (et nous ne formerons même pas les systèmes "critiques", compte tenu de leur niveau de risque), à moins que nos mesures d'atténuation puissent ramener le risque de ces systèmes à un niveau "moyen" au maximum. Le framework de préparation est important parce qu'il nous permet de construire et de partager largement les avantages d'une IA de plus en plus performante, tout en nous préparant à détecter les risques catastrophiques et à nous en protéger le plus tôt possible s'ils surviennent.

Conclusion

Voici quelques points clés à considérer pour pouvoir se prononcer :

• Personnalisation et innovation : Les modèles de poids ouverts offrent une flexibilité précieuse. Ils permettent aux développeurs de créer des applications personnalisées, d’adapter les modèles à des cas d’utilisation spécifiques et d’explorer de nouvelles idées. Cela favorise l’innovation et la créativité.
• Risques de sécurité : Cependant, la disponibilité des poids de modèle peut également poser des risques de sécurité. Les mécanismes de sécurité intégrés dans les modèles peuvent être contournés, ce qui pourrait entraîner des utilisations malveillantes. Par exemple, des modèles de génération de texte pourraient être utilisés pour créer de faux articles de presse, des spams ou des messages trompeurs.
• Équilibre délicat : Trouver un équilibre entre l’accessibilité et la sécurité est essentiel. Bannir complètement les modèles de poids ouverts pourrait entraver l’innovation et la recherche. En revanche, les laisser totalement ouverts sans restrictions pourrait avoir des conséquences néfastes.
• Réglementation et surveillance : Les gouvernements et les organismes de réglementation doivent élaborer des politiques souples et adaptatives. Ils devraient encourager la recherche tout en surveillant activement les utilisations potentiellement dangereuses. La collaboration internationale est également essentielle pour guider l’utilisation des modèles de poids ouverts à l’échelle mondiale.

En fin de compte, la question des modèles de poids ouverts ne peut être résolue de manière tranchée. Elle nécessite une réflexion approfondie, des débats et des mesures équilibrées pour garantir à la fois la sécurité et l’innovation dans le domaine de l’IA

Sources : administration Biden, NTIA, OpenAI, Robert Brennan

Et vous ?

Quels avantages voyez-vous dans l’utilisation de modèles "open-weight" ?
Quels sont les risques potentiels associés à l’utilisation de modèles "open-weight" ? Considérez par exemple les aspects liés à la sécurité à la confidentialité.
Comment pouvons-nous trouver un équilibre entre l’ouverture des modèles et la protection contre les abus ? Proposez des solutions pour garantir à la fois la sécurité et l’innovation.
Quel rôle devraient jouer les gouvernements et les organismes de réglementation dans la gestion des modèles "open-weight" ?
Pensez-vous comme Robert Brennan que « bannir les modèles "open weights" serait un désastre » ? Dans quelle mesure ?