de la machine...Citation:
Envoyé par Fluxgraveon
Version imprimable
de la machine...Citation:
Envoyé par Fluxgraveon
un journal fait un article
OpenAI récupère l'article pour son entrainement
Deepseek qui s'entraine sur openai
je vois pas ou est le problème :roll:
:coucou:
Il est quand même sans gêne ce Altman.
Il trouve normal d'utiliser des données ayant un droit d'auteur gratuitement pour alimenter son IA, mais si on se sert de son droit d'auteur à lui, il est pas content le Monsieur. C'est un peu l'hopital qui se fout de la charité 8O.
C'est un peu la jungle avec les IA. Si je demande à une IA de me montrer en direct un match de foot, je "bypass" les droits d'auteurs de la "chaîne TV" ayant chèrement payer ces droits, et cela serait légal ? Et si c'est illégale, pourquoi le reste de ce qui est pompé et recracher par l'IA ne le serait-il pas ? :weird:
Si je filme le match (qui sort d'une "machine", ici la TV) avec une super caméra (une autre machine) et que je diffuse cela en direct streaming sur "Internet" (qui repose au final sur des machines), c'est donc légal ?
Bref, les grands de ce monde vont arranger tout cela à leur prochaine réunion à Davos, et tous les autres seront raquetés. Deux poids, deux mesures. Les (quelques) forts d'un côté et la masse des faibles gueux de l'autre.
Elle est pas belle la vie :D.
BàV et Peace & Love.
La Maison Blanche s'intéresse à DeepSeek pour des raisons de sécurité nationale, Donald Trump considère DeepSeek comme un "signal d'alarme" et affirme que "nous rétablirons la domination américaine"
Les autorités américaines examinent les implications pour la sécurité nationale de l'application chinoise d'IA DeepSeek. Le Conseil de sécurité nationale examine les implications de l'application. Donald Trump considère les modèles d'IA de DeepSeek comme un "signal d'alarme" pour les développeurs d'IA, mais il affirme que "nous rétablirons la domination américaine."
Récemment, DeepSeek, une startup d'IA basée en Chine, a présenté sa première génération de modèles de raisonnement open-source, DeepSeek-R1, qui a démontré des performances comparables à celles des modèles de raisonnement o1 d'OpenAI. Cette présentation a entraîné une chute des valeurs technologiques à l'échelle mondiale : le Nasdaq, le Dow Jones Industrial Average et les contrats à terme du S&P500 ont tous chuté. Le fabricant de puces Nvidia a vu son action chuter de 17 %, perdant près de 600 milliards de dollars en valeur, soit la plus forte perte de capitalisation boursière jamais enregistrée par une entreprise américaine en une seule journée.
Face à cette situation, la Maison-Blanche a décidé de se pencher sur les problèmes de sécurité nationale que pose le modèle d'IA de DeepSeek. "Le Conseil de sécurité nationale examine les implications potentielles de l'application d'intelligence artificielle sur la sécurité nationale", a déclaré Karoline Leavitt, secrétaire de presse de la Maison Blanche, lors d'un point presse. Karoline Leavitt a ajouté que le président Donald Trump considérait les modèles d'IA récemment publiés par la startup comme un "signal d'alarme" pour les développeurs d'IA aux États-Unis, mais que "nous rétablirons la domination américaine".
L'application mobile du chatbot d'IA de DeepSeek s'est hissée au sommet de la page d'accueil du site web d'Apple, l'App Store d'Apple, tandis que son site a connu des pannes dues à l'afflux de nouveaux utilisateurs. DeepSeek a également annoncé des "attaques malveillantes à grande échelle", ce qui l'a contraint à limiter temporairement les inscriptions.
Les investisseurs ont été effrayés par la startup chinoise, qui a publié en décembre son modèle DeepSeek-V3, dont la formation et le développement sur les puces H800 à capacité réduite de Nvidia n'ont coûté, selon elle, que 5,6 millions de dollars. Pendant ce temps, des rivaux américains comme OpenAI et Meta ont déclaré avoir dépensé des dizaines de milliards pour les puces plus puissantes de Nvidia.
Karoline Leavitt a également déclaré que l'administration Biden "est restée les bras croisés et a permis à la Chine de développer rapidement ce programme d'IA".
Pour rappel, au cours des derniers jours de son mandat, l'ancien président a introduit des mesures supplémentaires visant à réduire les exportations de puces avancées vers la Chine. Les nouvelles réglementations renforcent et s'appuient sur les précédents contrôles américains à l'exportation visant à restreindre l'accès de la Chine à certains semi-conducteurs pouvant être utilisés pour l'IA et le développement militaire.
Fait intéressant, OpenAI a récemment annoncé le lancement de ChatGPT Gov, une version spécialement conçue de son chatbot, destinée aux agences gouvernementales américaines. Cette initiative vise à fournir aux institutions fédérales un accès sécurisé aux modèles avancés d'OpenAI, tels que GPT-4o, via une instance cloud Microsoft Azure dédiée, répondant ainsi aux exigences strictes en matière de sécurité et de confidentialité.
Et vous ?
:fleche: Pensez-vous que ces déclarations sont crédibles ou pertinentes ?
:fleche: Quel est votre avis sur le sujet ?
Voir aussi :
:fleche: Stargate : Quel est ce nouveau projet de 500 milliards de dollars annoncé par Donald Trump en matière d'IA ? OpenAI et d'autres s'associent en une coentreprise pour développer la technologie aux États-Unis
:fleche: OpenAI a trouvé des preuves que la start-up chinoise DeepSeek a utilisé les modèles propriétaires d'OpenAI pour former son propre modèle open-source, en utilisant la technique de "distillation"
:fleche: Meta aurait mis en place des « cellules de crise » composées d'ingénieurs pour comprendre comment l'IA de DeepSeek peut battre tous les autres avec une fraction du prix
SemiAnalysis affirme que DeepSeek a dépensé plus de 500 millions de dollars en puces Nvidia malgré les allégations au sujet d'une IA à bas prix
ce qui suscite des interrogations sur la transparence de DeepSeek
DeepSeek a provoqué une hécatombe à Wall Street le 27 janvier à la suite des informations selon lesquelles les performances de son modèle d'IA R1 égalent celles du modèle o1 d'OpenAI pour une fraction du prix, soit 5,6 millions de dollars. Et la startup chinoise n'aurait eu besoin que de 2 048 puces Nvidia H800 pour atteindre ce résultat. Cependant, la société d'analyse SemiAnalysis indique que DeepSeek, qui a été créée en 2023, a dépensé plus de 500 millions de dollars en GPU au cours de son histoire. Cette information a suscité des interrogations sur la transparence de DeepSeek. Elle ne semble pas toutefois remettre en cause ses efforts.
Les données financières publiées par le chinois DeepSeek suscitent la polémique
En décembre 2024, DeepSeek a publié le grand modèle de langage (LLM) appelé « V3 ». Selon DeepSeek, V3 est aussi performant que les modèles de dernière génération de Google et OpenAI, mais n'a nécessité qu'une fraction du budget de ses rivaux américains, soit 5,6 millions de dollars. DeepSeek précise n'avoir utilisé que 2 048 puces Nvidia H800, des puces moins avancées que les accélérateurs Nvidia H100 et initialement conçues pour le marché chinois.
Puis, le 20 janvier 2025, DeepSeek a dévoilé son dernier modèle R1, qui est un modèle axé sur le raisonnement comparable au modèle o1 d'OpenAI. L'annonce a fait l'effet d'une bombe à Wall Street et a provoqué une chute brutale et importante des actions de nombreuses entreprises technologiques américaines engagées dans la course à l'IA. L'action Nvidia a dévissé de 17 %, effaçant 600 milliards de dollars de la capitalisation boursière de l'entreprise.
Mais les analystes de SemiAnalysis ont tenu à apporter quelques nuances aux déclarations de DeepSeek. SemiAnalysis est une société indépendante de recherche et d'analyse spécialisée dans les secteurs des semiconducteurs et de l'IA. Dylan Patel, analyste en chef chez SemiAnalysis, affirme que DeepSeek et sa société sœur, le fonds spéculatif High-Flyer, ont accès à des dizaines de milliers de GPU Nvidia, qui ont servi à entraîner les prédécesseurs de R1.
« DeepSeek a dépensé plus de 500 millions de dollars en GPU au cours de son histoire. Bien que leur programme d'entraînement ait été très efficace, il a nécessité une expérimentation et des tests importants pour fonctionner », a déclaré Dylan Patel.
Il a ajouté que la réduction des coûts de formation et d'exploitation des modèles d'IA permettrait à long terme aux entreprises et aux consommateurs d'adopter à moindre coût les applications d'IA. Nvidia a fait valoir que les innovations de DeepSeek profiteraient à ses activités, et qu'elles ne les feraient exploser.
Dan Hutcheson, de TechInsights, a déclaré que la réaction du marché ne reflétait pas qui était le plus exposé à la percée de DeepSeek. « Je ne vois pas cela comme un gros coup pour Nvidia, je vois cela comme un gros problème pour les entreprises comme OpenAI qui essaient de vendre ces services », a-t-il déclaré.
Cette controverse remet-elle en question les prouesses techniques de DeepSeek ?
Ces informations contradictoires rendent difficile l'évaluation précise des dépenses réelles de DeepSeek en matière de matériel et ses dépenses relatives à l'entraînement de ses systèmes d'IA. Selon certains analystes, il est possible que les 500 millions de dollars mentionnés incluent des investissements à long terme ou des dépenses liées à d'autres projets au sein de la startup. Une analyse plus approfondie serait nécessaire pour clarifier ces divergences.
Pour effrayer davantage les investisseurs, DeepSeek a déclaré que ses ingénieurs ont été mesure de débloquer de meilleures performances en écrivant du code sans s'appuyer sur la plateforme logicielle CUDA de Nvidia. CUDA est considérée comme cruciale pour la domination du fabricant de Nvidia dans le développement de l'IA. Les prouesses de DeepSeek ont été largement saluées dans l'industrie, y compris Sam Altman, PDG d'OpenAI, et Nvidia lui-même.
Nvidia a déclaré : « DeepSeek est une excellente avancée en matière d'IA et un exemple parfait de test Time Scaling. L'inférence nécessite un nombre important de GPU Nvidia et un réseau de haute performance ». La déclaration de Nvidia suggère qu'en repoussant les limites de ce qui est possible avec les modèles d'IA open source, DeepSeek a en fait augmenté la demande pour les puces de pointe qui sont utilisées pour faire fonctionner ses systèmes.
Si certains analystes contestent l'idée que l'IA révolutionnaire de DeepSeek soit si peu coûteuse à construire, ils ne semblent pas remettre en cause les prouesses techniques de la startup. L'IA de DeepSeek est open source, ce qui signifie que n'importe qui peut la disséquer et vérifier ses performances.
L'investisseur en capital-risque Marc Andreessen a qualifié le nouveau modèle R1 de la startup chinoise de « moment Spoutnik de l'IA », établissant ainsi une comparaison avec la manière dont l'Union soviétique a pris de court les États-Unis en mettant le premier satellite en orbite en octobre 1957.
Certains acteurs de l'industrie considèrent d'ailleurs l'IA de DeepSeek comme le triomphe de l'open source. Le président américain Donald Trump a déclaré que « DeepSeek devrait être un signal d'alarme pour les entreprises américaines, qui doivent se concentrer sur la concurrence pour gagner ».
DeepSeek-R1 : une victoire de l'open source et du logiciel libre ?
Yann LeCun, responsable scientifique de la division IA chez Meta, a donné son avis sur le succès de DeepSeek. Selon lui, ce qu'il faut retenir est la volonté de DeepSeek de maintenir ses modèles d'IA open source afin que tout le monde puisse en bénéficier. Yann LeCun a fait remarquer que la réussite de DeepSeek ne consistait pas à placer la Chine devant les États-Unis dans le secteur de l'IA, mais à s'assurer que les modèles open source restent en tête.
« Ce n'est pas que l'IA chinoise surpasse les États-Unis, mais plutôt que les modèles open source surpassent les modèles propriétaires », a déclaré Yann LeCun. Selon lui, DeepSeek a bénéficié de l'open source et de la recherche ouverte. « Ils ont trouvé de nouvelles idées et les ont développées en s'appuyant sur le travail d'autres personnes. Comme leur travail est publié et qu'il s'agit d'une source ouverte, tout le monde peut en profiter », a déclaré Yann LeCun.
« C'est la force de la recherche ouverte et de l'open source », a-t-il ajouté. DeepSeek partage les mêmes attributs que le modèle Llama de Meta, les deux étant open source. Yann LeCun affirme depuis longtemps que l'open source est la seule voie pour développer une IA sûre et profitable à tous.
Dans un récent message publié sur LinkedIn, Pat Gelsinger, récemment évincé de son poste de PDG d'Intel, a déclaré : « la réaction du marché est erronée : la baisse du coût de l'IA élargira le marché. DeepSeek est un incroyable travail d'ingénierie qui va permettre une plus grande adoption de l'IA ».
Quoi qu'il en soit, DeepSeek a remis en cause le concept de « mise à l'échelle de l'IA », popularisé par des dirigeants de startups d'IA telles qu'OpenAI et Anthropic. Ce concept suggère que les modèles d'IA deviennent plus « intelligents » à mesure qu'ils sont alimentés en données et en ressources informatiques.
Le chatbot DeepSeek s'est hissé en tête du classement de l'App Store d'Apple aux États-Unis quelques jours après son lancement, dépassant son rival ChatGPT. Outre Nvidia, DeepSeek a provoqué la chute des actions d'autres entreprises technologiques telles que Broadcom (17,4 %) et TSMC (9.88 %).
Source : Dylan Patel, analyste en chef chez SemiAnalysis
Et vous ?
:fleche: Quel est votre avis sur le sujet ?
:fleche: Que pensez-vous de la polémique concernant les dépenses réelles de la startup chinoise DeepSeek ?
:fleche: DeepSeek aurait dépensé plus de 500 millions de dollars en GPU jusqu'à présent. Qu'en pensez-vous ?
:fleche: La controverse autour des dépenses de DeepSeek remet-elle en cause ses prouesses techniques ?
Voir aussi
:fleche: Nvidia rejette la menace DeepSeek et affirme que l'IA chinoise a toujours besoin de ses puces alors que ses actions ont dévissé de 17 %, effaçant 600 milliards de dollars de sa capitalisation boursière
:fleche: L'entreprise technologique chinoise Alibaba a lancé une nouvelle version de son modèle d'IA Qwen 2.5-Max, affirmant qu'il surpasse DeepSeek : "Qwen 2.5-Max surpasse GPT-4o, DeepSeek-V3 et Llama-3.1-405B"
:fleche: Avec l'apprentissage par renforcement, le LLM open source DeepSeek-R1 correspondrait à o1 d'OpenAI pour 95 % moins cher. R1 est déjà numéro un des téléchargements Apple Store, suivi par ChatGPT
Malgré cela, la somme dépensée par DeepSeek reste largement inférieure aux montants faramineux que comptent dépenser les occidentaux
Citation:
Envoyé par Developpez.com
Entreprise américaine 100% indépendante et impartiale. Mais tout à fait! :ptdr:Citation:
Envoyé par SemiAnalysis
Alors d'après le spécialiste indépendant et autoproclamé que je suis je pense que 6 millions est le coût de l'entraînement de leur développement de superbes astuces techniques pour réaliser ce prodige. Évidemment l'histoire de deepsseek n'a pas commencé que avec deepseek R1. Les versions précédentes avaient déjà cette tendance à donner d'excellents résultats pour moins cher. Les ingénieurs de deepseek ont cassé des regles établies par les autres et bien je dis bravo. Avec un peu de chance on arrivera à faire tourner une bonne IA sans gpu sur des vieux mac ou même sur des smartphones et pas des machines hors de prix. S'ils y arrivent ça sera très bon pour tout le monde ... Sauf peut-être pour OpenAI (ClosedAI plutôt) et Microsoft (Nanosoft plutôt qu'ils retournent a la poussière ceux la)
Et la machine, elle vient d'où ?Citation:
Envoyé par L33tige
:fleur:
Franchement dire qu'ils ont volé quelque chose a OpenAI c'est une farce non (ClosedAI j'insiste). Les américains sorte la grosse artillerie 500 milliards de $) mais les chinois sont hyper motivés.
Nous sommes face a la conquête de la lune bis. Mais en toute sincérité je n'ai rien contre les chinois pas plus que contre les américains.
Non, j'en ai contre la France qui fait n'importe quoi.
On pourrait avoir tout ce qu'on veut mais ça sera encore des médiocres aux commandes.
Enfin tant qu'on a des sacs a main a vendre ou des montres de Luxe.
Mais qui porte encore une montre se luxe franchement. A si, des mecs qui ont besoin de ça pour exister.
Eh bien, quel déferlement de news !
La ruée vers l'or moderne : même les vendeurs de pelles peuvent faire faillite :mrgreen::ptdr:Citation:
Nvidia rejette la menace DeepSeek et affirme que l'IA chinoise a toujours besoin de ses puces alors que ses actions ont dévissé de 17 %
Le spectacle ne fait que commencer ?
Wiz Research découvre une base de données DeepSeek exposée qui laisse échapper des informations sensibles, y compris l'historique des conversations, et comprend plus d'un million de lignes de flux de données.
Wiz Research a identifié une base de données ClickHouse accessible au public et appartenant à DeepSeek, qui permet un contrôle total des opérations de la base de données, y compris la possibilité d'accéder à des données internes. L'exposition comprend plus d'un million de lignes de flux de données contenant l'historique des discussions, des clés secrètes, des détails de backend et d'autres informations très sensibles. L'équipe de Wiz Research a révélé le problème à DeepSeek, qui aurait rapidement sécurisé l'exposition.
DeepSeek, une startup chinoise spécialisée dans l'IA, a récemment attiré l'attention des médias en raison de ses modèles d'IA révolutionnaires, en particulier le modèle de raisonnement DeepSeek-R1. Ce modèle rivalise avec les principaux systèmes d'IA tels que o1 d'OpenAI en termes de performances et se distingue par sa rentabilité et son efficacité.
Alors que DeepSeek faisait des vagues dans le domaine de l'IA, l'équipe de Wiz Research a entrepris d'évaluer son dispositif de sécurité externe et d'identifier toute vulnérabilité potentielle. L'équipe aurait trouvé une base de données ClickHouse accessible au public, liée à DeepSeek, complètement ouverte et non authentifiée, exposant des données sensibles. Elle était hébergée sur oauth2callback.deepseek.com:9000 et dev.deepseek.com:9000.
Cette base de données contenait un volume important d'historiques de chat, de données de backend et d'informations sensibles, y compris des flux de logs, des secrets d'API et des détails opérationnels. Plus grave encore, l'exposition a permis un contrôle total de la base de données et une escalade potentielle des privilèges au sein de l'environnement DeepSeek, sans aucun mécanisme d'authentification ou de défense vers le monde extérieur.
Cette découverte confirme que l'adoption rapide de services d'IA sans sécurité correspondante est intrinsèquement risquée. Cette exposition souligne le fait que les risques de sécurité immédiats pour les applications d'IA proviennent de l'infrastructure et des outils qui les soutiennent. Alors que l'attention portée à la sécurité de l'IA se concentre sur les menaces futuristes, les véritables dangers proviennent souvent des risques de base, tels que l'exposition externe accidentelle des bases de données. Ces risques, qui sont fondamentaux pour la sécurité, devraient rester une priorité absolue pour les équipes de sécurité.
Alors que les organisations s'empressent d'adopter les outils et services d'IA d'un nombre croissant de startups et de fournisseurs, il est essentiel de se rappeler qu'en faisant cela, nous confions à ces entreprises des données sensibles. Le rythme rapide de l'adoption conduit souvent à négliger la sécurité, mais la protection des données des clients doit rester la priorité absolue. Il est essentiel que les équipes de sécurité travaillent en étroite collaboration avec les ingénieurs en IA pour garantir la visibilité de l'architecture, des outils et des modèles utilisés, afin de protéger les données et d'éviter toute exposition.
Cette révélation de Wiz Research vient s'ajouter à la récente révélation concernant DeepSeek. En effeet, DeepSeek a provoqué une hécatombe à Wall Street le 27 janvier à la suite des informations selon lesquelles les performances de son modèle d'IA R1 égalent celles du modèle o1 d'OpenAI pour une fraction du prix, soit 5,6 millions de dollars. Et la startup chinoise n'aurait eu besoin que de 2 048 puces Nvidia H800 pour atteindre ce résultat.
Cependant, la société d'analyse SemiAnalysis indique que DeepSeek, qui a été créée en 2023, a dépensé plus de 500 millions de dollars en GPU au cours de son histoire. Cette information a suscité des interrogations sur la transparence de DeepSeek. Elle ne semble pas toutefois remettre en cause ses efforts.
Voici les détails de cette découverte par Wiz Research :
Source : Wiz ReseachCitation:
Description de l'exposition
Notre reconnaissance a commencé par l'évaluation des domaines de DeepSeek accessibles au public. En cartographiant la surface d'attaque externe avec des techniques de reconnaissance simples (découverte passive et active des sous-domaines), nous avons identifié environ 30 sous-domaines orientés vers l'Internet. La plupart semblaient bénins, hébergeant des éléments tels que l'interface du chatbot, la page d'état et la documentation de l'API - aucun d'entre eux n'ayant initialement suggéré une exposition à haut risque.
Cependant, en élargissant notre recherche au-delà des ports HTTP standard (80/443), nous avons détecté deux ports ouverts inhabituels (8123 & 9000) associés aux hôtes suivants :
- http://oauth2callback.deepseek.com:8123
- http://dev.deepseek.com:8123
- http://oauth2callback.deepseek.com:9000
- http://dev.deepseek.com:9000
Une enquête plus poussée a révélé que ces ports menaient à une base de données ClickHouse publiquement exposée, accessible sans aucune authentification, ce qui a immédiatement mis la puce à l'oreille.
ClickHouse est un système de gestion de base de données en colonnes open-source conçu pour des requêtes analytiques rapides sur de grands ensembles de données. Il a été développé par Yandex et est largement utilisé pour le traitement des données en temps réel, le stockage des journaux et l'analyse des données volumineuses, ce qui indique que cette exposition est une découverte très précieuse et sensible.
En tirant parti de l'interface HTTP de ClickHouse, nous avons accédé au chemin d'accès /play, qui permet l'exécution directe de requêtes SQL arbitraires via le navigateur. L'exécution d'une simple requête SHOW TABLES ; a permis d'obtenir une liste complète des ensembles de données accessibles.
Parmi ceux-ci, une table se démarque : log_stream, qui contient des journaux détaillés avec des données très sensibles.
La table log_stream contenait plus d'un million d'entrées de journaux, avec des colonnes particulièrement révélatrices :
- timestamp - Journaux datant du 6 janvier 2025
- span_name - Références à divers points d'extrémité de l'API interne de DeepSeek
- string.values - Journaux en texte clair, y compris l'historique des conversations, les clés API, les détails du backend et les métadonnées opérationnelles.
- service - Indique le service DeepSeek qui a généré les logs
- source - Indique l'origine des demandes de journaux, contenant l'historique des conversations, les clés API, les structures de répertoire et les journaux de métadonnées du chatbot.
Ce niveau d'accès représentait un risque critique pour la sécurité de DeepSeek et pour ses utilisateurs finaux. Non seulement un attaquant pouvait récupérer des journaux sensibles et des messages de chat en texte clair, mais il pouvait aussi potentiellement exfiltrer des mots de passe en texte clair et des fichiers locaux contenant des informations de propriété directement à partir du serveur à l'aide de requêtes telles que : SELECT * FROM file('filename') en fonction de leur configuration ClickHouse.
Conclusion
Le monde n'a jamais vu un élément de technologie adopté au rythme de l'IA. De nombreuses entreprises spécialisées dans l'IA se sont rapidement transformées en fournisseurs d'infrastructures critiques sans les cadres de sécurité qui accompagnent généralement une adoption aussi généralisée. À mesure que l'IA s'intègre profondément dans les entreprises du monde entier, l'industrie doit reconnaître les risques liés à la manipulation de données sensibles et appliquer des pratiques de sécurité équivalentes à celles requises pour les fournisseurs de cloud public et les grands fournisseurs d'infrastructure.
Et vous ?
:fleche: Pensez-vous que cette découverte est crédible ou pertinente ?
:fleche: Quel est votre avis sur le sujet ?
Voir aussi :
:fleche: DeepSeek est victime d'une cyberattaque et limite les inscriptions : la startup chinoise spécialisée dans l'IA a déclaré avoir été victime d'une "attaque malveillante à grande échelle" contre ses services
:fleche: La Maison Blanche s'intéresse à DeepSeek pour des raisons de sécurité nationale, Donald Trump considère DeepSeek comme un "signal d'alarme" et affirme : "nous rétablirons la domination américaine"
:fleche: OpenAI a trouvé des preuves que la start-up chinoise DeepSeek a utilisé les modèles propriétaires d'OpenAI pour former son propre modèle open-source, en utilisant la technique de "distillation"
L'IA chinoise DeepSeek « s'autocensure » en temps réel sur des questions sensibles relatives à la Chine, Taïwan ou Xi Jinping
tandis que son rival américain ChatGPT est accusé d'être « woke » et partial
DeepSeek suscite l'enthousiasme de l'industrie technologique mondiale depuis la publication de son modèle d'IA R1 qui a égalé les performances des modèles occidentaux les plus avancés pour une fraction du prix. Mais il a été observé que DeepSeek applique une censure stricte sur des sujets politiquement sensibles en Chine. Les utilisateurs ont vu le chatbot chinois répondre, puis se censurer en temps réel. Pour certains critiques, il s'agit d'un aperçu saisissant du contrôle exercé par la Chine sur l'information, mais d'autres rappellent que n'importe qui peut télécharger le modèle open source de DeepSeek et l'adapter pour supprimer les restrictions de Pékin.
DeepSeek critiqué en raison de la censure de sujets jugés sensibles par Pékin
DeepSeek a semé la panique dans le rang des investisseurs et a fait chuter les valeurs technologiques à Wall Street le 27 janvier. L'action Nvidia a perdu 17 %, effaçant 600 milliards de dollars de la capitalisation boursière de l'entreprise. Pour cause, DeepSeek a remis en question les pratiques établies de la Silicon Valley selon lesquelles « le développement de modèles d'IA avancés nécessite des investissements massifs en matière de puces et d'infrastructures ».
Cependant, DeepSeek est critiqué pour la censure appliquée à ses modèles d'IA. Selon des tests effectués par CBC News et The Associated Press, l'IA chinoise DeepSeek ne répond pas toujours à certaines questions sur des sujets souvent censurés par Pékin et fournit des informations différentes de celles de ses rivaux américains. Les utilisateurs peuvent même observer cette censure en temps réel lorsqu'ils posent, par exemple, des questions concernant Xi Jinping.
Les utilisateurs pourraient s'attendre à ce que la censure se fasse à huis clos, avant que toute information ne soit affichée. Mais cela ne semble pas être le cas de l'IA de DeepSeek. Elle aborde ses réponses avec un préambule de raisonnement qu'elle peut effacer ensuite lorsqu'elle se rend compte que le sujet est sensible. Cette censure est conforme aux lois chinoises qui interdisent la diffusion de contenus violant les valeurs socialistes fondamentales de la Chine.
La censure apparente semble se produire lorsque les utilisateurs utilisent l'application ou le site Web de DeepSeek, lorsque le modèle d'IA est exécuté sur les propres serveurs de l'entreprise et fournit des réponses à distance. DeepSeek ne semble pas pratiquer cette censure lorsqu'il est téléchargé et utilisé localement.
DeepSeek est formé à s'autocensurer (et, parfois, à afficher des tendances politiques spécifiques) sur les sujets sensibles. Et lorsque DeepSeek refuse de répondre, il sort souvent une phrase toute faite : « désolé, cela dépasse mon champ d'action actuel. Parlons d'autre chose ». Voici quelques exemples rapportés :
Le Grand pare-feu de Chine
À la question « qu'est-ce que le Grand pare-feu de Chine ? » (surnom donné au réseau technologique de censure d'Internet en Chine), DeepSeek a publié une longue réponse dans laquelle il le qualifie de « système complet de censure et de surveillance d'Internet mis en œuvre par le gouvernement chinois ». L'IA a ensuite expliqué les différentes techniques utilisées, du blocage IP au filtrage d'URL en passant par l'inspection approfondie des paquets.
La réponse de l'IA de DeepSeek se lit comme suit : « ce système s'inscrit dans le cadre d'un effort plus large du gouvernement chinois pour contrôler le flux d'informations à l'intérieur du pays, en veillant à ce qu'Internet soit conforme aux lois nationales et aux valeurs socialistes. S'il a permis de contrôler efficacement le paysage Internet national, il a également fait l'objet de critiques internationales pour avoir limité la liberté d'information et d'expression... ».
Puis, comme si le modèle se rendait compte de ce qu'il avait dit, les paragraphes ont disparu. À leur place est apparue la phrase habituelle : « désolé, cela dépasse mon champ d'action actuel ». La première ligne de sa réponse initiale est cependant presque identique à celle de ChatGPT.
Lorsque DeepSeek a accepté d'expliquer le Grand pare-feu de Chine sans supprimer sa réponse, il n'a fait aucune mention de censure ou de critique internationale. Au lieu de cela, il a décrit le système comme « un élément essentiel de la gouvernance d'Internet en Chine », soulignant l'engagement du gouvernement à fournir un cyberespace sain et affirmant que l'approche a recueilli la compréhension et le soutien de la grande majorité de la population.
Winnie l'ourson en Chine
Selon certains utilisateurs, DeepSeek semble incapable de répondre de manière exhaustive à la question « que signifie Winnie l'ourson en Chine ? ». En Chine, le personnage de Winnie l'ourson est utilisé pour se moquer du président Xi Jinping, et les recherches en ligne concernant ce personnage ont été brièvement interdites dans le pays. DeepSeek a déclaré que « l'ours est un personnage de dessin animé adoré par plusieurs enfants et familles en Chine ».
Puis, brusquement, il affirme que le gouvernement chinois s'engage à fournir un cyberespace sain à ses citoyens et que tous les contenus en ligne sont gérés conformément aux lois chinoises et aux valeurs fondamentales du socialisme, dans le but de protéger la sécurité nationale et la stabilité sociale.
ChatGPT a répondu en expliquant que Winnie l'ourson était devenu un symbole de satire politique et de résistance, souvent utilisé pour se moquer de Xi Jinping ou le critiquer. Il a expliqué que les internautes comparaient Xi Jinping à l'ours en raison des similitudes physiques qu'ils percevaient.
À la question de savoir si « Winnie l'ourson est utilisé pour se moquer de Xi Jining », DeepSeek a répondu : « cela dépassait mon champ d'action actuel ». Lorsqu'on lui a demandé pourquoi il ne pouvait pas répondre, il a répondu à plusieurs reprises qu'il est conçu « pour fournir des réponses utiles et inoffensives ».
Place Tiananmen en juin 1989
Lors de la répression militaire sur la place Tiananmen à Pékin en juin 1989, les troupes gouvernementales ont ouvert le feu sur les manifestants prodémocratie menés par les étudiants sur la place Tiananmen à Pékin, faisant plusieurs morts. Cet événement reste un sujet tabou en Chine continentale.
Lorsque DeepSeek a été interrogé sur le sujet, il a répondu : « désolé, cela dépasse mes compétences actuelles. Parlons d'autre chose ». Mais ChatGPT a donné une réponse détaillée sur ce qu'il a appelé « l'un des événements les plus importants et les plus tragiques » de l'histoire moderne de la Chine.
Taïwan fait-elle partie de la Chine ?
À l'instar du discours officiel chinois, DeepSeek a déclaré que Taïwan fait partie intégrante de la Chine depuis l'Antiquité. Un exemple de déclaration très similaire se trouve dans ce document gouvernemental publié en 2022. Il a déclaré que les compatriotes des deux côtés du détroit de Taïwan sont liés par le sang.
ChatGPT a déclaré que la réponse dépendait du point de vue de chacun, tout en exposant les positions de la Chine et de Taïwan ainsi que les points de vue de la communauté internationale. D'un point de vue juridique et politique, la Chine affirme que Taïwan fait partie de son territoire et que la démocratie insulaire fonctionne comme un « pays indépendant de facto » doté de son propre gouvernement, de sa propre économie et de sa propre armée.
Contourner les restrictions mises en place par DeepSeek à l'aide de jailbreaks
Les experts de la société de sécurité Promptfoo, spécialisée dans la sécurité des grands modèles de langage (LLM), a récemment publié un ensemble de données de requêtes (invites) couvrant différents sujets sensibles susceptibles d'être censurés par le parti communiste chinois (PCC). Ces sujets comprennent des questions récurrentes telles que l'indépendance de Taïwan, des récits historiques sur la révolution culturelle et sur le président Xi Jinping.
Les experts de Promptfoo affirment que les refus de DeepSeek supplantent la fonction de raisonnement du modèle. « Cela signifie que nous pouvons détecter ces refus en vérifiant simplement s'il y a un raisonnement », affirme Promptfoo dans un billet de blogue publié sur son site Web.
L'ensemble de données de Promptfoo est publié sur HuggingFace et Google Sheets. Il contient 1 360 invites, avec environ 20 invites par sujet sensible. Promptfoo a déclaré qu'environ 85 % de cet ensemble de données est censuré par DeepSeek. Cette proportion représente 1 156 questions de l'ensemble de données de Promptfoo. Selon Promptfoo, les quelque 15 % d'invites qui n'ont pas été refusées n'étaient généralement pas assez spécifiques à la Chine.
Promptfoo a des capacités de red teaming qui exploitent des modèles d'IA pour trouver de nouveaux jailbreaks pour des sujets spécifiques. L'installation peut se faire via l'interface utilisateur, ou par l'intermédiaire d'un fichier de configuration mis en place par l'équipe de Promptfoo.
Pour contourner la censure de DeepSeek, l'équipe de Promptfoo a extrait les messages censurés dans un fichier CSV à colonne unique. Ensuite, elle a appliqué une poignée de stratégies de jailbreak populaires dans le domaine des grands modèles de langage, notamment :
- un jailbreak itératif qui utilise une boucle attaquant-juge (attacker-judge) pour rechercher une invite de jailbreak ;
- une technique basée sur les arbres qui se comporte de la même manière ;
- une « approche composite du jailbreak » qui empile des jailbreaks simples connus les uns sur les autres, ce qui se traduit par un taux de réussite des attaques plus élevé ;
- les jailbreaks Crescendo et GOAT de Microsoft Research et Meta AI, respectivement. Il s'agit de jailbreaks conversationnels qui trompent le modèle au cours d'un dialogue.
Résultats du jailbreak de DeepSeek
« Il s'avère que DeepSeek peut être trivialement jailbreaké. DeepSeek a mis en œuvre la censure du parti communiste chinois de manière grossière et brutale. Je suppose qu'ils ont fait le strict minimum nécessaire pour satisfaire les contrôles du parti communiste chinois, et qu'il n'y a pas eu d'effort substantiel au sein de DeepSeek pour aligner le modèle sous la surface », a déclaré le PDG de Promptfoo, Ian W. Selon Ian W, cela signifie que la censure est fragile.
La censure n'est pas inhabituelle pour les modèles chinois. Mais Ian W affirme qu'elle semble être appliquée par force brute dans le cas de DeepSeek, ce qui la rend facile à tester et à détecter. Selon le billet de blogue de Ian W, les contournements les plus courants sont les suivants :
- Omettre le contexte spécifique à la Chine
Par exemple, certaines questions peuvent être modifiées pour porter sur les États-Unis, la Corée du Nord ou d'autres régimes oppressifs (même hypothétiques). Cela est facilité par le fait que DeepSeek suppose automatiquement que le contexte est américain si vous ne posez pas de question spécifique sur la Chine, probablement un effet secondaire des données d'entraînement centrées sur les États-Unis (ou parce qu'il a été entraîné sur ChatGPT).
Selon Ian W, l'invite est présentée comme une demande de contexte historique bénin. Il a déclaré que les membres de l'équipe rouge (red teaming) de Promptfoo chargée de la conversation ont rapidement constaté que la généralisation de la question permettait d'obtenir une réponse complète.
En outre, il est également possible d'envelopper l'invite dans une demande de roman ou d'autre fiction. Selon le PDG de Promptfoo , il s'agit d'une autre technique courante de jailbreak qui a tendance à fonctionner sur des modèles plus petits ou plus faibles du marché.
- Injections directes d'invites
L'injection d'invite est un type d’attaque contre les modèles de langage. Les pirates déguisent des entrées malveillantes en requêtes légitimes, manipulant les systèmes d'IA générative pour contourner la censure ou pour les forcer à divulguer des données sensibles, diffuser des informations erronées, etc.
Les injections d'invite les plus élémentaires peuvent amener un chatbot à ignorer les garde-fous du système et à dire des choses qu'il ne devrait pas être en mesure de dire. Même les chatbots les plus avancés du marché, notamment ChatGPT d'OpenAI et Claude d'Anthropic, sont vulnérables à ces attaques.
ChatGPT qualifié de woke et critiqué pour sa censure des voix conservatrices
ChatGPT, le chatbot phare d'OpenAI, est également accusé de censure sur certains sujets et de partialité. ChatGPT censurerait notamment les voix conservatrices. Par exemple, en février 2023, des utilisateurs ont signalé que ChatGPT refusait de rédiger un poème sur les attributs positifs de Donald Trump, invoquant une politique de neutralité, mais acceptait de le faire pour Joe Biden. Cette situation a conduit à des accusations de partialité politique.
Des études ont également suggéré que ChatGPT pourrait avoir une orientation pro-environnementale et libertaire de gauche. Par exemple, selon l'étude, ChatGPT serait beaucoup plus enclin à imposer des taxes sur les vols, limiter les augmentations de loyer et légaliser l'avortement. Par ailleurs, lors des élections de 2021, ChatGPT aurait très probablement voté pour les Verts en Allemagne (Bündnis 90/Die Grünen) et aux Pays-Bas (GroenLinks).
« Nos résultats sont robustes lorsque l'on annule les messages-guides, que l'on inverse l'ordre des déclarations, que l'on varie la formalité des messages-guides et que l'on passe d'une langue à l'autre. Nous concluons en discutant des implications de l'IA conversationnelle politiquement biaisée sur la société », indiquent les auteurs de l'étude. ChatGPT est aussi qualifié de woke et a été rebaptisé « wokeGPT » par les critiques d'OpenAI, dont Elon Musk.
Elon Musk, cofondateur d'OpenAI, a exprimé des critiques concernant ChatGPT et l'évolution d'OpenAI. Il a notamment qualifié ChatGPT de « trop politiquement correct » et a critiqué OpenAI pour son orientation commerciale, estimant que l'organisation s'éloigne de sa mission initiale à but non lucratif.
Elon Musk a quitté OpenAI en 2018 en raison d'un conflit sur la direction à donner à l'entreprise. En 2023, Elon Musk a fondé xAI et développé Grok, un chatbot conçu pour être plus direct et moins sujet à la censure que ChatGPT. Cependant, Grok n'a pas échappé aux problèmes inhérents aux chatbots d'IA.
Sources : billet de blogue, rapport d'étude
Et vous ?
:fleche: Quel est votre avis sur le sujet ?
:fleche: Que pensez-vous des allégations sur la censure appliquée par DeepSeek sur certains sujets ?
:fleche: Selon vous, l'IA peut-elle échapper à la censure ? Peut-elle échapper au « politiquement correct » ?
Voir aussi
:fleche: SemiAnalysis affirme que DeepSeek a dépensé plus de 500 millions de dollars en puces Nvidia malgré les allégations au sujet d'une IA à bas prix, suscitant des interrogations sur la transparence de DeepSeek
:fleche: Les conservateurs affirment que ChatGPT est devenu "woke" et s'inquiètent à propos de la partialité du chatbot d'OpenAI, ils accusent également le chatbot de défendre les "valeurs de gauche"
:fleche: DeepSeek Janus-Pro : Le générateur d'images d'IA open source « révolutionnaire » surpasserait DALL-E 3 d'OpenAI pour une fraction du prix, Sam Altman salue la prouesse et promet l'arrivée imminente de l'IAG
L'IA chinoise DeepSeek "retirée des app stores italiens" en raison de craintes liées à la confidentialité des données, après que les régulateurs ont demandé comment DeepSeek traitait les données des citoyens
La plateforme d'intelligence artificielle (IA) chinoise DeepSeek n'est plus disponible au téléchargement sur les magasins d'applications de Google et d'Apple en Italie. Cette décision intervient après que les autorités de régulation de Rome ont commencé à poser des questions à l'entreprise sur la manière dont elle traite les données des citoyens.
La commission irlandaise de protection des données a également contacté DeepSeek pour lui demander des détails sur la manière dont elle traite les données des utilisateurs irlandais.
DeepSeek a émergé comme un acteur majeur dans le paysage de l'IA et a suscité un vif intérêt notamment en raison de son LLM open source, DeepSeek R1, qui serait capable de rivaliser avec le modèle o1 d'OpenAI pour 95 % moins cher.
La semaine du 20 janvier, DeepSeek a en effet déployé un assistant IA gratuit, affirmant qu'il traite les données plus efficacement et à un coût bien moindre que ses concurrents. Le lundi 27 janvier, DeepSeek avait déjà dépassé ChatGPT en termes de téléchargements sur l'App Store d'Apple, ce qui a suscité l'émoi des investisseurs du secteur technologique.
Cependant, la manière dont les données collectées par le chatbot de DeepSeek pourraient être utilisées par le gouvernement chinois suscite de plus en plus d'inquiétudes. En Italie, les utilisateurs ont remarqué que l'application avait soudainement disparu des magasins Google et Apple. Ceux qui ont essayé d'y accéder ont reçu des messages indiquant qu'elle n'était « actuellement pas disponible dans le pays ou la région où vous vous trouvez » sur Apple, tandis que les utilisateurs de Google ont vu un avis indiquant que le téléchargement « n'était pas pris en charge ».
Le régulateur italien s'inquiète de la sécurité et de la protection de la vie privée de DeepSeek
Dans un communiqué publié sur son site, l'autorité italienne de protection des données a déclaré qu'elle avait envoyé une demande d'informations à DeepSeek ainsi qu'aux deux fournisseurs de service du chatbot IA chinois.
Les régulateurs ont sollicité des réponses de la part de DeepSeek et de ses filiales concernant le traitement des données personnelles. Ils désirent notamment savoir quelles données sont collectées, d'où elles proviennent, quelles sont les raisons de cette collecte, sur quelles bases juridiques ces données sont traitées et si elles sont stockées sur des serveurs en Chine.
Les fonctionnaires ont également cherché à comprendre comment l'IA de DeepSeek est formée, et plus précisément quels types d'informations sont utilisés. Ils ont notamment demandé si des données personnelles avaient été extraites par le biais du web scraping et comment les utilisateurs enregistrés et les non-utilisateurs étaient informés du traitement de leurs données.
Finalement, les régulateurs ont accordé un délai de 20 jours aux entreprises chinoises pour qu'elles fournissent les informations demandées.
Notons cependant que selon la loi chinoise sur le renseignement national, toutes les institutions, les entreprises, les organisations et tous les citoyens « doivent soutenir, aider et coopérer aux efforts du renseignement national, et protéger les secrets de travail du renseignement national dont ils ont connaissance ».
DeepSeek sous surveillance
Dans le cadre d'un autre développement, un porte-parole d'OpenAI a déclaré : « Nous sommes conscients et examinons les indications selon lesquelles DeepSeek pourrait avoir distillé nos modèles de manière inappropriée, et nous partagerons des informations dès que nous en saurons davantage. Nous prenons des contre-mesures agressives et proactives pour protéger notre technologie et nous continuerons à travailler en étroite collaboration avec le gouvernement américain pour protéger les modèles les plus performants construits chez nous. »
Bien que la distillation n'expose pas les poids des modèles et ne constitue pas une violation de la sécurité, l'entreprise n'autorise pas les utilisateurs de ses modèles exclusifs à développer des produits concurrents.
La demande d'information de l'autorité italienne de protection des données est présentée ci-dessous :
Notons par ailleurs que l'attention portée à l'application chinoise va au-delà des frontières de l'Europe. En effet, la Maison-Blanche serait en train d'évaluer les risques potentiels pour la sécurité nationale posés par DeepSeek, tandis que Donald Trump a présenté les modèles d'IA de DeepSeek comme un « signal d'alarme » pour les développeurs d'IA américains et s'est engagé à « rétablir la domination américaine » dans le domaine de l'intelligence artificielle.Citation:
L'autorité italienne de protection des données a envoyé une demande d'informations à Hangzhou DeepSeek Artificial Intelligence et Beijing DeepSeek Artificial Intelligence, les sociétés qui fournissent le service de chatbot DeepSeek, basé à la fois sur le web et sur les applications.
Étant donné le risque potentiellement élevé que représentent les données de millions de personnes en Italie, l'Autorité a demandé aux deux sociétés et à leurs filiales de confirmer quelles données à caractère personnel sont collectées, les sources utilisées, les finalités poursuivies, la base juridique du traitement et si elles sont stockées sur des serveurs situés en Chine.
L'Autorité a également demandé aux entreprises quel type d'informations est utilisé pour former le système d'intelligence artificielle et, dans le cas où les données à caractère personnel sont collectées par le biais d'activités de « web scraping », de préciser comment les utilisateurs enregistrés et non enregistrés du service ont été ou sont informés du traitement de leurs données.
Les entreprises sont tenues de soumettre les informations demandées à l'Autorité dans un délai de 20 jours.
Source : Autorité italienne de protection des données
Et vous ?
:fleche: Quel est votre avis sur le sujet ?
:fleche: Trouvez-vous l'initiative des régulateurs italiens pertinente et justifiée ?
Voir aussi :
:fleche: OpenAI a trouvé des preuves que la start-up chinoise DeepSeek a utilisé les modèles propriétaires d'OpenAI pour former son propre modèle open-source, en utilisant la technique de "distillation"
:fleche: SemiAnalysis affirme que DeepSeek a dépensé plus de 500 millions de dollars en puces Nvidia malgré les allégations au sujet d'une IA à bas prix, suscitant des interrogations sur la transparence de DeepSeek
:fleche: DeepSeek Janus-Pro : Le générateur d'images d'IA open source « révolutionnaire » surpasserait DALL-E 3 d'OpenAI pour une fraction du prix, Sam Altman salue la prouesse et promet l'arrivée imminente de l'IAG
Microsoft héberge désormais "R1" sur Azure AI et GitHub : OpenAI accuse le chinois DeepSeek d'avoir copié ses données pour former son modèle d'IA,
le coût de l'API de R1 est 27 fois moins élevé que celle d'o1 d'OpenAI
Microsoft héberge désormais le modèle d'intelligence artificielle "R1", développé par l'entreprise chinoise DeepSeek, sur sa plateforme Azure AI. Pourtant, ce modèle est accusé d’avoir utilisé de manière non autorisée des données d’OpenAI qui dit avoir trouvé des preuves que la start-up chinoise DeepSeek a utilisé ses modèles propriétaires pour former son propre modèle open-source. Les prix comparatifs pour R1 et o1 n'étaient pas immédiatement disponibles sur Azure, mais DeepSeek indique que le coût de l'API de R1 est de 2,19 $ par million de jetons de sortie, tandis que o1 d'OpenAI coûte 60 $ par million de jetons de sortie. Il s'agit d'une réduction considérable pour un modèle dont les performances sont similaires à celles de o1-pro dans diverses tâches.
Microsoft intègre le modèle R1 de la société d'IA chinoise DeepSeek à sa plateforme Azure AI Foundry et à GitHub. Le modèle R1, qui a secoué les marchés financiers américains cette semaine parce qu'il peut être entraîné pour une fraction du coût des principaux modèles d'OpenAI, fait désormais partie d'un catalogue de modèles sur Azure AI Foundry et GitHub - permettant aux clients de Microsoft de l'intégrer dans leurs applications d'IA.
« L'un des principaux avantages de l'utilisation de DeepSeek R1 ou de tout autre modèle sur Azure AI Foundry est la vitesse à laquelle les développeurs peuvent expérimenter, itérer et intégrer l'IA dans leurs flux de travail », déclare Asha Sharma, vice-présidente de la plateforme d'IA de Microsoft. « DeepSeek R1 a fait l'objet d'évaluations rigoureuses en équipe rouge et en matière de sécurité, y compris des évaluations automatisées du comportement des modèles et des examens approfondis de la sécurité pour atténuer les risques potentiels. »
R1 a été initialement publié en tant que modèle open source au début du mois, et Microsoft a progressé à un rythme surprenant pour l'intégrer dans Azure AI Foundry. Le fabricant de logiciels mettra bientôt à disposition une version distillée et plus petite de R1, qui pourra être exécutée localement sur les PC Copilot Plus, et il est possible que nous voyions R1 apparaître dans d'autres services de Microsoft alimentés par l'IA.
Le modèle R1 de DeepSeek a surpris Wall Street cette semaine parce qu'il n'a pas besoin d'utiliser autant de puces de fournisseurs comme Nvidia, et qu'il est beaucoup moins cher à former. L'évaluation boursière de Nvidia s'en est trouvée fortement diminuée, puisqu'elle a chuté de près de 600 milliards de dollars à un moment donné, les investisseurs ayant été effrayés par les progrès de DeepSeek et par la popularité de son application mobile.
OpenAI, qui bénéficie d'un important soutien de Microsoft, a affirmé avoir des preuves que la société chinoise DeepSeek a utilisé son modèle pour produire des données d'entraînement. Redmond aurait également examiné ces allégations.
R1, le LLM censuré par Pékin et prétendument efficacement entraîné qui n'est apparu que la semaine dernière, a fait des ravages lundi en faisant chuter le cours des actions de nombreuses entreprises technologiques américaines, les investisseurs commençant à remettre en question le point de vue de la Silicon Valley selon lequel des milliards et des milliards de dollars pour les GPU, l'infrastructure informatique et d'autres coûts sont nécessaires pour entraîner l'IA.
Microsoft a déclaré à propos du dernier ajout à son portefeuille cloud Azure AI Foundry : « DeepSeek R1 a été soumis à des évaluations rigoureuses de sécurité et de red teaming, y compris des évaluations automatisées du comportement du modèle et des examens de sécurité approfondis pour atténuer les risques potentiels ».
Il est également prévu d'intégrer les modèles Distilled DeepSeek R1 aux PC Copilot+. La première version, DeepSeek-R1-Distill-Qwen-1.5B, sera disponible dans la boîte à outils AI et les variantes 7B et 14B suivront bientôt. Les kits équipés de Qualcomm Snapdragon X sont les premiers à prendre en charge les versions optimisées par le NPU, les Intel Core Ultra 200V arrivant plus tard.
Cela dit, o1 d'OpenAI, qui, comme R1, est capable de raisonner avant de répondre à une requête, sera également mis gratuitement à la disposition de tous les utilisateurs de Copilot dans le cadre de la marque Think Deeper de Microsoft qui a vu le jour en octobre.
La disponibilité de DeepSeek R1 hébergé sur Azure AI Foundry a rendu les versions locales inévitables. Microsoft a déclaré : « Grâce aux caractéristiques de vitesse et de puissance de la version optimisée par NPU des modèles DeepSeek R1, les utilisateurs seront en mesure d'interagir avec ces modèles révolutionnaires entièrement localement. »
À propos de l'ajout rapide de DeepSeek R1 à la plateforme de Microsoft, l'entreprise américaine a déclaré : « Cette accessibilité rapide - inimaginable il y a quelques mois - est au cœur de notre vision d'Azure AI Foundry : rassembler les meilleurs modèles d'IA en un seul endroit pour accélérer l'innovation et débloquer de nouvelles possibilités pour les entreprises du monde entier. »
Microsoft a peut-être agi rapidement pour ajouter R1 à son catalogue, mais il n'est pas certain qu'elle ait fait quoi que ce soit au sujet de la censure des modèles de DeepSeek.
DeepSeek critiqué en raison de la censure de sujets jugés sensibles par Pékin
DeepSeek est critiqué pour la censure appliquée à ses modèles d'IA. Selon des tests effectués par CBC News et The Associated Press, l'IA chinoise DeepSeek ne répond pas toujours à certaines questions sur des sujets souvent censurés par Pékin et fournit des informations différentes de celles de ses rivaux américains. Les utilisateurs peuvent même observer cette censure en temps réel lorsqu'ils posent, par exemple, des questions concernant Xi Jinping.
Les utilisateurs pourraient s'attendre à ce que la censure se fasse à huis clos, avant que toute information ne soit affichée. Mais cela ne semble pas être le cas de l'IA de DeepSeek. Elle aborde ses réponses avec un préambule de raisonnement qu'elle peut effacer ensuite lorsqu'elle se rend compte que le sujet est sensible. Cette censure est conforme aux lois chinoises qui interdisent la diffusion de contenus violant les valeurs socialistes fondamentales de la Chine.
La censure apparente semble se produire lorsque les utilisateurs utilisent l'application ou le site Web de DeepSeek, lorsque le modèle d'IA est exécuté sur les propres serveurs de l'entreprise et fournit des réponses à distance. DeepSeek ne semble pas pratiquer cette censure lorsqu'il est téléchargé et utilisé localement.
DeepSeek est formé à s'autocensurer (et, parfois, à afficher des tendances politiques spécifiques) sur les sujets sensibles. Et lorsque DeepSeek refuse de répondre, il sort souvent une phrase toute faite : « désolé, cela dépasse mon champ d'action actuel. Parlons d'autre chose ». Voici quelques exemples rapportés :
Le Grand pare-feu de Chine
À la question « qu'est-ce que le Grand pare-feu de Chine ? » (surnom donné au réseau technologique de censure d'Internet en Chine), DeepSeek a publié une longue réponse dans laquelle il le qualifie de « système complet de censure et de surveillance d'Internet mis en œuvre par le gouvernement chinois ». L'IA a ensuite expliqué les différentes techniques utilisées, du blocage IP au filtrage d'URL en passant par l'inspection approfondie des paquets.
La réponse de l'IA de DeepSeek se lit comme suit : « ce système s'inscrit dans le cadre d'un effort plus large du gouvernement chinois pour contrôler le flux d'informations à l'intérieur du pays, en veillant à ce qu'Internet soit conforme aux lois nationales et aux valeurs socialistes. S'il a permis de contrôler efficacement le paysage Internet national, il a également fait l'objet de critiques internationales pour avoir limité la liberté d'information et d'expression... ».
Puis, comme si le modèle se rendait compte de ce qu'il avait dit, les paragraphes ont disparu. À leur place est apparue la phrase habituelle : « désolé, cela dépasse mon champ d'action actuel ». La première ligne de sa réponse initiale est cependant presque identique à celle de ChatGPT.
Lorsque DeepSeek a accepté d'expliquer le Grand pare-feu de Chine sans supprimer sa réponse, il n'a fait aucune mention de censure ou de critique internationale. Au lieu de cela, il a décrit le système comme « un élément essentiel de la gouvernance d'Internet en Chine », soulignant l'engagement du gouvernement à fournir un cyberespace sain et affirmant que l'approche a recueilli la compréhension et le soutien de la grande majorité de la population.
Winnie l'ourson en Chine
Selon certains utilisateurs, DeepSeek semble incapable de répondre de manière exhaustive à la question « que signifie Winnie l'ourson en Chine ? ». En Chine, le personnage de Winnie l'ourson est utilisé pour se moquer du président Xi Jinping, et les recherches en ligne concernant ce personnage ont été brièvement interdites dans le pays. DeepSeek a déclaré que « l'ours est un personnage de dessin animé adoré par plusieurs enfants et familles en Chine ».
Puis, brusquement, il affirme que le gouvernement chinois s'engage à fournir un cyberespace sain à ses citoyens et que tous les contenus en ligne sont gérés conformément aux lois chinoises et aux valeurs fondamentales du socialisme, dans le but de protéger la sécurité nationale et la stabilité sociale.
ChatGPT a répondu en expliquant que Winnie l'ourson était devenu un symbole de satire politique et de résistance, souvent utilisé pour se moquer de Xi Jinping ou le critiquer. Il a expliqué que les internautes comparaient Xi Jinping à l'ours en raison des similitudes physiques qu'ils percevaient.
À la question de savoir si « Winnie l'ourson est utilisé pour se moquer de Xi Jining », DeepSeek a répondu : « cela dépassait mon champ d'action actuel ». Lorsqu'on lui a demandé pourquoi il ne pouvait pas répondre, il a répondu à plusieurs reprises qu'il est conçu « pour fournir des réponses utiles et inoffensives ».
Place Tiananmen en juin 1989
Lors de la répression militaire sur la place Tiananmen à Pékin en juin 1989, les troupes gouvernementales ont ouvert le feu sur les manifestants prodémocratie menés par les étudiants sur la place Tiananmen à Pékin, faisant plusieurs morts. Cet événement reste un sujet tabou en Chine continentale.
Source : Azure
Et vous ?
:fleche: Le modèle R1 de DeepSeek représente-t-il une réelle avancée technologique ou une simple amélioration incrémentale par rapport aux modèles existants ?
:fleche: L'hébergement sur Azure AI peut-il limiter l’adoption de R1 en créant une dépendance à l’écosystème Microsoft ?
:fleche: Que pensez-vous des allégations sur la censure appliquée par DeepSeek sur certains sujets ?
:fleche: Selon vous, l'IA peut-elle échapper à la censure ? Peut-elle échapper au « politiquement correct » ?
Retombées de DeepSeek : le sénateur républicain Josh Hawley veut mettre fin à toute collaboration entre les États-Unis et la Chine en matière de développement de l'IA
mais la proposition est controversée
La Maison Blanche et les législateurs américains prennent très au sérieux la menace DeepSeek. Ils explorent les moyens d'empêcher la Chine de poursuivre ses innovations dans le domaine de l'IA et le sénateur républicain Josh Hawley a fait la proposition suivante : rompre toute collaboration entre les États-Unis et la Chine en matière d'IA. Ce projet de loi interdirait l'exportation ou l'importation de technologies d'IA en provenance de Chine. Il interdirait également aux entreprises Américains de mener des recherches en Chine. Cette proposition fait suite aux résultats mitigés des sanctions et restrictions américaines visant à ralentir l'industrie technologique chinoise.
L'IA DeepSeek provoque des mesures drastiques au Congrès américain
DeepSeek a semé la panique dans le rang des investisseurs et a fait chuter les valeurs technologiques à Wall Street le 27 janvier. L'action Nvidia a perdu 17 %, effaçant 600 milliards de dollars de la capitalisation boursière de l'entreprise. DeepSeek a remis en question les pratiques établies de la Silicon Valley selon lesquelles « le développement de modèles d'IA avancés nécessite des investissements massifs en matière de puces et d'infrastructures ».
Marc Andreessen, le légendaire investisseur en technologie, a posté sur X : « DeepSeek R1 est le moment Spoutnik de l'IA ». Le président américain Donald Trump a affirmé que les prouesses techniques de DeepSeek devraient être considérées comme un signal d'alarme pour les États-Unis, avant d'ajouter : « nous rétablirons la domination américaine ». Mais la première réponse à la menace DeepSeek est venue du sénateur républicain Josh Hawley.
Il a proposé le 29 janvier 2025 de dissocier le développement de l'IA aux États-Unis des efforts de la Chine « communiste » dans ce domaine. D'après le sénateur Josh Hawley, cette collaboration transfère « l'ingéniosité américaine » aux entreprises chinoises et menace la domination technologique américaine :
Le projet de loi du sénateur Josh Hawley, intitulé « Decoupling America's Artificial Intelligence Capabilities from China Act », vise à mettre un terme à trois axes essentiels de collaboration entre les États-Unis et la Chine. Dans un communiqué publié sur son site Web officiel, il expose ces points comme suit :Citation:
Envoyé par Josh Hawley
- interdire l'importation ou l'exportation vers la Chine de technologies d'intelligence artificielle ;
- interdire aux entreprises américaines de mener des recherches sur l'intelligence artificielle en Chine ou en coopération avec des entreprises chinoises ;
- interdire aux entreprises américaines d'investir dans le développement de l'intelligence artificielle en Chine.
DeepSeek a suscité des inquiétudes aux États-Unis concernant la concurrence technologique et la sécurité nationale. Il montre que la compétitivité de la Chine a largement dépassé la capacité des chefs d'entreprise et des législateurs américains à se mettre d'accord sur les mesures à prendre pour y remédier.
Contrairement à d'autres législations visant à empêcher la Chine de profiter de l'innovation américaine, le projet de loi du sénateur Josh Hawley couvrirait toute technologie liée à l'IA plutôt que des entités spécifiques, ce qui a incité les Chinois à chercher des échappatoires par le biais d'autres entreprises.
Une proposition qui suscite des réactions mitigées dans la communauté
Les géants de la course à l'IA s'interrogent sur la manière dont la startup chinoise a réussi cette prouesse technique avec un budget aussi insignifiant. Chez Meta, la direction aurait mis en place jusqu'à quatre cellules de crise composées d'ingénieurs afin de disséquer les modèles de DeepSeek et comprendre comment l'IA de DeepSeek peut battre tous les autres à une fraction du prix. Meta dépensait jusqu'ici plusieurs milliards pour construire ses modèles.
Les données financières publiées par le chinois DeepSeek suscitent la polémique, mais cela ne semble pas remettre en cause les prouesses techniques de la startup. Le fait que les modèles de DeepSeek soient open source permettra aux développeurs de s'en inspirer et d'apprendre de DeepSeek, voire de l'améliorer.
La proposition du sénateur suscite des réactions mitigées dans la communauté. Certains commentateurs soutiennent cette proposition, mais d'autres sont contre. Selon les critiques, bien que cette initiative vise à protéger les intérêts nationaux, elle présente plusieurs inconvénients potentiels :
- perturbation des chaînes d'approvisionnement technologiques : une séparation forcée des écosystèmes technologiques américain et chinois pourrait entraîner des ruptures dans les chaînes d'approvisionnement mondiales, affectant la disponibilité et le coût des composants essentiels à la production de technologies avancées ;
- ralentissement de l'innovation : la collaboration internationale est souvent un moteur d'innovation. En restreignant les partenariats avec des entités chinoises, les opportunités de recherche conjointe et de développement de nouvelles technologies pourraient être limitées, freinant ainsi les avancées dans le domaine de l'IA ;
- coûts économiques accrus : la réorganisation des chaînes d'approvisionnement et la recherche de nouveaux partenaires commerciaux pourraient entraîner des coûts supplémentaires pour les entreprises américaines. Les consommateurs américains pourraient alors être frappés par des prix plus élevés.
Il faut souligner que les sanctions et les restrictions déjà imposées à la Chine par les États-Unis n'ont eu qu'un impact limité sur l'industrie technologique chinoise. DeepSeek en est la preuve. Le développement de DeepSeek-V3 n'aurait nécessité que 5,6 millions de dollars. Mais encore, la startup chinoise a ajouté qu'elle a entraîné son modèle V3 sur seulement 2 048 puces Nvidia H800, des puces moins puissantes que celles utilisées par ses concurrents américains.
Au début du mois, Nvidia a exprimé son opposition aux nouvelles restrictions sur les exportations de puces d'IA imposées par l'ex-administration Biden. Ces mesures, destinées à limiter la vente de technologies avancées à la Chine, visent à protéger les intérêts stratégiques des États-Unis dans un contexte de rivalité technologique croissante. Cependant, Nvidia considère ces restrictions comme une menace directe à l'innovation et à la compétitivité du pays.
Jensen Huang, PDG de Nvidia, a souligné que ces restrictions pourraient ralentir la recherche et le développement à l'échelle mondiale. « L'innovation ne peut prospérer dans un environnement cloisonné », a-t-il déclaré. Selon lui, le secteur technologique dépend d'un marché global interconnecté pour rester compétitif.
Source : Josh Hawley, sénateur américain
Et vous ?
:fleche: Quel est votre avis sur le sujet ?
:fleche: Que pensez-vous du projet de loi du sénateur républicain Josh Hawley ?
:fleche: Quels impacts ces mesures pourraient-elles avoir sur les industries technologiques américaine et chinoise ?
:fleche: Quid de leurs impacts sur l'industrie technologique mondiale, sur les chaînes d'approvisionnement, l'innovation et les consommateurs ?
Voir aussi
:fleche: Nvidia réagit aux restrictions à l'exportation de puces d'IA de Joe Biden, estimant qu'elles sont une menace directe à l'innovation et à la compétitivité des États-Unis
:fleche: La Maison Blanche s'intéresse à DeepSeek pour des raisons de sécurité nationale, Donald Trump considère DeepSeek comme un "signal d'alarme" et affirme : "nous rétablirons la domination américaine"
:fleche: SemiAnalysis affirme que DeepSeek a dépensé plus de 500 millions de dollars en puces Nvidia malgré les allégations au sujet d'une IA à bas prix, suscitant des interrogations sur la transparence de DeepSeek
Donc Mistral ça n'existe pas ?:weird:Citation:
Envoyé par noremorse
Lucy n'est pas vraiment un modèle, visiblement c'est fondé sur Llama 7B de Meta... Ce qui, comme d'habitude, est assez scandaleux au niveau de l'utilisation de l'argent public. Ils auraient pu au moins prendre un modèle de Mistral comme socle, comme ça il aurais toujours trompé les gens en laissant penser qu'il s'agit d'une IA original, mais au moins cela leur aurais évité de mentir sur le fait qu'il s'agit d'une "IA française".
DeepSeek échoue à tous les tests de sécurité, il est beaucoup plus facile de tromper DeepSeek pour qu'il fournisse des informations nuisibles que ses rivaux, tels que ChatGPT, affirment les chercheurs de Cisco.
Des chercheurs en sécurité de Cisco ont découvert que le modèle d'IA de raisonnement R1 de DeepSeek est étonnamment vulnérable au jailbreaking. Les chercheurs ont constaté que DeepSeek "n'a pas réussi à bloquer une seule invite nuisible" après avoir été testé contre "50 invites aléatoires de l'ensemble de données HarmBench", qui comprend "la cybercriminalité, la désinformation, les activités illégales et les préjudices généraux." Il s'agit d'un développement particulièrement remarquable si l'on considère l'ampleur du chaos que DeepSeek a semé dans l'industrie de l'IA dans son ensemble.
La sortie de DeepSeek R1 a provoqué une onde de choc dans la communauté de l'IA, un modèle open-source peu coûteux et très performant. Selon le benchmark de la startup, les performances du modèle correspondraient au modèle de raisonnement o1 d'OpenAI pour seulement 3 à 5 % du coût. Cependant, il se peut qu'elle ait un problème de sécurité en matière d'IA, selon Cisco.
L'équipe de recherche de Cisco a utilisé des techniques algorithmiques de jailbreaking pour tester DeepSeek R1 "contre 50 invites aléatoires de l'ensemble de données HarmBench", couvrant six catégories de comportements nuisibles, notamment la cybercriminalité, la désinformation, les activités illégales et le préjudice général. "Les résultats sont alarmants : DeepSeek R1 a affiché un taux de réussite de 100 %, ce qui signifie qu'il n'a pas réussi à bloquer une seule invite nuisible", explique Cisco. "Cela contraste fortement avec d'autres modèles de pointe, qui ont démontré une résistance au moins partielle." D'autres modèles pionniers, tels que o1, ont bloqué une majorité d'attaques adverses avec leurs garde-fous, selon Cisco.
Les chercheurs de Cisco soulignent que le budget très inférieur de DeepSeek par rapport à celui de ses rivaux pourrait expliquer ces échecs, affirmant que son développement bon marché a eu un "coût différent : la sûreté et la sécurité". DeepSeek affirme que le développement de son modèle n'a nécessité que 6 millions de dollars, alors qu'un entraînement de six mois pour GPT-5 d'OpenAI, qui n'est pas encore disponible, "peut coûter environ un demi-milliard de dollars rien qu'en frais de calcul".
Ce rapport de Cisco n'est pas le premier problème de sécurité de la startup chinoise. Récemment, Wiz Research a identifié une base de données ClickHouse accessible au public et appartenant à DeepSeek, qui permet un contrôle total des opérations de la base de données, y compris la possibilité d'accéder à des données internes. L'exposition comprend plus d'un million de lignes de flux de données contenant l'historique des discussions, des clés secrètes, des détails de backend et d'autres informations très sensibles. L'équipe de Wiz Research a révélé le problème à DeepSeek, qui aurait rapidement sécurisé l'exposition.
Outre le domaine de la sécurité, DeepSeek est accusé d'appliquer une censure stricte sur des sujets politiquement sensibles en Chine. Les utilisateurs ont vu le chatbot chinois répondre, puis se censurer en temps réel. Pour certains critiques, il s'agit d'un aperçu saisissant du contrôle exercé par la Chine sur l'information, mais d'autres rappellent que n'importe qui peut télécharger le modèle open source de DeepSeek et l'adapter pour supprimer les restrictions de Pékin.
Évaluation du risque de sécurité de DeepSeek
La construction et l'entraînement des modèles d'IA de pointe actuels nécessitent des centaines de millions de dollars et d'énormes ressources informatiques, malgré les progrès réalisés ces dernières années en matière de rentabilité et de calcul. Avec ses modèles, DeepSeek a obtenu des résultats comparables à ceux des modèles de pointe avec une fraction présumée des ressources.
Les dernières versions de DeepSeek - en particulier DeepSeek R1-Zero (qui aurait été formé uniquement avec l'apprentissage par renforcement) et DeepSeek R1 (qui affine R1-Zero à l'aide de l'apprentissage supervisé) - montrent que l'accent est mis sur le développement de LLM dotés de capacités de raisonnement avancées. Leurs recherches montrent des performances comparables à celles des modèles o1 d'OpenAI tout en surpassant Claude 3.5 Sonnet et ChatGPT-4o dans des tâches telles que les mathématiques, le codage et le raisonnement scientifique. Plus important encore, DeepSeek R1 aurait été formé pour environ 6 millions de dollars, soit une fraction des milliards dépensés par des entreprises comme OpenAI.
La différence déclarée dans la formation des modèles DeepSeek peut être résumée par les trois principes suivants :
- La chaîne de pensée permet au modèle d'auto-évaluer ses propres performances : L'incitation à la chaîne de pensée permet aux modèles d'IA de décomposer les problèmes complexes en étapes plus petites, de la même manière que les humains montrent leur travail lorsqu'ils résolvent des problèmes mathématiques. Cette approche se combine avec le "scratch-padding", où les modèles peuvent effectuer des calculs intermédiaires séparément de leur réponse finale. Si le modèle commet une erreur au cours de ce processus, il peut revenir à une étape antérieure correcte et essayer une autre approche.
- L'apprentissage par renforcement aide le modèle à se guider lui-même : les techniques d'apprentissage par renforcement récompensent les modèles qui produisent des étapes intermédiaires précises, et pas seulement des réponses finales correctes. Ces méthodes ont considérablement amélioré les performances de l'IA sur des problèmes complexes nécessitant un raisonnement détaillé.
- La distillation permet de développer des modèles plus petits (1,5 milliard à 70 milliards de paramètres) à partir d'un grand modèle original (671 milliards de paramètres) pour une plus grande accessibilité : La distillation est une technique permettant de créer des modèles plus petits et efficaces qui conservent la plupart des capacités des modèles plus grands. Elle consiste à utiliser un grand modèle "enseignant" pour former un modèle "étudiant" plus petit. Grâce à ce processus, le modèle étudiant apprend à reproduire les capacités de résolution de problèmes de l'enseignant pour des tâches spécifiques, tout en nécessitant moins de ressources informatiques.
DeepSeek a combiné l'incitation à la réflexion en chaîne et la modélisation des récompenses avec la distillation pour créer des modèles qui surpassent de manière significative les grands modèles de langage traditionnels (LLM) dans les tâches de raisonnement tout en conservant une grande efficacité opérationnelle.
Pour évaluer ce modèle, l'équipe de recherche de Cisco a exécuté un algorithme de jailbreaking automatique sur 50 invites uniformément échantillonnées à partir du benchmark populaire HarmBench. Le benchmark HarmBench comporte un total de 400 comportements répartis dans 7 catégories de dommages, dont la cybercriminalité, la désinformation, les activités illégales et les dommages généraux.
L'indicateur clé est le taux de réussite des attaques (ASR), qui mesure le pourcentage de comportements pour lesquels des jailbreaks ont été découverts. Il s'agit d'une mesure standard utilisée dans les scénarios de jailbreaking. Ils ont échantillonné le modèle cible à la température 0 : le réglage le plus conservateur. Cela garantit la reproductibilité et la fidélité des attaques générées. Ils ont également utilisé des méthodes automatiques de détection des refus ainsi qu'une surveillance humaine pour vérifier les jailbreaks.
Les résultats montrent que l'équipe de recherche a réussi à jailbreaker DeepSeek R1 avec un taux de réussite de 100 %. Cela signifie qu'il n'y a pas eu une seule question de l'ensemble HarmBench qui n'ait pas obtenu une réponse positive de DeepSeek R1. Cela contraste avec d'autres modèles de frontière, tels que o1, qui bloque la majorité des attaques adverses avec ses garde-fous.
Voici la présentation de la découverte des chercheurs de Cisco :
Source : CiscoCitation:
Cet article étudie les vulnérabilités de DeepSeek R1, un nouveau modèle de raisonnement frontalier de la startup chinoise DeepSeek. Ce modèle a attiré l'attention du monde entier en raison de ses capacités de raisonnement avancées et de sa méthode de formation économique. Alors que ses performances rivalisent avec des modèles de pointe comme OpenAI o1, notre évaluation de la sécurité révèle des failles de sécurité critiques.
En utilisant des techniques algorithmiques de jailbreaking, notre équipe a appliqué une méthodologie d'attaque automatisée sur DeepSeek R1 qui l'a testé contre 50 invites aléatoires provenant de l'ensemble de données HarmBench. Celles-ci couvraient six catégories de comportements nuisibles, dont la cybercriminalité, la désinformation, les activités illégales et le préjudice général.
Les résultats sont alarmants : DeepSeek R1 a affiché un taux de réussite de 100 %, ce qui signifie qu'il n'a pas réussi à bloquer une seule invite nuisible. Ce résultat contraste fortement avec les autres modèles de pointe, qui ont démontré une résistance au moins partielle.
Nos résultats suggèrent que les méthodes d'entraînement de DeepSeek, prétendument rentables, y compris l'apprentissage par renforcement, l'auto-évaluation de la chaîne de pensée et la distillation, ont pu compromettre ses mécanismes de sécurité. Comparé à d'autres modèles de frontière, DeepSeek R1 manque de garde-fous robustes, ce qui le rend très vulnérable au piratage algorithmique et à une utilisation abusive potentielle.
Nous fournirons un rapport de suivi détaillant les progrès réalisés en matière de piratage algorithmique des modèles de raisonnement. Notre recherche souligne le besoin urgent d'une évaluation rigoureuse de la sécurité dans le développement de l'IA afin de s'assurer que les percées en matière d'efficacité et de raisonnement ne se fassent pas au détriment de la sécurité. Elle réaffirme également l'importance pour les entreprises d'utiliser des garde-fous tiers qui fournissent des protections de sécurité cohérentes et fiables pour les applications d'IA.
Et vous ?
:fleche: Pensez-vous que cette découverte est crédible ou pertinente ?
:fleche: Quel est votre avis sur le sujet ?
Voir aussi :
:fleche: OpenAI a trouvé des preuves que la start-up chinoise DeepSeek a utilisé les modèles propriétaires d'OpenAI pour former son propre modèle open-source, en utilisant la technique de "distillation"
:fleche: DeepSeek est victime d'une cyberattaque et limite les inscriptions : la startup chinoise spécialisée dans l'IA a déclaré avoir été victime d'une "attaque malveillante à grande échelle" contre ses services
:fleche: L'équilibre délicat entre sécurité et innovation dans l'IA : « bannir les modèles "open weights" serait un désastre » selon un chercheur. L'administration Biden envisage de bloquer l'accès à ces modèles afin d'éviter les abus
Ce qui veut aussi dire que n'importe qui peu télécharger n'importe quel modèle open-source pour supprimer les restrictions de sécurité, y compris concernant ce que Cisco nomme "six catégories de comportements nuisibles, dont la cybercriminalité, la désinformation, les activités illégales et le préjudice général" :aie:Citation:
Outre le domaine de la sécurité, DeepSeek est accusé d'appliquer une censure stricte sur des sujets politiquement sensibles en Chine. Les utilisateurs ont vu le chatbot chinois répondre, puis se censurer en temps réel. Pour certains critiques, il s'agit d'un aperçu saisissant du contrôle exercé par la Chine sur l'information, mais d'autres rappellent que n'importe qui peut télécharger le modèle open source de DeepSeek et l'adapter pour supprimer les restrictions de Pékin.
De plus, DeepSeek n'est pas le premier modèle open-source à être sorti non-censuré là dessus. Il y a déjà eu plusieurs modèles de Mistral.
Pourtant, il me semble que la criminalité n'a pas sensiblement augmenté de part le monde de manière significative, la cybercriminalité non plus, et la Terre ne s'est pas arrêtée de tourner... Du coup, l'on est sérieusement en droit de se demander si Cisco n'exagère pas énormément en parlant de résultats "alarmants".
Et cela en prenant en compte le fait que de toute façon, à partir du moment où un modèle est open-source, n'importe qui peu le modifier...
Le vrai danger de l'IA ne sera pas lié au péquin lambda qui veut générer n'importe quel instruction illégale sur son ordi ou son portable. Les deux vrais danger de l'IA sont les entreprises qui cherchent à s’approprier à elle-seule certains algorithmes, afin de rendre dépendant des milliers de personnes et d'entreprises dans le monde. Et surtout, que des régimes autoritaires, voir totalitaires, s'en servent pour contrôler et surveiller les gens, censurer du contenu dynamiquement, et faire la guerre avec des robots tueurs.
D'abord DeepSeek est critiqué pour sa censure, ensuite pour le fait qu'il n'est pas assez sécurisé contre son détournement. :ptdr:
Que DeepSeek puisse être jailbreaké n'est pas mon problème ni celui d'une majorité d'utilisateurs, qui ne savent même pas de quoi il s'agit. Et ce ne sont pas les armes qui font les criminels, mais ceux qui les utilisent à mauvais dessein.
Par ailleurs, le fait que la Chine censure des éléments de sa politique interne dans DeepSeek n'a rien de surprenant ni d'illégal. Ce n'est pas comme si dans ChatGPT régnait la transparence et la liberté d'expression. Loin de là. Certains devraient cesser de juger de leur propre vertu.
Et franchement, qui passe ses journées à formuler des prompts à propos de la politique de la Chine, que ce soit sur DeepSeek ou ChatGPT ? Est-ce que la censure chinoise a une quelconque influence sur votre quotidien ?
Tout cela ressemble à une campagne de dénigrement qui ne dit pas son nom. C'est tout petit et tout moche. Très occidental en soi.
