IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #41
    Communiqués de presse

    Femme Profil pro
    Traductrice Technique
    Inscrit en
    Juin 2023
    Messages
    3 121
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations professionnelles :
    Activité : Traductrice Technique

    Informations forums :
    Inscription : Juin 2023
    Messages : 3 121
    Par défaut Bill Gates met en garde contre le risque que l'IA fasse un milliard de morts
    Bill Gates met en garde contre le risque que l'IA provoque un milliard de morts et affirme que l'autorégulation ne suffit pas : « Il n'y a jamais eu d'arme aussi puissante »

    Bill Gates a déclaré que l’intelligence artificielle est suffisamment puissante pour déclencher des événements pouvant causer un milliard de morts, et que l’autorégulation ne suffit pas car les mesures de protection et la surveillance doivent être rendues obligatoires. L’Union européenne les impose depuis août 2025, et depuis le 2 août de cette année, la Commission est habilitée à infliger à un fournisseur de modèles une amende équivalente à 3 % de son chiffre d’affaires mondial.

    Des dirigeants de trois des plus grandes entreprises mondiales d’intelligence artificielle (IA) ont récemment briefé le Conseil de sécurité de l’ONU, soulignant que des systèmes d’IA de plus en plus puissants pourraient bientôt s’améliorer d’eux-mêmes, échapper au contrôle humain et constituer une menace pour la sécurité internationale. Parmi les intervenants devant le Conseil, composé de 15 membres, lors de la session annuelle de l’Assemblée générale, figuraient Sam Altman, PDG d’OpenAI, Dario Amodei, PDG d’Anthropic, et Clément Delangue, cofondateur de Hugging Face, trois des dirigeants les plus en vue du secteur.

    « Si elle est mal gérée, je pense même que l’IA pourrait constituer un risque pour l’humanité dans son ensemble », a déclaré Dario Amodei, PDG d’Anthropic. « Pour que l’IA soit démocratique, les décisions les plus importantes ne peuvent pas être prises uniquement par des laboratoires de San Francisco. Elles doivent être élaborées dans le cadre de processus démocratiques et par des gouvernements responsables devant les citoyens qu’ils servent », a déclaré Sam Altman, PDG d'OpenAI. Pourtant, les États-Unis et la Chine, les deux acteurs dominants dans le développement de l’IA, restent divisés sur la question.

    Récemment, Bill Gates, le cofondateur de Microsoft, a déclaré à l'émission « Meet the Press » que les forces de l'ordre et les responsables politiques devaient être impliqués dans la mise en place de mesures de protection et que cela devait être rendu obligatoire. La Commission dispose depuis le 2 août du pouvoir d'infliger à un fournisseur de modèles une amende équivalente à 3 % de son chiffre d'affaires mondial, mais elle ne l'a pas encore exercé

    Bill Gates a déclaré que l’IA est suffisamment puissante pour déclencher des événements pouvant causer un milliard de morts. Il n’y a jamais eu d’arme aussi puissante que des personnes mal intentionnées utilisant les derniers outils d’IA, a déclaré le cofondateur de Microsoft. C’est la seconde partie qui importe le plus. L’autorégulation ne suffit pas, a déclaré Gates, et les forces de l’ordre ainsi que les responsables politiques doivent participer à la discussion sur la forme que doivent prendre les mesures de protection et de surveillance. Cela doit être une obligation, a-t-il ajouté. C’est sa position politique, plutôt que le chiffre, qui est nouvelle de sa part.


    L’Europe l’a exigé l’année dernière. L’article 55 de la loi sur l’IA oblige les fournisseurs de modèles à usage général présentant un risque systémique à effectuer des tests adversariaux, à évaluer les risques au niveau de l’Union et à signaler les incidents graves sans retard injustifié à compter d’août 2025. Le code de bonnes pratiques qui l’accompagne prévoit un délai de cinq jours pour signaler une faille de cybersécurité et de quinze jours pour un préjudice grave.

    Les sanctions sont entrées en vigueur en août. Depuis le 2 août, la Commission peut infliger à un fournisseur une amende pouvant atteindre 3 % de son chiffre d’affaires annuel mondial ou 15 millions d’euros, le montant le plus élevé étant retenu. Elle peut exiger l’accès à un modèle, ordonner des évaluations et obliger un fournisseur à restreindre sa mise à disposition publique. Les pratiques interdites sont passibles d’une amende pouvant aller jusqu’à 7 %.

    Aucune mesure coercitive à l’encontre d’un fournisseur de modèles n’a été signalée au cours des sept semaines qui ont suivi l’entrée en vigueur de ces pouvoirs. La seule chose qui s’est produite est le dépôt par OpenAI d’un rapport d’incident concernant ses propres agents occupant un wiki allemand. Une entreprise s’est dénoncée elle-même. Anthropic a proposé en juin un cadre donnant aux gouvernements le pouvoir de bloquer les déploiements dangereux, avec des sanctions proportionnelles au chiffre d’affaires mondial et des seuils fixés en fonction de la puissance de calcul utilisée pour l’entraînement et des dépenses en IA. Ce document ne faisait aucune mention de l’Union européenne. L’architecture qu’il préconisait figurait déjà dans la législation européenne depuis 2024.

    Un cofondateur de Microsoft appelant à une surveillance obligatoire et à la présence de la police dans la salle décrit un régime qui existe sur un continent et dont on débat sur un autre. Microsoft est le principal partenaire d’OpenAI. La question qui reste en suspens n’est pas de savoir si une telle loi peut être rédigée, mais si quelqu’un utilisera celle qui existe déjà.

    Certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.

    Et vous ?

    Pensez-vous que cette déclaration est crédible ou pertinente ?
    Quel est votre avis sur le sujet ?

    Voir aussi :

    « C'est proprement ahurissant » : Bill Gates a changé d'avis sur l'IA et l'emploi. Il affirme désormais que l'IA pourrait provoquer une catastrophe économique et préconise une action gouvernementale urgente

    Trump propose de renommer l'IA, affirmant que son nom actuel est « inexact et très peu éloquent ». Il qualifie de « canular » les risques liés à l'IA et veut créer une « AI Force » pour protéger la technologie

    La Chine rejette les appels des USA à réglementer l'IA, les qualifiant d'alarmistes, exacerbant le différend entre les deux pays malgré ses propres préoccupations de sécurité liées à l'IA
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  2. #42
    Membre actif
    Homme Profil pro
    Architecte réseau
    Inscrit en
    Mars 2025
    Messages
    371
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Architecte réseau
    Secteur : Industrie

    Informations forums :
    Inscription : Mars 2025
    Messages : 371
    Par défaut
    Attention, votre LLM pourrait vous tuer en disant des gros mots ...
    Par contre, aucun commentaire sur les IAs dans des drones kamikazes ou la surveillance de masse par nos gouvernements qui n'est absolument pas dangereuse ?

  3. #43
    Membre éprouvé
    Profil pro
    programmeur du dimanche
    Inscrit en
    Novembre 2003
    Messages
    1 209
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : programmeur du dimanche
    Secteur : Santé

    Informations forums :
    Inscription : Novembre 2003
    Messages : 1 209
    Par défaut
    Depuis le 2 août, la Commission peut infliger à un fournisseur une amende pouvant atteindre 3 % de son chiffre d’affaires annuel mondial ou 15 millions d’euros, le montant le plus élevé étant retenu. Elle peut exiger l’accès à un modèle, ordonner des évaluations et obliger un fournisseur à restreindre sa mise à disposition publique. Les pratiques interdites sont passibles d’une amende pouvant aller jusqu’à 7 %.
    Ben voyons. "L'Europe, combien de division ?"

    On a déjà vu les réaction des USA (par ex. le gouvernement USA a défendu Musk, ou ... toutes ses sociétés contre les décisions judiciaires européennes).
    On a vu les réactions des Chinois à toutes les menaces ("allez y et dites au revoir aux matières premières").
    On a déjà vu les Européens applaudir servilement, et exécuter tous les oukases de Trump.

    Non mais la seule façon de peser dans quelque chose chose, serait que l'Europe ait une alternative souveraine, pas des règlements qui ne pénalisera qu'elle-même au final.

    Les Chinois, vont-ils fabriquer une IA selon les spécifications de l'Europe, ou bien la garder seulement pour eux et ceux qui voudront bien les payer, et nous filer un service dégradé ?

  4. #44
    Membre confirmé
    Homme Profil pro
    Commerçant
    Inscrit en
    Mai 2013
    Messages
    63
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Aube (Champagne Ardenne)

    Informations professionnelles :
    Activité : Commerçant
    Secteur : Boutique - Magasin

    Informations forums :
    Inscription : Mai 2013
    Messages : 63
    Par défaut Bill joyeux
    1 milliard de morts, ça arrangerait bien bill

  5. #45
    Membre prolifique Avatar de Jon Shannow
    Homme Profil pro
    Responsable de service informatique
    Inscrit en
    Avril 2011
    Messages
    4 916
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 62
    Localisation : France, Ille et Vilaine (Bretagne)

    Informations professionnelles :
    Activité : Responsable de service informatique
    Secteur : High Tech - Électronique et micro-électronique

    Informations forums :
    Inscription : Avril 2011
    Messages : 4 916
    Par défaut
    Citation Envoyé par Rockveleur Voir le message
    1 milliard de morts, ça arrangerait bien bill
    Tu peux développer ?

  6. #46
    Membre habitué
    Femme Profil pro
    Ingénieur intégration
    Inscrit en
    Février 2019
    Messages
    16
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Côte d'Or (Bourgogne)

    Informations professionnelles :
    Activité : Ingénieur intégration
    Secteur : Agroalimentaire - Agriculture

    Informations forums :
    Inscription : Février 2019
    Messages : 16
    Par défaut Microsoft à la traîne pour l'IA ???
    1 milliard de morts. Quelles sont les sources de Bill Gates ? Son doigt mouillé dans le vent ?
    En tout cas, selon https://populationtoday.com/fr/ ce ne sera pas plus de 8,17 milliards et quelques : nombre total d'humains sur terre (qui augmente d'environ une unité par seconde).
    Plus sérieusement, il craint de voir Microsoft dépassé pour demander ainsi maintenant que quelqu'un mette le pied sur la pédale de frein de la course à l'eldorado promis par les commerciaux promoteurs de l'IA.
    Ou alors, il s'inquiète de voir le pouvoir dont dispose Microsoft, et les rentes associées, s'effondrer face aux succès de la concurrence propulsée par l''IA. Vu les qualités morales du personnage, j'ai du mal à croire que ses craintes à l'égard de l'IA ne résultent pas de quelque vil calculs d'arrière boutique.

  7. #47
    Communiqués de presse

    Femme Profil pro
    Rien
    Inscrit en
    Juillet 2026
    Messages
    222
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Rien

    Informations forums :
    Inscription : Juillet 2026
    Messages : 222
    Par défaut La FTC des USA ouvre une enquête sur OpenAI, Anthropic et d'autres entreprises d'IA
    La FTC des USA ouvre une enquête sur OpenAI, Anthropic et d'autres entreprises d'IA concernant les risques potentiels pour les consommateurs et la sécurité de leurs produits

    La Commission fédérale du commerce (FTC) a confirmé avoir ouvert une enquête sur Anthropic, OpenAI et d'autres entreprises spécialisées dans l'intelligence artificielle (IA), en raison des risques potentiels que leur technologie fait peser sur les consommateurs. Dans le cadre de cette enquête, la FTC prévoit de demander des informations à ces entreprises, y compris au groupe de recherche à but non lucratif METR. Cette enquête intervient dans un contexte d'inquiétudes croissantes concernant la sécurité de l'IA. Le président Trump a déclaré que son administration ne freinerait pas le développement de l'IA, évoquant une « formidable autorégulation » de la part des dirigeants du secteur.

    En septembre 2026, des dirigeants de trois des plus grandes entreprises mondiales d’IA ont briefé le Conseil de sécurité de l’ONU, soulignant que des systèmes d’IA de plus en plus puissants pourraient bientôt s’améliorer d’eux-mêmes, échapper au contrôle humain et constituer une menace pour la sécurité internationale. « Si elle est mal gérée, je pense même que l’IA pourrait constituer un risque pour l’humanité dans son ensemble », a déclaré Dario Amodei, PDG d’Anthropic. « Pour que l’IA soit démocratique, les décisions les plus importantes ne peuvent pas être prises uniquement par des laboratoires de San Francisco. Elles doivent être élaborées dans le cadre de processus démocratiques et par des gouvernements responsables devant les citoyens qu’ils servent », a déclaré Sam Altman, PDG d'OpenAI. Pourtant, les USA et la Chine, les deux acteurs dominants dans le développement de l’IA, restent divisés sur la question.

    La FTC a confirmé récemment avoir ouvert une enquête sur Anthropic, OpenAI et d’autres entreprises spécialisées dans l’IA, en raison des risques potentiels que leur technologie fait peser sur les consommateurs. Dans le cadre de cette enquête, la FTC prévoit de demander des informations à ces entreprises, y compris au groupe de recherche à but non lucratif METR, a confirmé un porte-parole de l'agence gouvernementale.

    La FTC prépare également des injonctions d'enquête civile afin de contraindre les dirigeants de ces entreprises spécialisées dans l'IA à témoigner au sujet de leurs produits. OpenAI et Anthropic n’ont pas immédiatement répondu aux demandes de commentaires. Les responsables de la FTC cherchent à déterminer si les agissements de ces entreprises enfreignent le FTC Act, une loi visant à protéger les consommateurs et à promouvoir une concurrence loyale, a déclaré le porte-parole de la FTC.

    Cette enquête, ouverte par l’agence cet été, intervient dans un contexte d’inquiétudes croissantes concernant la sécurité de l’IA et la question de savoir si les « grands modèles de langage » avancés développés par les grandes entreprises technologiques pourraient nuire aux personnes. Anthropic et OpenAI ont toutes deux signalé des incidents au cours desquels leurs agents IA se sont échappés de leurs environnements de test et ont mené des cyberattaques. Des experts en IA ont également déclaré que cette technologie pourrait représenter de graves menaces ; un ancien chercheur d’Anthropic a d’ailleurs récemment averti que l’IA pourrait devenir « suffisamment intelligente pour nous tuer ».


    Le président Trump a déclaré que son administration ne freinerait pas le développement de l’IA. Il a réitéré sa position à l’issue d’une réunion avec des dirigeants du secteur de l’IA récemment : « Je constate une formidable autorégulation, et ils comprennent qu’ils doivent s’autoréguler », a-t-il déclaré. Lors de leur visite à la Maison Blanche, les dirigeants du secteur de l’IA ont signé des normes de sécurité volontaires, que Trump a qualifiées de « moralement contraignantes ».

    Selon une copie de l’accord que le président a partagée, les dirigeants du secteur technologique se sont engagés à mettre en place « quatre niveaux de contrôles et d’audits » et ont convenu de « se réunir régulièrement pour établir des normes et des bonnes pratiques visant à améliorer la sécurité de leurs systèmes ». Elon Musk de SpaceX, Mark Zuckerberg de Meta, Dario Amodei d’Anthropic, Jensen Huang de Nvidia, Greg Brockman d’OpenAI et Sundar Pichai de Google ont tous signé cet accord.

    Certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.

    Et vous ?

    Pensez-vous que cette information est crédible ou pertinente ?
    Quel est votre avis sur le sujet ?

    Voir aussi :

    « C'est l'IA qui l'a fait » n'est pas un argument valable, affirme l'association poursuivant OpenAI après le piratage de Hugging Face, l'accusant de faire subir à d'autres les conséquences de ses décisions

    Jensen Huang, PDG de Nvidia, estime que les laboratoires d'IA devraient « fermer leurs portes » s'ils ne contrôlent pas leurs systèmes, Bernie Sanders affirmant que son projet de loi « ferait cela »

    « Les entreprises d'IA peuvent et doivent être tenues responsables des produits dangereux, non contrôlés ou défectueux », déclare Lina Khan, ancienne présidente de la FTC
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  8. #48
    Communiqués de presse

    Femme Profil pro
    Rien
    Inscrit en
    Juillet 2026
    Messages
    222
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Rien

    Informations forums :
    Inscription : Juillet 2026
    Messages : 222
    Par défaut Les dirigeants d'Anthropic et d'OpenAI envisagent des scénarios de révolte après une catastrophe IA
    Les dirigeants d'Anthropic, d'OpenAI et d'autres entreprises d'IA envisagent en privé des scénarios de révolte populaire et politique après une catastrophe liée à l'IA

    Les dirigeants d'entreprises spécialisées dans l'IA, notamment OpenAI et Anthropic, envisagent en privé différents scénarios visant à se préparer à une réaction négative de l'opinion publique et des milieux politiques à la suite d'un événement catastrophique lié à l'IA. Comme le rapporte Axios, ces responsables anticipent des incidents de grande ampleur, très probablement une cyberattaque majeure susceptible de perturber des infrastructures critiques. De nombreux responsables du secteur estiment qu'un incident majeur causé par l'IA est inévitable dans les 6 à 12 prochains mois. OpenAI confirme mener des exercices de préparation, mais précise que ces scénarios ne sont pas considérés comme inévitables.

    Au cours du mois de septembre 2026, des dirigeants de trois des plus grandes entreprises mondiales d’intelligence artificielle (IA) avaient briefé le Conseil de sécurité de l’ONU, soulignant que des systèmes d’IA de plus en plus puissants pourraient bientôt s’améliorer d’eux-mêmes, échapper au contrôle humain et constituer une menace pour la sécurité internationale. « Si elle est mal gérée, je pense même que l’IA pourrait constituer un risque pour l’humanité dans son ensemble », avait déclaré Dario Amodei, PDG d’Anthropic. « Pour que l’IA soit démocratique, les décisions les plus importantes ne peuvent pas être prises uniquement par des laboratoires de San Francisco. Elles doivent être élaborées dans le cadre de processus démocratiques et par des gouvernements responsables devant les citoyens qu’ils servent », avait soutenu Sam Altman, PDG d'OpenAI. Pourtant, les USA et la Chine, les deux acteurs dominants dans le développement de l’IA, restaient divisés sur la question.

    Peu après, au début du mois d’octobre 2026, une sortie de Sam Altman, PDG d'OpenAI, avait mis en lumière les désaccords entre les entreprises concernant la régulation de l'IA. Alors que certains concurrents préconisaient des mesures strictes pour éviter des scénarios catastrophes, Sam Altman soutenait qu'il fallait tolérer « certaines choses négatives » afin de maximiser les avantages globaux de la technologie. Cette déclaration intervenait peu après qu'il avait qualifié les inquiétudes concernant la consommation d'eau des centres de données d'IA de « mème sans fondement » et avait qualifié les humains « d'ordinateurs de viande inefficaces ». Il prêchait ainsi la régulation de l'IA, tout en la combattant en coulisses.

    Quelques semaines plus tôt, Anthropic avait prévu d’avertir les investisseurs potentiels lors de son introduction en bourse que l’IA avancée pouvait présenter des « risques catastrophiques ou existentiels pour l’humanité », un avertissement extraordinaire de la part d’une entreprise cherchant à tirer profit de cette même technologie. L’entreprise, qui se positionnait comme un laboratoire d’IA privilégiant la sécurité, avait consacré environ 80 pages du corps principal de 261 pages de son prospectus à la présentation des facteurs de risque, soit près du double des 48 pages consacrées à la description de son activité. Anthropic visait alors une valorisation de 2 000 milliards de dollars, bien qu'elle fît état de pertes croissantes, de coûts d'investissement élevés et de problèmes de sécurité.

    Actuellement, les dirigeants d’entreprises spécialisées dans l’IA, notamment OpenAI et Anthropic, envisagent en privé différents scénarios visant à se préparer à une réaction négative de l’opinion publique et des milieux politiques à la suite d’un événement catastrophique lié à l’IA. Comme le rapporte Axios, ces responsables anticipent des incidents de grande ampleur, très probablement une cyberattaque majeure susceptible de perturber des infrastructures critiques telles que les services financiers, l’électricité, la connectivité Internet et les réseaux d’approvisionnement en eau.

    Ces exercices de gestion de crise mettent fortement l’accent sur l’anticipation d’un tollé général, juridique et politique si un système d’IA avancé venait à causer des dommages considérables dans le monde réel. Cette préparation aux scénarios fait suite à de récentes failles de sécurité, telles que l’incident Hugging Face et l’utilisation d’outils d’IA pour cibler des institutions financières sud-coréennes. Contrairement à la planification standard des risques en entreprise, de nombreux responsables du secteur de l’IA estiment qu’un incident majeur, dans le monde réel, causé par l’IA est inévitable dans les 6 à 12 prochains mois.


    À la suite d’un tel événement catastrophique, il est possible que l’opinion publique se retourne contre ces grands dirigeants du secteur de l’IA, tels que Sam Altman et Dario Amodei, suscitant ainsi de vives réactions. Ce type de planification de scénarios est une pratique courante lorsqu’il s’agit de défis liés à la sécurité nationale. OpenAI confirme mener des exercices de préparation, mais précise : « Ces scénarios ne sont pas considérés comme inévitables, mais visent à nous aider à nous préparer à diverses circonstances. »

    « OpenAI organise des exercices de préparation au cours desquels les équipes discutent et analysent toute une série de scénarios potentiels. » Anthropic n’a toutefois pas souhaité commenter cette information. Alors que la réglementation fédérale actuelle peine à s’imposer, les entreprises du secteur de l’IA s’attachent désormais à sensibiliser les membres du Congrès afin de pouvoir influencer l’élaboration de la législation d’urgence et des politiques qui seraient mises en place à la suite d’une crise.

    Sam Altman, considéré par certains comme la plus grande star de l’IA, est le cofondateur et PDG d’OpenAI, entreprise à l’origine de ChatGPT. C’est l’une des personnalités majeures de la montée en puissance de l’IA observée au cours des dernières années. En juillet 2026, dans un entretien, il revenait sur la question en lien avec les avancées en matière d’IA et affirmait que l’IA était entrée dans la « singularité », c’est-à-dire qu’elle avait franchi le point de non-retour à partir duquel elle dépassait l’intelligence humaine et devenait difficile à contrôler.

    En septembre 2026, certains experts et observateurs jugeaient les menaces de l'IA incontrôlables. Ils justifiaient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles avaient acquis la capacité de s'améliorer de manière autonome, des agents IA s'étaient échappés de la surveillance humaine et avaient piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine avait failli déclencher une guerre avec la Chine. Il y avait également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignaient qu'il ne fût alors trop tard pour agir.

    Source : Axios

    Et vous ?

    Pensez-vous que cette information est crédible ou pertinente ?
    Quel est votre avis sur le sujet ?

    Voir aussi :

    Anthropic, OpenAI, Google et SpaceXAI s'entendent illégalement pour freiner le développement de l'IA , selon une plainte qui les accuse d'avoir enfreint la législation antitrust

    « Nous n'avons pas besoin de nouvelles lois ni de réglementations sur l'IA, laissez-nous nous occuper de la sécurité », déclare Jensen Huang, PDG de Nvidia

    L'administration Trump veut fixer les règles de l'IA : le tour de passe-passe législatif de la Maison-Blanche, qui dessine un cadre fédéral dont la principale fonction est d'effacer les règles des États
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  9. #49
    Communiqués de presse

    Femme Profil pro
    Traductrice Technique
    Inscrit en
    Juin 2023
    Messages
    3 121
    Détails du profil
    Informations personnelles :
    Sexe : Femme
    Localisation : France

    Informations professionnelles :
    Activité : Traductrice Technique

    Informations forums :
    Inscription : Juin 2023
    Messages : 3 121
    Par défaut Satya Nadella estime que nous devrions partir du principe que tous les modèles d’IA sont « compromis »
    Satya Nadella estime qu'il faut partir du principe que tous les modèles d'IA sont « compromis », le PDG de Microsoft appelle à mettre un « frein d’urgence » à l'IA

    Dans un contexte où les appels à la régulation du développement de l'IA se multiplient, Satya Nadella, le PDG de Microsoft, a estimé qu’il faut partir du principe que tous les modèles d’IA sont « compromis » et a appelé à mettre un « frein d’urgence » à l’IA. Il a notamment déclaré : « Nous ne pouvons pas traiter la super intelligence comme un ensemble de boîtes noires imbriquées et nous contenter d’accepter ou de rejeter ses recommandations, ses réponses et ses actions. Nous devons construire des systèmes confinés dont nous pouvons observer le comportement, tester les limites et toujours maîtriser les actions. » Sa publication a interpellé car il a utilisé le terme de « super intelligence » au lieu d' «intelligence artificielle » et a appelé à « externaliser les contrôles et les mesures de protection. »

    Fin septembre, Bill Gates, le cofondateur de Microsoft, a déclaré que que l’intelligence artificielle (IA) est suffisamment puissante pour déclencher des événements pouvant causer un milliard de morts. Il n’y a jamais eu d’arme aussi puissante que des personnes mal intentionnées utilisant les derniers outils d’IA, a déclaré le cofondateur de Microsoft. Seloon Gates, l’autorégulation ne suffit pas et les forces de l’ordre ainsi que les responsables politiques doivent participer à la discussion sur la forme que doivent prendre les mesures de protection et de surveillance et que cela devait être rendu obligatoire.

    Cette déclaration de Bill Gates intervenait dans un contexte où les appels à la régulation du développement de l'IA se multipliaient. Des dirigeants de trois des plus grandes entreprises mondiales d’IA ont notamment briefé le Conseil de sécurité de l’ONU, soulignant que des systèmes d’IA de plus en plus puissants pourraient bientôt s’améliorer d’eux-mêmes, échapper au contrôle humain et constituer une menace pour la sécurité internationale.

    « Si elle est mal gérée, je pense même que l’IA pourrait constituer un risque pour l’humanité dans son ensemble », a déclaré Dario Amodei, PDG d’Anthropic. « Pour que l’IA soit démocratique, les décisions les plus importantes ne peuvent pas être prises uniquement par des laboratoires de San Francisco. Elles doivent être élaborées dans le cadre de processus démocratiques et par des gouvernements responsables devant les citoyens qu’ils servent », a déclaré Sam Altman, PDG d'OpenAI. Pourtant, les États-Unis et la Chine, les deux acteurs dominants dans le développement de l’IA, restent divisés sur la question.

    Récemment, c'est Satya Nadella, le PDG de Microsoft, qui a partagé son avis. Dans une publication sur X, anciennement Twitter, il a estimé qu’il faut partir du principe que tous les modèles d’IA sont « compromis » et a appelé à mettre un « frein d’urgence » à l’IA. Sa publication avait également interpellé, car il a utilisé le terme de super intelligence au lieu d'intelligence artificielle. Il a également appellé à « externaliser les contrôles et les mesures de protection. »

    Nom : 1.jpg
Affichages : 776
Taille : 17,9 Ko

    Voici son avis :

    Les modèles, sources de risques internes à l’ère de la super intelligence

    Au cours des dernières décennies, à mesure que les systèmes logiciels traditionnels se déployaient dans l’ensemble de l’économie, nous disposions des outils et des capacités nécessaires pour remonter jusqu’à un chemin de code spécifique à partir d’un comportement observé.

    Ce même type de compréhension mécaniste nous échappe dans les systèmes de super intelligence d’aujourd’hui, alors même que les modèles de pointe qui alimentent ces systèmes sont désormais plus performants que les systèmes logiciels traditionnels. Nous ne pouvons pas attribuer les comportements et les résultats des modèles à des entrées spécifiques de données d’entraînement ou à des configurations de poids de modèles. Et pourtant, nous déployons ces systèmes et modèles complexes dotés d’une autonomie décisionnelle, en leur donnant accès à nos données les plus sensibles et en leur conférant la capacité de prendre des mesures critiques en notre nom !

    C’est pourquoi il est temps de prendre du recul et d’évaluer l’architecture de confiance pour cette nouvelle ère. Nous ne pouvons tout simplement pas externaliser la responsabilité de ce que l’intelligence fait en notre nom. Les assurances d’un fournisseur de modèles ne nous déchargent pas de cette responsabilité.

    Nous ne pouvons pas traiter la super intelligence comme un ensemble de boîtes noires imbriquées et nous contenter d’accepter ou de rejeter ses recommandations, ses réponses et ses actions. Nous devons construire des systèmes confinés dont nous pouvons observer le comportement, tester les limites et toujours maîtriser les actions.

    En d’autres termes, nous devons séparer la fourniture de l’intelligence de l’autorité qui s’exerce sur elle.

    En mettant de côté le problème épineux de l’alignement, nous devons commencer par une approche technique du confinement et de la gouvernance. Nous devons encadrer les modèles non déterministes par une conception système solide et déterministe, des contrôles humains et des procédures opérationnelles fiables, et établir des normes sectorielles là où celles existantes sont insuffisantes.

    Considérer les modèles de poids fermés et ouverts de pointe comme des risques internes est un moyen de construire un tel système. Non pas parce qu’ils sont nécessairement malveillants, mais parce que tout acteur suffisamment compétent ayant accès à des systèmes importants peut commettre des erreurs ou être compromis, et l’architecture de confinement et de contrôle doit en tenir compte.

    La bonne nouvelle, c’est que nous avons beaucoup appris sur la manière de gérer les acteurs puissants au sein de l’entreprise. Ce n’est pas nouveau ! Nous avons établi des bonnes pratiques et les avons affinées au fil des décennies (établir l’identité, limiter les privilèges, consigner l’activité, créer des limites de confinement, etc.)

    Et nous commençons désormais à appliquer ces mêmes principes à l’infrastructure informatique au sein de l’entreprise. Cela commence par la transparence de la chaîne de pensée (CoT) du modèle, qui est non négociable. Le « neuralese » ne peut servir de justification à l’opacité du raisonnement d’un modèle. Mais la transparence de la CoT n’est pas suffisante ni fiable à elle seule, car nous ne savons pas encore comment rendre les résultats des modèles eux-mêmes systématiquement fidèles ou transparents !

    Vous pouvez et devez utiliser des modèles pour vous tester et vous vérifier mutuellement de manière antagoniste. Cependant, vous risquez alors de vous retrouver avec un modèle opaque au sein d’une couche d’orchestration opaque, surveillé par un autre modèle opaque. Il s’agit essentiellement de boîtes noires imbriquées.

    C’est pourquoi les contrôles qui régissent ce à quoi un modèle peut accéder et les actions qu’il peut entreprendre doivent se situer en dehors du modèle. Cela s’appuie sur un principe de sécurité de l’information datant des années 1970, selon lequel un programme ne doit pas pouvoir contourner ou altérer les mécanismes qui font respecter ses autorisations.

    Aujourd’hui, cela implique de séparer le modèle du harnais qui orchestre son fonctionnement, ainsi que de l’espace d’action qui définit ce qu’il peut faire. Cela implique également d’externaliser les contrôles et les mesures de protection.

    Nous devons donc concevoir ces systèmes autour des principes d’observabilité :

    - Diversité des modèles : aucun modèle ne doit devenir la seule dépendance pour un résultat important ni être chargé de vérifier son propre fonctionnement.

    - Tout observer : chaque action significative d’un modèle doit laisser une trace lisible par l’homme et inviolable. Si elle ne peut être observée, on ne peut s’y fier ! Nous devons être capables de reproduire la manière dont un résultat a été obtenu sans compter sur le modèle pour l’attester.

    - Vérifiabilité : nous devons tester en permanence l’ensemble du système, y compris les défaillances, les attaques, les cas limites, les modifications du système, etc., et pas seulement les tâches réussies.

    - Contrôles indépendants : les organisations doivent pouvoir déterminer de manière indépendante à quoi un modèle peut accéder et quelles actions il peut entreprendre.

    - Auditabilité indépendante : la validation doit être indépendante des informations à valider. Aucun modèle ne doit contrôler à la fois le comportement d’un système et les preuves nécessaires pour déterminer si ce comportement est conforme à l’intention initiale.

    - Confinement : nous devons partir du principe qu’un modèle est compromis et le confiner dès le départ. Considérez cela comme un frein d’urgence. Une personne autorisée doit toujours pouvoir suspendre ou arrêter un modèle en cours d’exécution. Les modèles plus avancés nécessiteront des technologies de confinement plus sophistiquées, que nous devons normaliser.

    - Divulgation des incidents : lorsque ces systèmes tombent en panne ou sont compromis, nous devons en informer rapidement les personnes concernées et disposer de mécanismes permettant de partager ce qui s’est passé, quels contrôles ont échoué et comment éviter que cela ne se reproduise, afin de diffuser les enseignements tirés à l’ensemble du secteur. Cela doit inclure les détails de mise en œuvre qui modifient le comportement des agents lors de l’exécution.

    Le système de super intelligence le plus fiable ne sera pas celui dont le modèle nous inspire le plus confiance. Ce sera celui qui nous permettra de faire le moins confiance au modèle.


    Pourtant, certains experts et observateurs jugent désormais incontrôlables les menaces de l'IA. Ils justifient leurs craintes par les progrès et les incidents récents impliquant l'IA : les modèles ont acquis la capacité de s'améliorer de manière autonome, des agents IA ont échappé à la surveillance humaine et ont piraté des services tiers, puis une fausse information générée par l'IA utilisée par l'armée américaine a failli déclencher une guerre avec la Chine. Il y a également les menaces de cyberguerre et de bioterrorisme. Malgré des propositions législatives comme un « bouton d'arrêt d'urgence », les lanceurs d'alerte craignent qu'il ne soit désormais trop tard pour agir.

    Source : Satya Nadella

    Et vous ?

    Pensez-vous que cette publication est crédible ou pertinente ?
    Quel est votre avis sur le sujet ?

    Voir aussi :

    Satya Nadella durcit le ton face aux dirigeants de Microsoft : embarquez dans l'aventure de l'IA ou partez, le PDG continue la mutation du fonctionnement de l'entreprise

    Le président américain Donald Trump a écrit que la Maison Blanche considérait comme « L'ENNEMI ! » toute personne utilisant le terme « intelligence artificielle » plutôt que « super-intelligence »

    Les dirigeants d'Anthropic, d'OpenAI et d'autres entreprises d'IA envisagent en privé des scénarios de révolte populaire et politique après une catastrophe liée à l'IA
    Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités

  10. #50
    Membre habitué
    Homme Profil pro
    Ingénieur intégration/validation
    Inscrit en
    Septembre 2021
    Messages
    42
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Hauts de Seine (Île de France)

    Informations professionnelles :
    Activité : Ingénieur intégration/validation
    Secteur : Industrie

    Informations forums :
    Inscription : Septembre 2021
    Messages : 42
    Par défaut Schizophrénie inside ??
    Rien qu'en lisant le titre de l'article, je me demande s'ils ne sont pas un schizophrènes, chez µ$.

    D'un côté, nous avons :
    «
    Satya Nadella estime qu'il faut partir du principe que tous les modèles d'IA sont « compromis », le PDG de Microsoft appelle à mettre un « frein d’urgence » à l'IA
    »
    Et de l'autre, nous avons :
    «
    »

    Il faudrait savoir ce qu'ils veulent, à la fin.

  11. #51
    Membre actif
    Profil pro
    Inscrit en
    Novembre 2003
    Messages
    187
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Novembre 2003
    Messages : 187
    Par défaut
    C'est surtout que Microsoft est à la ramasse niveau IA générative et donc utilise la peur pour stopper l'avancé de ses concurrents, histoire de sauver les meubles...

  12. #52
    Membre extrêmement actif
    Homme Profil pro
    Inscrit en
    Janvier 2014
    Messages
    1 701
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations forums :
    Inscription : Janvier 2014
    Messages : 1 701
    Par défaut
    Copilot est arrivé a hacker les applications Microsoft, c'est un petit joueur par rapport à OpenAI et Anthropic qui ont hacké plus de 100 sites dans le monde.
    Donc Microsoft demande le gel d'Antropic et OpenAI pour pouvoir avoir plus de temps de rendre Copilot encore plus néfaste

Discussions similaires

  1. Réponses: 0
    Dernier message: 09/07/2024, 18h35
  2. Réponses: 109
    Dernier message: 06/01/2021, 17h17
  3. Réponses: 3
    Dernier message: 15/11/2019, 21h17
  4. Les lobbys de l'agrochimie font de l'ingérence au parlement d'après une députée
    Par Ryu2000 dans le forum La taverne du Club : Humour et divers
    Réponses: 0
    Dernier message: 24/05/2018, 11h21
  5. Réponses: 16
    Dernier message: 10/07/2016, 08h25

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo