Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter
Discussion :
bonjour,
Votre article m'amuse beaucoup.
Je suis pour l'apocalypse à la venue de L'I.A. qui est un acronyme donc, je place un 'L' parce que je connais une unique forme d'intelligence.
Intelligence qui d'ailleurs, n'est qu'un sixième des vertus humaine.
Jo.
Il y a des êtres humains malfaisant qui sont intelligent et lorsqu'ils se laissent entraîner par le démon, cela peut engendrer des catastrophes voir même l'apocalypse.
Les groupes d’extrémistes sont loin d'être cons et ils savent très bien manipuler les gens.
Même chose pour les pirates informatiques.
Alors pourquoi pas une IA ?
Et puis d'abord d’où vient t’ont ? Somme nous des rescapés d'une IA malfaisante, vivant sur une planète lointaine ?
Tout est possible.
Le monde «pourrait ne pas avoir le temps» de se préparer aux risques liés à la sécurité de l'IA, selon un cher
Le monde « pourrait ne pas avoir le temps » de se préparer aux risques liés à la sécurité de l'IA, selon un chercheur de renom.
L'industrie joue-t-elle avec le feu en déployant des systèmes que personne ne maîtrise totalement ?
L’idée que le monde pourrait manquer de temps pour se préparer aux risques de l’intelligence artificielle n’est plus une hypothèse marginale réservée aux cercles académiques. Elle s’impose désormais au cœur du débat public, portée par des chercheurs de premier plan qui estiment que la trajectoire actuelle du développement de l’IA dépasse notre capacité collective à en maîtriser les conséquences. Dans une analyse récente de David Dalrymple, directeur de programme et expert en sécurité de l'IA à l'agence britannique ARIA, l’alerte est sans détour : si le rythme actuel se maintient, les sociétés humaines pourraient être confrontées à des systèmes plus puissants que prévu, avant même d’avoir mis en place les garde-fous nécessaires.
Depuis deux ans, l’IA générative a changé d’échelle. Les modèles ne se contentent plus de produire du texte ou des images crédibles : ils commencent à « raisonner », à planifier, à interagir de manière autonome avec des environnements numériques complexes. Cette progression fulgurante repose sur une combinaison bien connue : puissance de calcul croissante, volumes de données massifs et investissements financiers quasi illimités.
Le problème, selon plusieurs chercheurs cités par la presse anglo-saxonne, est que cette accélération ne s’accompagne pas d’un effort équivalent sur la sûreté. Les cadres réglementaires restent nationaux, fragmentés et souvent en retard d’un cycle technologique. Quant aux mécanismes techniques de contrôle, ils peinent à suivre l’émergence de comportements imprévus dans des systèmes de plus en plus opaques.
Quand les chercheurs parlent d’un risque systémique
Yoshua Bengio
Parmi les voix les plus écoutées figure celle de Yoshua Bengio, l’un des pionniers de l’apprentissage profond. Pour lui, le danger ne réside pas uniquement dans les usages malveillants de l’IA, mais dans la possibilité que des systèmes avancés développent des objectifs mal alignés avec les intérêts humains. Ce scénario, longtemps considéré comme théorique, gagne en crédibilité à mesure que les modèles deviennent capables d’optimiser leurs actions sur le long terme.
L’enjeu n’est pas une « révolte des machines » au sens hollywoodien, mais un risque plus insidieux : des systèmes extrêmement efficaces poursuivant des objectifs définis de manière imparfaite, avec des effets secondaires potentiellement catastrophiques sur l’économie, la sécurité ou l’information.
Yoshua Bengio est un informaticien canadien né en 1964, reconnu mondialement comme l’un des pionniers de l’intelligence artificielle et de l’apprentissage profond. Professeur à l’Université de Montréal et fondateur de l’Mila – Institut québécois d’intelligence artificielle, il a profondément influencé la recherche contemporaine en réseaux de neurones. En 2018, il a reçu le prix Turing, considéré comme le « prix Nobel de l’informatique », aux côtés de Geoffrey Hinton et Yann LeCun.
Umberto Domínguez
Dans son article intitulé « Effets catastrophiques », le professeur Umberto León Domínguez de l'université de Monterrey explore les implications potentielles de l'intelligence artificielle (IA) sur les fonctions cognitives humaines. En se penchant sur des chatbots tels que ChatGPT, conçus pour imiter la conversation humaine, Domínguez exprime ses préoccupations quant à la possibilité que l'IA agisse comme une « prothèse cognitive », accomplissant des tâches cognitives pour les humains.
Il met en garde contre le « délestage cognitif », avertissant que la dépendance excessive à l'IA pourrait entraîner un affaiblissement des capacités cognitives humaines, compromettant la pensée critique et la créativité. Malgré ces avancées, l'IA ne pourra jamais dépasser les capacités du cerveau humain. Des chercheurs de l'université de Sheffield ont souligné qu'il existe des différences inhérentes qui empêchent l'IA de penser comme les humains.
David Dalrymple
David Dalrymple, directeur de programme et expert en sécurité de l'IA à l'Agence britannique pour la recherche avancée et l'invention (ARIA), a averti que le monde « pourrait ne pas avoir le temps » de se préparer aux risques liés à la sécurité que posent les systèmes d'IA en rapide évolution. Il a déclaré au Guardian que les gens devraient s'inquiéter des capacités croissantes de cette technologie.
« Je pense que nous devrions nous inquiéter des systèmes capables d'exécuter toutes les fonctions que les humains accomplissent pour faire avancer les choses dans le monde, mais en mieux. Nous serons dépassés dans tous les domaines où nous devons être dominants afin de garder le contrôle de notre civilisation, de notre société et de notre planète », a-t-il déclaré.
Dalrymple a également souligné un fossé entre le secteur public et les entreprises d'IA en matière de compréhension des avancées potentielles de l'IA. Il a averti que les choses évoluent très rapidement et que nous n'aurons peut-être pas le temps de prendre les devants en matière de sécurité. « Et ce n'est pas de la science-fiction de prévoir que d'ici cinq ans, la plupart des tâches économiquement rentables seront effectuées par des machines avec un niveau de qualité supérieur et à un coût inférieur à celui des humains », a-t-il ajouté.
Il a également averti que les gouvernements ne devaient pas tenir pour acquise la fiabilité des systèmes d'IA avancés. Aria, une organisation qui gère le financement de la recherche tout en restant indépendante malgré son financement public, se concentre sur la protection de l'utilisation de l'IA dans des secteurs critiques tels que les infrastructures énergétiques. Dalrymple, qui travaille sur ces systèmes de sécurité, a fait remarquer que la science nécessaire pour garantir une fiabilité totale pourrait ne pas émerger assez rapidement en raison des pressions économiques.
« La meilleure chose que nous puissions faire, et que nous serons peut-être en mesure de faire à temps, est donc de contrôler et d'atténuer les inconvénients », a-t-il déclaré.
Sécurité de l’IA : un problème technique… et politique
Ce que souligne l’analyse, c’est que la sûreté de l’IA ne peut plus être traitée comme un simple sous-problème d’ingénierie. Certes, des travaux existent sur l’alignement, la robustesse ou l’interprétabilité des modèles. Mais ces approches restent expérimentales et loin d’être standardisées dans l’industrie.
En parallèle, les décisions structurantes sont prises dans un contexte de compétition géopolitique intense. Les grandes puissances voient l’IA comme un levier stratégique majeur, ce qui réduit l’appétence pour des moratoires ou des freins volontaires. Dans ce cadre, chaque acteur craint qu’un ralentissement unilatéral ne profite à ses rivaux, créant une dynamique proche d’une course aux armements technologiques.
D'ailleurs, David Dalrymple a averti que lorsque les progrès technologiques dépassent les mesures de sécurité, cela peut entraîner de graves risques tant pour la sécurité que pour l'économie. Il a appelé à davantage de recherches techniques afin de mieux comprendre et gérer le comportement des systèmes d'IA avancés.
« Le progrès peut être considéré comme déstabilisant, mais il pourrait en réalité être positif, ce que beaucoup de personnes à la pointe de la technologie espèrent. Je m'efforce d'améliorer la situation, mais les risques sont très élevés et la civilisation humaine avance dans cette transition comme un somnambule », a-t-il ajouté.
L'Institut britannique pour la sécurité de l'IA (AISI) a indiqué que les capacités de l'IA progressaient rapidement, avec des performances doublant tous les 8 mois dans certains domaines. Les modèles avancés peuvent désormais accomplir des tâches de niveau apprenti dans 50 % des cas, et certains systèmes peuvent accomplir de manière autonome des tâches qui prendraient plus d'une heure à un expert humain. L'AISI a testé des modèles pour l'auto-réplication, une préoccupation majeure en matière de sécurité, et a constaté que deux modèles de pointe atteignaient des taux de réussite supérieurs à 60 %. Cependant, l'AISI souligne qu'un scénario catastrophe est peu probable dans des conditions normales.
Dalrymple estime que les systèmes d'IA seront capables d'automatiser l'équivalent d'une journée complète de travail de recherche et développement d'ici la fin 2026, ce qui « entraînera une nouvelle accélération des capacités », car la technologie sera capable de s'améliorer d'elle-même sur les aspects mathématiques et informatiques du développement de l'IA.
Face aux risques potentiels de l'IA, des scientifiques proposent d'intégrer des interrupteurs d'arrêt d'urgence
Des chercheurs de l’Université de Cambridge ont suggéré d’intégrer des interrupteurs d’arrêt d’urgence et des blocages à distance, similaires à ceux développés pour empêcher le lancement non autorisé d’armes nucléaires, dans le matériel qui l’alimente. Ils ont également recommandé de suivre les ventes de puces IA dans le monde. Leur étude a été soutenue par des voix de nombreuses institutions académiques, dont OpenAI.
L’étude met en évidence plusieurs façons dont les décideurs politiques pourraient aborder la réglementation du matériel IA. Le document, dans lequel s'expriment de nombreuses institutions universitaires et plusieurs représentants d'OpenAI, défend l'idée que la réglementation du matériel sur lequel reposent ces modèles pourrait être le meilleur moyen d'en empêcher l'utilisation abusive.
L'entraînement des modèles les plus prolifiques, dont on pense qu'ils dépassent un trillion de paramètres, nécessite une immense infrastructure physique : des dizaines de milliers de GPU ou d'accélérateurs et des semaines, voire des mois, de temps de traitement. Selon les chercheurs, il est donc difficile de dissimuler l'existence et les performances relatives de ces ressources.
De plus, les puces les plus avancées utilisées pour entraîner ces modèles sont produites par un nombre relativement restreint d'entreprises, comme Nvidia, AMD et Intel, ce qui permet aux responsables politiques de restreindre la vente de ces biens aux personnes ou aux pays concernés.
Ces facteurs, ainsi que d'autres comme les contraintes de la chaîne d'approvisionnement dans la fabrication des semi-conducteurs, offrent aux décideurs politiques les moyens de mieux comprendre comment et où l'infrastructure de l'IA est déployée, qui est autorisé ou non à y accéder, et d'appliquer des sanctions en cas d'utilisation abusive, affirme le document.
Sources : Vidéo dans le texte, David Dalrymple
Et vous ?
Trouvez-vous les propos des chercheurs crédibles ou pertinents ?
je suis pas biochimiste, mais d'après ce que j'en sais, le système nerveux ne fonctionne PAS qu'avec des 0 et des 1.Envoyé par Jon Shannow
une synapse n'a pas seulement 2 états, elle peut:
- libérer plus ou moins de neuro-transmetteurs (là déjà on est plus proche d'une transmission d'info analogique que numérique)
- libérer plusieurs sortes de neuro-transmetteurs
d'autre part il me semble avoir lu quelque part que la fréquence d'excitation d'une synapse a aussi un rôle à jouer dans la transmission d'information
bref, le système nerveux humain (et animal en général) n'a juste rien à voir avec les ordinateurs tels qu'on les connait aujourd'hui.
et je suis même pas certain qu'un ordinateur quantique égalerait la complexité d'un cerveau humain.
+1, Turing a démontré qu'aucune machine aussi évoluée soit-elle ne pourrait faire plus que lire/écrire et avancer/reculer avec des transitions définies sur un ruban infini (et encore que d'un côté!).Je ne pense pas que cela puisses arriver un jour tant que la MACHINE est un succession de 0,1 alors l'intelligence ne peut pas se faire car cette machine ne pourra réagir que d'après un ensemble de séquences de Données collectées sur des comportements et l'analyse recus.
Même les machines les plus puissantes aujourd'hui sont des sous-machines de Turing puisque leur mémoire vive (~= leur ruban) est limitée.
Le mec devrait arrêter de regarder Terminator, Skynet c'est pas pour tout de suite ! De plus, la loi de Moore ne se vérifiant plus depuis plusieurs années, on assiste à une décélération du progrès technologique...
vous mélangez tout
Vous dîtes n'importe quoi. Comme la médecine est tellement avancée qu'on peut guérir le cancer, il n'y aura plus d'épidémies ? ..--> ebola, sida, grippe
Un robot a même été officiellement désigné comme membre du conseil d'administration d'une entreprise, et pas n'importe laquelle. Il s'agit d'un fonds d'investissement. Autrement dit, une entreprise qui investit , ou pas, dans d'autres entreprises et peut donc décider de supprimer, ou pas, des emplois. http://aginganalytics.com/a-venture-...-of-directors/
Une vraie IA capable de créativité, d'apprentissage, de prise de décisions devra selon moi nécessairement copier au plus proche le fonctionnement de nos cerveaux humains, avec les défauts que ça implique.
Si une IA se rend compte que le seul moyen de sauver un grand nombre de vies est de procéder à un meurtre de masse, comment réagira-t-elle ?
Une IA capable de réfléchir à sa propre existence pourra-t-elle rester aux services de l'homme ? N'oublions pas que le cerveau est un ordinateur, la soif de liberté d'un cerveau humain artificiel me paraît difficilement évitable.
Je pense dans tous les cas que l'on veut aller trop loin trop vite pour le moment. Les voitures sans pilotes, les objets connectés, les drones de combats ... je ne pense pas que l'on maîtrise aujourd’hui suffisamment la technologie pour se lancer dans tous ça.
Je crois que ça fait partie de la stratégie marketing de SpaceX que leur dirigeants fassent le buzz sur des sujets comme ça.
Il y a une ou deux semaines ils parlaient d'une colonie martienne de 1 millions d'habitants en 2050.
il a raison
N'importe quoi. C'est justement parce que l'IA, en tout cas l'IA actuelle, ne différencie pas le bien du mal, en tout cas pas comme les humains, qu'elle est dangereuse.En effet, il faudrait être capable de créer une machine assez consciente pour pouvoir distinguer ce qui est bien de ce qui est mal : ce qui n’est pas pour demain.
Et de toute facon, qui définit ce qui est bien et ce qui est mal? Les philosophes réfléchissent à cela depuis l'invention de la religion et la réponse est ... qu'il n'y a pas de réponse. Il y a une métaréponse: http://fr.wikipedia.org/wiki/Bien_%28philosophie%29 . Le bien est la valeur normative de la morale. Donc qui définit la morale? dans le cas de l'IA, l'équipe de programmeurs.
Supposons que cette équipe de programmeurs, mais ce n'est qu'un supposition, supposons donc que l'équipe de programmeurs soit composée aux trois quarts de gros asociaux qui détestent les hommes :
- parce qu'ils sont trop bêtes
- parce qu'ils polluent avec leur voiture
- parce qu'ils ne comprennent rien à Windows, ni à Linux d'ailleurs
- parce qu'ils écoutent de la musique pour idiots alors que chacun sait que "Children of Boddom" est le seul vrai groupe de musique depuis Brahms
- parce qu'ils sont anti-américains primaires alors que les USA défendent la liberté depuis le début
- parce que la société serait meilleure avec seulement des femmes.
- ...
Alors on a déjà une bonne idée des règles logiques qui définiront la morale de l'IA et perso, je donne raison à M. Musk
Ceci est atrocement sorti de son contexte. Initialement c'était une métaphore humoristique lors d'une conférence donnée au MIT.
"So we need to be very careful with the artificial intelligence. Increasingly scientists think there should be some regulatory oversight maybe at the national and international level, just to make sure that we don’t do something very foolish. With artificial intelligence we are summoning the demon. In all those stories where there’s the guy with the pentagram and the holy water, it’s like yeah he’s sure he can control the demon. Didn’t work out."
Source : The Register
Pour moi, une erreur à ne pas faire concernant les dangers de l'intelligence artificielle est de penser qu'il faudrait arriver à un niveau d'intelligence "supérieure" à l'intelligence humaine.
Un système d'intelligence rudimentaire étant capable de se nourrir, se reproduire massivement et se défendre basiquement en s'adaptant (ex: un virus, une sauterelle ...) suffirait à représenter un danger.
Pour les fans de Stargate SG1, je pense aux réplicateurs ...
Un réplicateur n'atteint pas le niveau d'intelligence de terminator mais une nuée représente un problème quasi-insurmontable.
Enfin, est ce tout simplement une bonne chose de "remplacer" les êtres humains ?
Pour les amateurs de SF, je pense que les règles du Jihad Butlérien devraient s'appliquer (PS: Message aux intégristes de tous bords: renseignez vous sur ce que signifie le terme jihad butlérien avant de déverser vos propos anti-religieux ou prosélytiques)
J'ais été voir la définition de Jihad sur le wiki.
Première phrase du deuxième paragraphe*:
Après Jihad Butlérien a l'air plus précis: faire le génocide des ordinateursMuslims and scholars do not all agree on its definition
IAaaahhh
Qu'est que l'I.A.? C'est du code qui analyse des entrées pour prendre des décisions, en gros c'est un algo, et sa existe depuis longtemps!
De quoi peut ton avoir peur? Un algo plus intelligent que nous qui puisse se reproduire, une sorte de virus informatique "pensant". Pourquoi ce virus intelligent nous voudrai du mal? Comme dans Matrix pour nous extraire de l’énergie (illogique mais bon l'A.I. est plus intelligent que nous!), bon ben on sera du bétail pour eux, nous ne seront plus les "maitres". Après les dinosaures, les hommes, les robots... chacun son tour...
Sinon on peut se dire que ces robots seront sympa, pourquoi vouloir tous nous tuée? Bon comme scénario c'est pas top, mais c'est plausible. Pourquoi gaspiller du temps a nous tuer? On as pas tuer tous les singes nous?
Alors je dit allons voir plutôt les problèmes que posent les BigData, et de l'anonymat sur internet, qui me semble bien plus préoccupante aujourd’hui!
Je pense que l'"apocalypse" est plus proche qu'on pourrait le croire :
http://www.courrierinternational.com...ude-en-norvege
Ce n'est qu'un début mais à partir du moment ou l'IA décide d'elle même de tuer, on a franchit un palier.
Elon Musk n'est pas une personne qui maîtrise vraiment le sujet, il est juste un brillant investisseur et même s'il a une bonne formation / connaissance du sujet il est loin d'en être un expert. Mais surtout des expert qui prédisent la fin du monde a cause de leur domaine parce qu'il prenne conscience de la puissance de leur domaine n'a rien d'exceptionnel. Le monde est en équilibre depuis la nuit des temps et les catastrophe sont monnaie courantes. (création de la terre, fin des dinosaures, peste, guerres mondiales, guerre froide sur fond de menace nucléaire, réchauffement climatique... ) . Cependant l'histoire nous apprends une choses : prudence et innovation. Deux mots qui s'opposent et se complètent. Il faut certes continuer d'innover oser le changement, oser le risque tout en cherchant a le limiter. Mais l'IA est encore bien loin de représenter un risque pour l'humanité. Plus surement l'IA présente un risque pour ceux qui l'utilise car elle n'est pas infaillible (comme l'humain) mais le risque est limité. On sait faire des programme qui font mieux que l'homme dans de plus en plus de domaine (jeu d'échec, finance, conduite, reconnaissance d'écriture...) et s'est tant mieux. Il faut continuer de les faire évoluer et de les remettre en cause.On est pas ici face à une peur par ignorance, mais face à une crainte évoquée par des personnes qui maîtrisent le sujet
Honnêtement quitte à lire des affabulations dans ce genre j'aurai préféré un peu plus de mordant quoi, balancer des opinions, des idées comme ça sans argumenter derrière c'est décevant ! De plus pas besoins d'être multi-milliardaire, suffit d'avoir vu quelques films!
artificial inteligence c'est has been les amis ! maintenant on dit machine learning
En fait, c'est plus compliqué de ce que je disais, parce que c'était juste pour noter l'absurdité de ce qui était dit. Mais, si on prend les axones ils travaillent de façon binaire. Soit ils réagissent, soit ils ne réagissent pas. Chaque axone à son niveau d'acceptation. Donc,un nerf, c'est des millions d'axones, chacun avec son niveau d'acceptation, et donc au final on a une modulation du résultat.
De même pour les synapses, chaque point (je ne sais plus comment ils s'appellent mais ça doit se retrouver - ça remonte à quelques années) réagit de manière binaire. Et c'est le nombre de "points" activés qui permet une modulation. Ensuite, comme dit, il y a plusieurs neurotransmetteurs (ceux qui activent les "points"), et chaque neurone (un neurone est une cellule) est capable de produire un ou plusieurs neurotransmetteurs (qui sont des molécules ayant une forme particulière, leur permettant d'activer un "point" et pas un autre. C'est comme les pièces d'un puzzle).
La diversité des neurotransmetteurs, la diversité des réponses aux activations des neurones, le grand nombre de neurones, et de "point" par neurones, etc... fait qu'on peut avoir une modulation très pointue des réponses aux stimulations, mais il n'empêche qu'à la base, ça reste du 0 ou du 1 !
Je sais que mes études en biologie remonte à quelques années (d'où les trous de mémoire, désolé) mais je ne crois pas que cela ait été remis en compte.
Ce qui se passera lors de la singularité technologique nous dépasse tellement qu'on peut faire que des hypothèses, on aura beau essayer d'imaginer ce qu'il se passera on ne le saura pas tant qu'on ne l'aura pas vécu.
Personnellement j'aimerais bien qu'on m'explique ce qu'il y a derrière le terme "IA", et surtout derrière le terme "intelligence"....
Parceque des IA, il y en a dans tous les jeux videos et ca ne date pas d'hier
C'est une singularité. Comme le Big Bang. Donc. On ne peut pas savoir. On ne peut pas savoir ce qu'il y avait avant le Big Bang. On ne peut pas savoir ce qu'il y aura après la singularité technologique.
Répondre avec citation
Partager