Il faut arrêter avec ces sujets ubuesque . L'Intelligence artificielle généralisée n'existera jamais, car ce ne sont que des systèmes à mémoire sans représentation du monde
Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter
Discussion :
Une escroquerie intellectuelle
Il faut arrêter avec ces sujets ubuesque . L'Intelligence artificielle généralisée n'existera jamais, car ce ne sont que des systèmes à mémoire sans représentation du monde
C'est intéressant qu'il dise ça au moment où il représente en partie cette concentration de contrôle et au moment où il est quasi intouchable. N'est pas l'un de ceux qui appelaient à plus de réglementation sur l'IA mais qui demandait ensuite que le brouillon de réglementation soit moins strict?Envoyé par Bruno
Ce n'est clairement pas lui qu'il veut déforcer mais alors à quelle gouvernance veut il s'attaquer?
Les actionnaires qui ont essayé d'avoir sa tête?
Je suis bien conscient de certaines limites des modèles génératifs basés sur les transformeurs.Il faut arrêter avec ces sujets ubuesque . L'Intelligence artificielle généralisée n'existera jamais, car ce ne sont que des systèmes à mémoire sans représentation du monde
Par contre je suis pas certain que la limite soit là, les modèles multimodaux arrivent à grand pas, qu'ils viennent d'OpenAI ou de modèles dérivés de Llama 2 ou Mistral.
Il est probable que d'ici un an, un certain nombre de modèles soient doués de vision comme il sont déjà doués d'audition via Whisper (la parole n'en parlons pas, ça existe déjà très bien en dehors de l'IA).
Si on en croit Yann LeCunn, les modèles génératifs auront toujours une limite indépassable car ce sont des système auto régressifs, ce qui leur permettre de faire des *raisonnements* par analogie, mais cela a vite ses limite en dehors des autres champs de l'intelligence.
Mais je vois pas ce qui permet de dire que cela n'existera jamais. Après tout les transformeurs ont succédés aux les réseaux récurrents, il n'est pas impossible qu'une découverte soit faite dans un avenir proche.
La grosse faille à leur truc me semble parler à la fois de création et de génératif + apprentissage.
Tous les systèmes que l'on fera qui apprennent de l'existant et mixent des réponses en se basant sur cet apprentissage ne font qu'uniformiser/croiser des vérités qui n'en sont pas et niveler par le bas puisque tout se base sur ces choses apprises limitées.
Je paris qu'un jour on donnera un nom au niveau de médiocrité/unformité vers lequel ces IA vont tendre à partir du capital d'info à apprendre.
Sans oublier le Why ? pourquoi vouloir de telles intelligences alors que sommes toujours plus nombreux sur la Terre a avoir cette intelligence avec autant de sens à donner à la vie.
640K ought to be enough for anybody !
Bill Gates et ses petits copains sont des visionnaires, ça ne fait aucun doute !
En 1981 il a dit : "640 Ko (de RAM) devraient suffire à tout le monde"...
PS: citation niée par Bill Gates lui-même : "Je n'ai jamais dit cette affirmation, j'ai dit le contraire"...
En 1985 (époque de l'Amiga 1000 qui pouvait aller jusqu'à 8Mo de FAST RAM), on se foutait déjà de sa gueule avec cette affirmation complètement saugrenue...
Mais bon, je vous parle d'un temps que les moins de 20 ans ne peuvent pas connaître... :-)
Bonjour,
Malheureusement l'histoire nous le démontre, tout ce que nous fessons sert aussi à nuire.
Il en sera de même pour l'IA.
Je dirais que "Les chiens ne font pas des chats"
Or ici l'IA fait les choses bien mieux que nous. Et nous sommes, nous humains, je trouve, particulièrement doués pour nuire.
Vous voyez donc (probablement pas d'ailleurs et moi non plus) ce à quoi s'attendre.
Par ex l'énergie atomique est très bien pour notre usage courant.
Mais c'est aussi en une seule bombe jusqu'à 100 km de destruction totale.(https://fr.wikipedia.org/wiki/Tsar_Bomba)
Et comme c'est aussi en développement dans des pays ne partagant pas nos valeurs.
Cela risque d'être bien bien amusant.
OpenAI estime que la superintelligence artificielle AGI pourrait arriver dans les 10 prochaines années
OpenAI estime que la superintelligence artificielle AGI pourrait arriver dans les 10 prochaines années, mais demande de l'aide pour en contrôler les risques en annonçant un programme de subventions
OpenAI a récemment annoncé le lancement d'un important programme de subventions de 10 millions de dollars, connu sous le nom de Superalignment Fast Grants. Cette initiative ambitieuse est conçue pour soutenir et stimuler la recherche technique axée sur l'alignement et la sécurité des systèmes d'IA surhumaine. Cette initiative importante d'OpenAI souligne les préoccupations et l'intérêt croissants pour le développement et le contrôle des systèmes d'IA surhumaine, ainsi que leurs risques et avantages potentiels.
"10 millions de dollars de subventions pour soutenir la recherche technique sur l'alignement de l'AGI. Nous aurons besoin de nouvelles percées pour diriger et contrôler des systèmes d'IA beaucoup plus intelligents que nous. Il s'agit de l'un des problèmes techniques non résolus les plus importants de notre époque. Mais nous pensons qu'il s'agit d'un problème d'apprentissage automatique qui peut être résolu. Les nouveaux chercheurs peuvent apporter d'énormes contributions !" explique OpenAI. Les candidatures doivent être enregistrées avant le 18 février 2024.
Les systèmes d'IA surhumaine, comme leur nom l'indique, sont des IA qui surpassent l'intelligence humaine dans la plupart des tâches à valeur économique. OpenAI estime que l'avènement de la superintelligence pourrait être imminent, potentiellement au cours de la prochaine décennie. Bien que cette évolution puisse apporter d'énormes avantages, depuis les percées dans le domaine des soins de santé jusqu'à la résolution de problèmes mondiaux complexes, elle comporte également des risques importants. Le défi consiste à s'assurer que ces systèmes d'IA surhumaine, et peut-être les robots humanoïdes récemment dévoilés, sont alignés sur les valeurs et les intérêts humains et qu'ils peuvent être contrôlés par les humains et bénéficier de leur confiance, une question qui a été au centre des préoccupations de la communauté de l'IA.
Des systèmes d'IA surhumaine
Les techniques actuelles d'alignement de l'IA, telles que l'apprentissage par renforcement à partir du retour d'information humain (RLHF), ont joué un rôle déterminant dans la formation des systèmes d'IA. Toutefois, ces méthodes pourraient ne pas être suffisantes pour les futurs systèmes d'IA surhumaine. Ces systèmes d'IA avancés sont susceptibles de présenter des comportements complexes et créatifs que le RLHF pourrait ne pas être en mesure d'exploiter ou de contrôler pleinement. Au fur et à mesure que les systèmes d'IA deviennent plus intelligents et autonomes, la tâche consistant à les aligner sur les valeurs humaines et à garantir leur sécurité devient de plus en plus ardue.
Reconnaissant l'inadéquation des techniques d'alignement actuelles et le besoin pressant de méthodes avancées, OpenAI lance le projet Superalignment. Ce projet vise à rassembler les meilleurs chercheurs et ingénieurs pour relever le défi de l'alignement et de la sécurité de l'IA surhumaine. L'organisation estime qu'il s'agit d'un problème qui peut être résolu et voit de nombreuses approches et opportunités prometteuses pour la communauté de recherche sur l'apprentissage automatique afin de réaliser des progrès significatifs.
Subventions rapides pour le Superalignement
Pour soutenir davantage les efforts du projet Superalignment, OpenAI introduit le programme Superalignment Fast Grants de 10 millions de dollars en partenariat avec Eric Schmidt, l'ancien PDG de Google. Les subventions, allant de 100 000 à 2 millions de dollars, seront disponibles pour les laboratoires universitaires, les organisations à but non lucratif et les chercheurs individuels. En outre, une bourse OpenAI Superalignment d'une durée d'un an et d'un montant de 150 000 dollars sera proposée aux étudiants de troisième cycle, avec une allocation de 75 000 dollars et 75 000 dollars en calcul et en financement de la recherche.
Le programme de subventions rapides pour le Superalignement et la bourse sont conçus pour attirer de nouvelles personnes dans le domaine et encourager un plus large éventail de perspectives et d'idées. Il est important de noter qu'aucune expérience préalable en matière d'alignement n'est requise pour postuler à ces subventions, ce qui ouvre la voie à des approches nouvelles et innovantes. Le processus de candidature est simple, avec un délai de réponse de quatre semaines après la clôture des candidatures, ce qui garantit un retour d'information rapide pour les candidats.
Le lancement par l'OpenAI de cet important programme de subventions représente une avancée significative dans le domaine de l'IA. Il souligne l'urgence et l'importance d'aligner les systèmes d'IA surhumaine sur les valeurs humaines et de garantir leur sécurité. Avec le projet Superalignment et le programme Fast Grants, OpenAI ne se contente pas de relever ce défi, mais encourage également une communauté de recherche inclusive et diversifiée qui peut contribuer à cette tâche complexe et cruciale. Cette initiative témoigne de l'engagement d'OpenAI à faire en sorte que l'IA profite à l'ensemble de l'humanité.
L'annonce d'OpenAI concernant le lancement du programme de subventions "Superalignment Fast Grants" est présentée ci-après :
Source : "Superalignment Fast Grants" (OpenAI)Nous pensons que la superintelligence pourrait voir le jour dans les dix prochaines années. Ces systèmes d'IA auraient de vastes capacités - ils pourraient être extrêmement bénéfiques, mais aussi potentiellement présenter des risques importants.
Aujourd'hui, nous alignons les systèmes d'IA pour nous assurer qu'ils sont sûrs en utilisant l'apprentissage par renforcement à partir du retour d'information humain (RLHF). Cependant, l'alignement des futurs systèmes d'IA surhumaine posera des défis techniques fondamentalement nouveaux et qualitativement différents.
Les systèmes d'IA surhumaine seront capables de comportements complexes et créatifs que les humains ne peuvent pas entièrement comprendre. Par exemple, si un modèle surhumain génère un million de lignes de code extrêmement compliqué, les humains ne seront pas en mesure d'évaluer de manière fiable si l'exécution du code est sûre ou dangereuse. Les techniques d'alignement existantes, telles que la RLHF, qui reposent sur la supervision humaine, pourraient ne plus être suffisantes. Cela nous amène à un défi fondamental : comment les humains peuvent-ils diriger des systèmes d'IA beaucoup plus intelligents qu'eux et leur faire confiance ?
Il s'agit de l'un des problèmes techniques non résolus les plus importants au monde. Mais nous pensons qu'il est possible de le résoudre grâce à un effort concerté. Il existe de nombreuses approches prometteuses et des directions intéressantes, avec beaucoup de fruits à portée de main. Nous pensons qu'il existe une énorme opportunité pour la communauté de recherche en ML et les chercheurs individuels de faire des progrès majeurs sur ce problème aujourd'hui.
Dans le cadre de notre projet Superalignment, nous souhaitons rassembler les meilleurs chercheurs et ingénieurs du monde pour relever ce défi - et nous sommes particulièrement enthousiastes à l'idée de faire entrer de nouvelles personnes dans le domaine.
Subventions rapides pour le projet Superalignement
En partenariat avec Eric Schmidt, nous lançons un programme de subventions de 10 millions de dollars pour soutenir la recherche technique visant à garantir l'alignement et la sécurité des systèmes d'IA surhumaine :
- Nous proposons des subventions de 100 000 à 2 millions de dollars pour les laboratoires universitaires, les organisations à but non lucratif et les chercheurs individuels.
- Pour les étudiants diplômés, nous sponsorisons une bourse OpenAI Superalignment d'une durée d'un an et d'un montant de 150 000 dollars : 75 000 dollars d'allocation et 75 000 dollars de calcul et de financement de la recherche.
- Aucune expérience préalable en matière d'alignement n'est requise ; nous cherchons activement à soutenir les chercheurs qui sont enthousiastes à l'idée de travailler sur l'alignement pour la première fois.
- Notre processus de candidature est simple et nous vous contacterons dans les quatre semaines suivant la clôture des candidatures.
Postulez avant le 18 février
Avec ces subventions, nous sommes particulièrement intéressés par le financement des directions de recherche suivantes :
- Généralisation faible à forte : Les humains seront des superviseurs faibles par rapport aux modèles surhumains. Pouvons-nous comprendre et contrôler la manière dont les modèles forts généralisent à partir d'une supervision faible ?
- Interprétabilité : Comment pouvons-nous comprendre les éléments internes des modèles ? Et pouvons-nous l'utiliser, par exemple, pour construire un détecteur de mensonges pour l'IA ?
- Supervision évolutive : comment pouvons-nous utiliser des systèmes d'IA pour aider les humains à évaluer les résultats d'autres systèmes d'IA dans des tâches complexes ?
De nombreuses autres directions de recherche, y compris, mais sans s'y limiter, l'honnêteté, la fidélité de la chaîne de pensée, la robustesse des adversaires, les évaluations et les bancs d'essai, et bien plus encore.
Pour en savoir plus sur les orientations de la recherche, les FAQ et d'autres détails, consultez notre page sur les subventions rapides pour le superalignement.
Rejoignez-nous dans ce défi
Nous pensons que de nouveaux chercheurs pourraient apporter d'énormes contributions ! Il s'agit d'un domaine jeune avec de nombreux problèmes de recherche réalisables ; des contributions exceptionnelles pourraient non seulement aider à façonner le domaine, mais aussi être cruciales pour l'avenir de l'IA. Il n'y a jamais eu de meilleur moment pour commencer à travailler sur l'alignement.
Et vous ?
Quel est votre avis sur le sujet ?
Voir aussi
Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités
OpenAI dévoile son "Cadre de préparation" pour assurer la sécurisation de ses modèles d'IA d'avant garde
OpenAI dévoile son "Cadre de préparation", une initiative pour assurer la sécurisation du développement de ses modèles d'IA d'avant-garde, et systématiser la réflexion sur la sécurité
OpenAI présente la version initiale de son Cadre de préparation (Preparedness Framework), qui décrit les processus de l'entreprise pour suivre, évaluer, prévoir et se protéger contre les risques catastrophiques posés par les modèles d'IA de plus en plus puissants. L'entreprise estime que l'étude actuelle des risques liés à l'IA d'avant-garde est loin d'être à la hauteur de ce qui est possible et de ce qu'il faudrait faire, et envisage de combler cette lacune et de systématiser la réflexion sur la sécurité à travers son cadre de préparation.
OpenAI dispose de plusieurs équipes chargées de la sécurité et de la politique qui travaillent ensemble pour atténuer les risques liés à l'IA. L'équipe Systèmes de Sécurité (Safety Systems) se concentre sur l'atténuation de l'utilisation abusive des modèles et des produits actuels tels que ChatGPT. L'équipe Superalignment établit les bases de la sécurité des modèles superintelligents qui verront le jour dans un avenir plus lointain. Et l'équipe de Préparation (Preparedness) cartographie les risques émergents des modèles d'avant-garde et se connecte aux équipes Systèmes de Sécurité, Superalignment ainsi qu'aux autres équipes chargées de la sécurité et de la politique au sein d'OpenAI.
Le cadre de préparation doit être guidé par la science et fondée sur des faits
OpenAI investit dans la conception et l'exécution d'évaluations rigoureuses des capacités et des prévisions afin de mieux détecter les risques émergents. En particulier, il s'agit de dépasser les scénarios hypothétiques et de passer à des mesures concrètes et à des prédictions basées sur des données. Il est également important de regarder au-delà de ce qui se passe aujourd'hui pour anticiper ce qui se passera à l'avenir. Ce travail est tellement essentiel pour OpenAI qu'elle fait appel à ses meilleurs talents techniques pour l'accomplir.
OpenAI est fondée sur l'association étroite de la science et de l'ingénierie, et le cadre de préparation apporte cette même approche au travail sur la sécurité. Des enseignements sont tirés des déploiements dans le monde réel et sont mis à profit pour atténuer les risques émergents. Pour que le travail sur la sécurité suive le rythme de l'innovation à venir, il ne suffit pas d'en faire moins, il faut continuer à apprendre par le biais d'un déploiement itératif.
Cadre de préparation (en version bêta)
Le Cadre de préparation d'OpenAI présente l'approche suivante pour développer et déployer les modèles d'avant-garde de l'entreprise en toute sécurité :
Des évaluations seront effectuées et des "scorecards" seront continuellement mis à jour pour les modèles développés par OpenAI. Tous les modèles frontières seront évalués, y compris à chaque multiplication par deux de la capacité de calcul effective pendant les exercices d'entraînement. Les modèles seront poussés jusqu'à leurs limites. Ces résultats contribueront à l'évaluation des risques liés aux modèles d'avant-garde et à la mesure de l'efficacité des mesures d'atténuation proposées. L'objectif étant de sonder les limites spécifiques de ce qui n'est pas sûr afin d'atténuer efficacement les risques révélés. Pour suivre les niveaux de sécurité des modèles, des tableaux de bord des risques et des rapports détaillés seront produits.
Des seuils de risque seront établis pour déclencher des mesures de sécurité de base. Ces seuils ont été définis en fonction des catégories initiales suivantes : cybersécurité, CBRN (menaces chimiques, biologiques, radiologiques et nucléaires), persuasion et autonomie du modèle. Quatre niveaux de risque de sécurité sont alors prévus, et seuls les modèles dont le score après atténuation est égal ou inférieur à "moyen" peuvent être déployés ; seuls les modèles dont le score après atténuation est égal ou inférieur à "élevé" peuvent être développés plus avant. Des mesures de sécurité supplémentaires seront également mises en œuvre pour les modèles présentant des niveaux de risque élevés ou critiques (avant l'adoption de mesures d'atténuation).
Une équipe spécialisée sera mise en place pour superviser les travaux techniques et une structure opérationnelle sera établie pour la prise de décision en matière de sécurité. L'équipe chargée de la préparation dirigera les travaux techniques afin d'examiner les limites des capacités des modèles d'avant-garde, d'effectuer des évaluations et de synthétiser les rapports. Ce travail technique est essentiel pour éclairer la prise de décision d'OpenAI en matière de développement et de déploiement de modèles sûrs. OpenAI est en train de créer un groupe consultatif interfonctionnel sur la sécurité qui examinera tous les rapports et les enverra simultanément à la direction et au conseil d'administration. Bien que la direction soit le décideur, le conseil d'administration a le droit d'annuler les décisions.
OpenAI développera des protocoles pour renforcer la sécurité et la responsabilité externe. L'équipe Preparedness organisera régulièrement des exercices de sécurité pour tester les pressions exercées par l'activité et la culture de l'entreprise. Certains problèmes de sécurité peuvent apparaître rapidement et il sera alors possible de marquer les problèmes urgents afin d'y répondre rapidement. L'entreprise estime qu'il est essentiel que ce travail reçoive un retour d'information de la part de personnes extérieures à OpenAI et s'attend à ce que des audits soient menés par des tierces parties qualifiées et indépendantes. OpenAI continuera à faire évaluer ses modèles par des tiers, et prévoit de partager les mises à jour en externe.
OpenAI contribuera à réduire d'autres risques connus et inconnus en matière de sécurité. Une collaboration étroite avec des parties externes ainsi qu'avec des équipes internes telles que Safety Systems sera mise en place afin de suivre les utilisations abusives dans le monde réel. OpenAI travaillera également avec l'équipe Superalignment sur le suivi des risques émergents liés au désalignement. L'entreprise est par ailleurs à l'avant-garde d'une nouvelle recherche visant à mesurer l'évolution des risques à mesure que les modèles s'étendent, afin d'aider à prévoir les risques à l'avance, à l'instar de ce qui a été fait précédemment avec les lois de mise à l'échelle. Enfin, un processus continu sera mis en œuvre pour tenter de mettre en évidence les "inconnues" émergentes.
Il s'agit d'un résumé des principaux éléments du cadre de préparation (Beta), et vous êtes encouragés à lire la version complète. Ce cadre est la première version bêta adoptée par OpenAI et se veut un document évolutif. Il est prévu de le mettre à jour régulièrement au fur et à mesure des connaissances et des réactions que reçues.
Source : "Preparedness" (OpenAI)
Et vous ?
Voir aussi
Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités
Ray Kurzweil s'en tient à ses prédictions : l'AGI arrivera d'ici 2029 et la singularité se produira d'ici 2045
Ray Kurzweil s'en tient à ses prédictions de longue date : l'AGI arrivera d'ici 2029 et la singularité se produira d'ici 2045
mais certains experts sont sceptiques à l'égard de ses prédictions
Ray Kurzweil, directeur de l'ingénierie chez Google et célèbre futurologue, a fait de nombreuses prédictions au cours des dernières décennies et la plupart d'entre elles sont centrées sur l'évolution rapide de la technologie. Il a prédit notamment que l'intelligence artificielle générale (AGI) sera une réalité d'ici 2029 et que la singularité se produira d'ici 2045. Aujourd'hui encore, Ray Kurzweil s'en tient à ses prédictions et tout comme lui, de nombreux PDG de startups et d'entreprises d'IA affirment que l'humanité atteindra une forme d'AGI d'ici 2030. Certains experts se montrent toutefois plus modérés sur la question et d'autres font preuve de scepticisme à l'égard de ses prédictions.
Ray Kurzweil est certain que l'industrie atteindra une forme d'AGI d'ici 2029
Ray Kurzweil est un auteur, informaticien et inventeur américain. Prophète de l'IA depuis les années 1970, Kurzweil a fondé ou cofondé plusieurs entreprises prospères, dont Kurzweil Computer Products, Kurzweil Educational Systems et Nuance Communications. Mais il est peut-être beaucoup plus connu pour ses travaux sur la loi des rendements accélérés et pour ses prédictions sur l'avenir de la technologie et de la société. Parmi ses inventions les plus célèbres, Kurzweil a été le premier à créer un logiciel de reconnaissance optique de caractères (optical character recognition - OCR) et il a cofondé une société de synthétiseurs musicaux avec Stevie Wonder.
En 2012, Kurzweil a été engagé par le cofondateur de Google, Larry Page, comme directeur de l'ingénierie du géant de la recherche en ligne. Avec son équipe de programmeurs de logiciels de Google, il a étudié comment les ordinateurs pouvaient traiter, interpréter, comprendre et utiliser le langage humain dans les applications quotidiennes. Ray, aujourd'hui âgé de 75 ans, travaille toujours chez Google en tant que chercheur principal et visionnaire en matière d'IA. Ce qui signifie qu'il est l'un des principaux cerceaux derrière Gemini, le dernier grand modèle de langage de Google. L'entreprise affirme que Gemini surpasse le modèle GPT-4 d'OpenAI.Ray Kurzweil is sticking to his long-held predictions: 2029 for AGI and 2045 for the singularity pic.twitter.com/dewqWAH6eC
— Tsarathustra (@tsarnick) December 18, 2023
Bien avant d'atterrir chez Google, Kurzweil a publié à partir des années 1990 de nombreux livres dans lesquels il a fait des prédictions sur l'évolution des technologies, et en particulier l'IA. Il a publié en 1990 "The Age of Intelligent Machines" (l'ère des machines intelligentes), puis "The Age of Spiritual Machines : when Computers Exceed Human Intelligence" (l'ère des machines spirituelles : quand les ordinateurs dépasseront l'intelligence humaine). En 2005, il a publié "The Singularity is Near: When Humans Transcend Biology" (la singularité est proche : quand les humains transcendent la biologie). Ces ouvrages prédisaient l'arrivée de l'AGI avant 2030.
Kurzweil est convaincu que sa prédiction est réaliste et dans une interview cette année, il a réaffirmé ces propos. Il a déclaré que l'arrivée de l'AGI accélèrera la marche de l'humanité vers la singularité. La singularité est le terme utilisé par l'industrie pour désigner le moment où tous les progrès technologiques, notamment en matière d'IA, conduiront à des machines plus intelligentes que les êtres humains. Voici ce que dit Kurzweil à propos de ces deux évolutions probables :
Le calendrier de Kurzweil pour la singularité est cohérent avec d'autres prédictions, notamment celles du PDG de Softbank, Masayoshi Son, qui prévoit l'avènement de machines superintelligentes d'ici 2047. Mais pour Kurzweil, le processus menant à cette singularité a déjà commencé. « Cela nous amène à doter les ordinateurs d'une intelligence humaine, à les placer dans nos cerveaux, à les connecter au nuage, à élargir notre identité. Aujourd'hui, il ne s'agit pas d'un scénario futur. C'est déjà là, en partie, et cela va s'accélérer », a déclaré le cadre de Google lors de l'une de ses récentes sorties. Alors, l'humanité doit-elle craindre la singularité ?
De nombreux grands noms de la science et de la technologie, comme Stephen Hawking, Elon Musk et même Bill Gates, mettent en garde contre ce type d'avenir. Mais Kurzweil n'est pas de cet avis. En fait, il ne s'inquiète pas particulièrement de la singularité. Il serait plus juste de dire qu'il l'attend avec impatience. Selon Kurzweil, ce que la science-fiction dépeint comme la singularité, à savoir le moment où une seule machine superintelligente asservira l'humanité, n'est que cela : de la fiction. « Ce n'est pas réaliste. Nous n'avons pas une ou deux IA dans le monde. Aujourd'hui, nous en avons des milliards », a déclaré Kurzweil lors d'une récente interview.
Quelques autres prédictions de Ray Kurzweil pour l'avenir de la technologie
Pour Kurzweil, la singularité est une opportunité pour l'humanité de s'améliorer. Il imagine que la technologie qui rendra les IA plus intelligentes donnera également un coup de pouce aux humains. « Ce qui se passe en réalité, c'est que les machines nous propulsent tous. Elles nous rendent plus intelligents. Elles ne sont peut-être pas encore dans notre corps, mais d'ici les années 2030, nous connecterons notre néocortex, la partie de notre cerveau où nous réfléchissons, au cloud », a-t-il déclaré. Le futurologue a fait environ 147 prédictions depuis les années 1990 et revendique aujourd'hui un taux d'exactitude de 86 %. Kurzweil est toutefois controversé.
Malgré ses nombreuses réalisations, Kurzweil reste un personnage controversé. Certains critiques l'accusent d'être trop optimiste quant au potentiel de la technologie, tandis que d'autres s'interrogent sur les implications éthiques de certaines de ses idées. Néanmoins, il est indéniable qu'il a eu un impact significatif sur le domaine de la technologie et du futurisme, et ses idées continueront probablement à façonner notre compréhension du futur pendant des années. Son idée selon laquelle nous pourrons devenir des cyborgs en fusionnant avec la machine est semblable à celle d'Elon Musk, PDG de Neuralink, une société qui fabrique des puces cérébrales.
« Nous allons avoir plus de néocortex, nous allons être plus drôles, nous allons être meilleurs en musique. Nous serons plus sexy. Nous allons vraiment illustrer toutes les choses que nous apprécions chez les humains à un degré plus élevé », a-t-il déclaré. À ceux qui considèrent que cette société cybernétique relève plus du fantasme que de l'avenir, Kurzweil fait remarquer qu'il existe aujourd'hui des personnes vivant avec une sorte d'ordinateur dans le cerveau. Kurzweil fait notamment référence aux patients atteints de la maladie de Parkinson. Selon le futurologue, c'est ainsi que la cybernétique commence à peine à s'implanter, et finira par s'imposer.
Et comme il est dans la nature de la technologie de s'améliorer, Kurzweil prédit qu'au cours des années 2030, une technologie sera inventée pour pénétrer le cerveau et aider la mémoire. Ainsi, au lieu de la vision de la singularité où les machines s'emparent du monde, Kurzweil pense qu'il s'agira d'un avenir où la synthèse homme-machine sera inégalée. Voici ci-dessous, d'autres prédictions audacieuses faites par Kurzweil au fil des années :
Nanotechnologie et médecine
Kurzweil a prédit des avancées majeures dans le domaine des nanotechnologies et de la médecine. Il pense que les nanorobots, de minuscules machines qui peuvent être programmées pour exécuter des fonctions précises dans le corps humain, vont bientôt révolutionner la médecine. Ces nanorobots pourraient réparer les cellules endommagées, guérir les maladies et même améliorer les capacités humaines.
Réalité virtuelle et expériences immersives
Kurzweil a prédit un avenir dans lequel la réalité virtuelle et les expériences immersives joueront un rôle de plus en plus important dans nos vies. Il pense que nous serons bientôt en mesure de vivre des expériences proches de la vie dans des mondes virtuels presque impossibles à distinguer de la réalité, ce qui nous permettra d'explorer de nouveaux domaines de l'existence et d'entrer en contact avec d'autres personnes de manière nouvelle et profonde.
Solutions énergétiques et environnementales
Enfin, Kurzweil pense que les nouvelles technologies aideront l'humanité à résoudre certains des défis environnementaux les plus urgents, tels que le changement climatique et la pollution. Il imagine un avenir dans lequel nous utiliserons de nouvelles sources d'énergie comme l'énergie solaire et l'énergie éolienne, ainsi que des technologies de recyclage avancées et des pratiques agricoles durables, afin de créer un monde plus durable et plus vivable pour chacun d'entre nous.
Les idées de Ray Kurzweil sont parfois très controversées dans l'industrie
Dans l'industrie, tout le monde n'est pas convaincu par les prédictions du futurologue, et son travail a fait l'objet d'un examen approfondi et de critiques au fil des ans. Certains critiques ont déclaré que les affirmations de Kurzweil sur la loi des rendements accélérés étaient exagérées et que le progrès technologique n'était peut-être pas aussi prévisible ou irrépressible que le suggère Kurzweil. D'autres ont mis en doute la faisabilité de certaines des prédictions les plus farfelues de Kurzweil, comme l'idée d'une singularité technologique. Ils affirment que les machines conscientes pourraient être beaucoup plus difficiles à créer que ne le suggère Kurzweil.
La loi des rendements accélérés (Law of Accelerating Returns), inventée Kurzweil, est un concept qui a suscité beaucoup d'intérêt dans l'industrie. Elle est au cœur de la plupart de ses prédictions concernant l'avenir de la technologie et son impact sur la société. La loi décrit comment la technologie progresse à un rythme exponentiel plutôt que linéaire. Chaque innovation technologique s'appuie sur la précédente dans une boucle de rétroaction d'accélération de la croissance. Ainsi, Kurzweil pense que nous sommes à l'aube d'une singularité technologique, où les machines et les humains fusionneront pour former un nouveau type de superintelligence.
Les critiques affirment également qu'il pourrait y avoir des limites au rythme du progrès technologique. Certains critiques se sont également inquiétés des implications éthiques des travaux de Kurzweil. Ils soulignent que les nouvelles technologies, en particulier celles qui ont le potentiel de créer des machines superintelligentes ou d'interférer avec la biologie humaine, peuvent comporter des risques inhérents et nécessiter une surveillance et une réglementation attentives afin d'éviter des conséquences imprévues. Bien sûr, Kurzweil réfute ces allégations et affirme que ces nouvelles technologies ne pourront qu'être bénéfiques pour l'humanité.
Dans le même temps, l'humanité doit relever les défis et répondre aux préoccupations qui peuvent surgir dans un monde en évolution rapide. Cela peut signifier qu'il faudra veiller à ce que les nouvelles technologies soient développées de manière responsable et éthique, et qu'elles soient accessibles à tous. Selon les experts, cela permettra de créer un avenir à la fois passionnant et durable, qui reflète le meilleur de notre potentiel humain et notre désir de faire du monde un endroit meilleur pour tous.
Et vous ?
Voir aussi
Découvrez toutes les prédictions de 2,778 chercheurs sur le futur de l'IA
Quand arrivera l'intelligence artificielle supérieure AGI, quand les humains seront totalement remplacés par l'IA, la fin du monde par l'IA, découvrez toutes les prédictions de 2,778 chercheurs
Une nouvelle enquête dévoile les prédictions de 2 778 chercheurs sur le futur de l'IA. Parmi les sujets abordés : quand arrivera l'intelligence artificielle supérieure AGI, quand les humains seront totalement remplacés par l'IA, la fin du monde par l'IA, et bien d'autres.
Dans le cadre de la plus grande enquête de ce type, 2 778 chercheurs ayant publié dans des revues d'intelligence artificielle (IA) de premier plan ont été interrogé, en leur demandant leurs prévisions sur le rythme des progrès de l'IA ainsi que sur la nature et l'impact des systèmes d'IA avancés. Les prévisions globales indiquent qu'il y a au moins 50 % de chances que les systèmes d'IA atteignent plusieurs étapes importantes d'ici 2028, notamment la construction autonome d'un site de traitement des paiements à partir de zéro, la création d'une chanson indiscernable d'une nouvelle chanson d'un musicien populaire, et le téléchargement autonome et l'ajustement d'un grand modèle de langage.
Si la science se poursuit sans interruption, la probabilité que les machines autonomes surpassent les humains dans toutes les tâches possibles a été estimée à 10 % d'ici à 2027, et à 50 % d'ici à 2047. Cette dernière estimation est en avance de 13 ans sur celle obtenue dans une enquête similaire menée seulement un an plus tôt [Grace et al., 2022]. Toutefois, la probabilité que toutes les professions humaines deviennent entièrement automatisables devrait atteindre 10 % en 2037 et 50 % en 2116 (contre 2164 dans l'enquête de 2022).
La plupart des répondants ont exprimé une grande incertitude quant à la valeur à long terme des progrès de l'IA : Si 68,3 % d'entre eux estiment que les résultats positifs de l'IA surhumaine sont plus probables que les résultats négatifs, 48 % de ces optimistes nets donnent au moins 5 % de chances à des résultats extrêmement négatifs tels que l'extinction de l'humanité, et 59 % des pessimistes nets donnent 5 % ou plus de chances à des résultats extrêmement positifs. Entre 37,8 % et 51,4 % des personnes interrogées ont donné au moins 10 % de chances à l'IA avancée d'aboutir à des résultats aussi mauvais que l'extinction de l'humanité.
Plus de la moitié des personnes interrogées ont estimé qu'il y avait lieu de s'inquiéter "fortement" ou "extrêmement" de six scénarios différents liés à l'IA, notamment la diffusion de fausses informations, le contrôle autoritaire de la population et l'aggravation des inégalités. Les avis divergent sur la question de savoir si une progression plus rapide ou plus lente de l'IA serait meilleure pour l'avenir de l'humanité. Toutefois, un large consensus s'est dégagé sur la nécessité d'accorder une plus grande priorité à la recherche visant à minimiser les risques potentiels liés aux systèmes d'IA.
Résumé des résultats
Les participants ont exprimé un large éventail d'opinions sur presque toutes les questions : certains des plus grands domaines de consensus concernent l'étendue des possibilités d'avenir. Cette incertitude est frappante, mais plusieurs modèles d'opinion sont particulièrement instructifs.
Alors que l'éventail des opinions sur le temps nécessaire pour que les étapes soient réalisables peut être large, l'enquête de cette année a montré un changement général en faveur d'attentes plus précoces. Au cours des quatorze mois qui se sont écoulés depuis la dernière enquête [Grace et al., 2022], un groupe de participants similaire s'attendait à des performances humaines de 13 à 48 ans plus tôt en moyenne (selon la formulation de la question), et 21 des 32 étapes à court terme sont maintenant attendues plus tôt.
Une autre tendance frappante est l'attribution généralisée de crédit à des résultats extrêmement négatifs de l'IA. Comme en 2022, une majorité de participants considère que l'IA a au moins 5 % de chances de provoquer l'extinction de l'humanité ou une déchéance permanente et grave de l'espèce humaine, et ce résultat est cohérent pour quatre questions différentes, deux étant attribuées à chaque participant. Pour ces mêmes questions, entre 38 % et 51 % des participants ont estimé qu'il y avait au moins 10 % de chances que l'IA avancée entraîne ces conséquences.
En général, les opinions sur les conséquences sociales attendues de l'IA avancée sont très variées, et la plupart des participants accordent une certaine importance aux résultats extrêmement bons et extrêmement mauvais. Si les scénarios optimistes reflètent le potentiel de l'IA à révolutionner divers aspects du travail et de la vie, les prédictions pessimistes - en particulier celles qui impliquent des risques d'extinction - rappellent brutalement les enjeux importants liés au développement et au déploiement de l'IA.
Des inquiétudes ont été exprimées sur de nombreux sujets allant au-delà de l'extinction de l'homme : plus de la moitié des onze scénarios d'IA potentiellement préoccupants ont été jugés "substantiellement" ou "extrêmement" préoccupants par plus de la moitié des répondants.
Mises en garde et limites : Les prévisions sont difficiles, même pour les experts
Les prévisions sont difficiles en général, et on a observé que les experts en la matière n'obtenaient pas de bons résultats [Tetlock, 2005, Savage et al., 2021]. L'expertise des participants de cette enquête porte sur l'IA et ils n'ont pas de compétences inhabituelles en matière de prévision en général.
Cette recherche et les enquêtes précédentes montrent que ces experts ne sont pas des prévisionnistes précis pour l'ensemble des questions posées. D'une part, pour de nombreuses questions, différents répondants donnent des réponses très différentes, ce qui limite le nombre d'entre eux qui peuvent être proches de la vérité. Néanmoins, dans d'autres contextes, les moyennes d'un large ensemble de prédictions bruyantes peuvent encore être relativement précises [Surowiecki, 2004], de sorte qu'il reste à savoir dans quelle mesure ces prévisions agrégées sont informatives.
L'observation d'importants effets de cadrage est un autre élément de preuve qui va à l'encontre de l'exactitude des prévisions. Si des changements apparemment insignifiants dans la formulation des questions entraînent des changements importants dans les réponses, cela suggère que même les réponses globales à une question donnée ne constituent pas un guide précis de la réponse. Dans un exemple extrême d'une étude étroitement liée, Karger et al [2023] ont constaté que les diplômés de l'enseignement supérieur donnaient des réponses de près de six ordres de grandeur différents lorsqu'on leur demandait d'estimer l'ampleur des risques existentiels liés à l'IA : lorsqu'on leur donnait des exemples de probabilités d'événements peu probables, les estimations étaient beaucoup plus faibles. Un effet similaire pourrait s'appliquer à une certaine échelle aux participants de cette étude, bien que leur expertise et leur formation quantitative puissent l'atténuer. Les participants qui avaient davantage réfléchi par le passé aux risques de l'IA semblent donner des chiffres plus élevés, ce qui suggère qu'il est peu probable qu'ils donnent des chiffres radicalement inférieurs avec d'autres exemples de risques.
Malgré ces limites, les chercheurs en IA sont bien placés pour contribuer à la précision des hypothèses collectives sur l'avenir. Même si elles ne sont pas fiables, les suppositions éclairées sont ce à quoi on doit se fier, et elles s'appuient sur une expertise dans le domaine concerné. Ces prévisions devraient faire partie d'un ensemble plus large de preuves provenant de sources telles que les tendances du matériel informatique, les progrès des capacités de l'IA, les analyses économiques et les idées des experts en prévision. Toutefois, la familiarité des chercheurs en IA avec la technologie concernée et leur expérience de la dynamique de ses progrès font d'eux les mieux placés pour formuler des hypothèses éclairées et informatives.
Participation
L'enquête a été suivie par 15 % des personnes contactées. Ce chiffre semble se situer dans la fourchette habituelle pour une grande enquête auprès d'experts. D'après une analyse de Hamilton [2003], le taux de réponse médian pour 199 enquêtes était de 26 %, et les listes d'invitation plus importantes ont tendance à produire des taux de réponse plus faibles : les enquêtes envoyées à plus de 20 000 personnes, comme cette enqupete, devraient avoir un taux de réponse de l'ordre de 10 %. Dans les échantillons spécialisés, tels que les scientifiques, les taux de réponse plus faibles sont fréquents en raison des difficultés d'échantillonnage, comme le montre l'enquête Assessing Fundamental Attitudes of Life Scientists as a Basis for Biosecurity Education [2009], qui a obtenu un taux de réponse de 15,7 % dans le cadre d'une enquête menée auprès de spécialistes des sciences de la vie.
Comme pour toute enquête, ces résultats pourraient être faussés par un biais de participation, si les participants avaient des opinions systématiquement différentes de celles des personnes qui ont choisi de ne pas participer. Les enquêteurs ont cherchés à minimiser cet effet en cherchant à maximiser le taux de réponse et en limitant les indices sur le contenu de l'enquête disponibles avant de choisir de participer à l'enquête. Ils ont cherché des preuves d'un biais de réponse significatif au niveau de l'enquête et au niveau des questions, et ils n'en ont pas trouvé.
Source : "Thousands of AI Authors on the Future of AI"
Et vous ?
Voir aussi :
Publication de communiqués de presse en informatique. Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités
le deep learning n'a pas de représentation du monde
Le deep Learning n'a pas de représentation du Monde. Donc il ne peut pas simuler, pas mettre en place de stratégie pour simuler une experience, en tirer des règles, avoir un moteur de règles internes . Donc c'est de l'hype pour des chercheurs qui ont besoin de Publish or perish .
Il manque le sens commun pour apprécier des situations.
Ce sont des "chercheurs" ou des madames Irma qui lisent votre avenir dans les lignes des mains et dans le marc de café...découvrez toutes les prédictions de 2,778 chercheurs
Je pense qu'il est nécessaire ici de rappeler une citation du Général De Gaulle: "Des chercheurs qui cherchent, on en trouve... Des chercheurs qui trouvent, on en cherche!"
S'ils sont autant c'est sût qu'ils ont raison
Par contre ils auraient pu faire un effort pour trouver deux guignols pour tomber sur un chiffre rond, à moins que les deux en question se soient retiré au dernier moment pour ne pas signer ce truc.
Ok d'habitude on parle d'article, d'étude, de pré-étude mais là on est passé au stade le plus bas : une enquête.
Ce terme existe-t-il même dans le domaine de la recherche?
Bref niveau de fiabilité de l'info nul.
Mais ce qui est incroyable est que l'on compare les prédictions de cette année à celles de la précédente, pour des projections qui n'atteignent 50% de probabilité qu'après la mort de tous les lecteurs actuels du forum.
Bref je donne autant de crédit à cette enquête qu'à James Cameron qui nous avait pourtant prévenu du risque avec son grand reportage d'anticipation qu'est Terminator...
Donc notre seule utilité dans notre société est intellectuelle ou physique?
Donc notre seule utilité à la société est productive?
Nous vivons vraiment pour être frais et dispo pour travailler de façon efficace de 9h à 19h? En sommes nous arrivé à ce point où le monde en dehors du capitalisme est inenvisageable?
Je vais être un peu plus cynique en disant que je suis relativement persuadé qu'il a existé des sociétés où un élite prônait l'amour et le partage mais qui garantissait le maintien de ses privilèges et de sa logique en définissant tous les autres comme des animaux (qui ne sont donc pas concernés par l'amour et avec qui il n'est pas nécessaire de partager)
Le seul frein temporaire à une transformation rapide de la société à cause des intelligences artificielles sera le conservatisme.
Bref, la seule utilité d'un être humain pour la société sera purement intellectuelle dans le futur, la force physique n'étant plus nécessaire. Les gens pourront et devront faire des années d'études et de recherche pointues pour être utile.
Si cette planète sera gouvernée par le capitalisme et des gens égoïstes, une grande partie de la population souffrira. Il n'y aura de place et de mérite que pour les riches et les intellectuels.
Par contre si c'est l'amour et le partage qui prévaut, alors cette planète pourra être un petit paradis où il n'est demandé à personne de travailler dur pour vivre, vous aurez le choix de vous vaquer aux occupations que vous voudrez, et on ne vous demandera pas grand chose en échange voir rien.
et qui va faire tourner les hôpitaux et les centrales nucléaires ? il faudra bien toujours des médecins et des ingénieurs nucléaires qui devons faire des gardes la nuits.
hors tous le monde ne peux pas intellectuellement devenir médecin ou ingénieurs nucléaires. Au moins 50% de la population en sont incapable.
donc avec ta logique, certains vont devoir travailler dur pour que d'autres ceux qui font des boulots remplacer par l'ia et/ou avec peu de valeur ajouté puissent vaquer aux occupations.
Hors ca ne marchera pas, car je vais pas faire des études de médecines et travailler dur sans contre partie.
et on pourra pas tous vaquer aux occupations que l'on souhaite par rapport à l'outil de production qui lui est limité et l'extraction des ressources qui est aussi limité.
on va plutôt avoir ceux qui font pas des métiers utile remplacer par l'ia et mis au rsa dans le meilleurs des cas (dans le pire des cas 0 revenus et vivront dehors dans des ghettos) et ceux qui bosseront encore avec un bon salaire.
on retrouve ce genre de civilisation au Bresil par exemple. Une minorité de haut cadre/médecin dans des hôtels 5 étoiles fortifié encerclé par des millions de favelas.
Heu... ou bien quelques soucis d'énergie/matières premières.Le seul frein temporaire à une transformation rapide de la société à cause des intelligences artificielles sera le conservatisme.
Grosso modo, l'être humain est présent sur Terre depuis 150 000 ans dont 4 000 sous forme de civilisations ayant laissé des traces historiques (des écrits qui décrivent l'histoire et l'organisation de leur société).
A quel moment, est-ce que l'humain a fait dans "l'amour et le partage"? JAMAIS!!!!!!!!!!!!!!!!!!!!!!!!!
L'histoire de l'humanité n'est qu'une succession de massacres, de guerres, de prises de pouvoir, de vols de terres et autres ressources!
Votre théorie est valable pour le monde tout rose de Barbie mais ne correspond en rien à la réalité du monde!
je corrige les dates:
on a des traces historiques plus anciennes, la ville Jéricho par exemple qui date de -9000
et homosapiens a plutôt 300000ans que 150000.
mais vu que tu dis etre humain, ca peut remonter à plus loin, jusqu'a , Homo habilis si on va a l'extreme (1.5 millions d'années)
Espérons seulement que les réponses de ces 2778 éminents chercheurs ne sont pas issue de questions posées...à ChatGPT !
Le PDG d'OpenAI affirme que l'IA de niveau humain ne changera pas le monde autant que nous le pensons
Le PDG d'OpenAI, Sam Altman, affirme que l'IA de niveau humain est imminente, mais qu'elle ne changera pas le monde autant que nous le pensons, et que les craintes autour de l'AGI sont exagérées
Le PDG d'OpenAI, Sam Altman, estime que les craintes que l'intelligence artificielle devienne un jour si puissante qu'elle remodèle et perturbe radicalement le monde sont exagérées.
"Elle changera le monde beaucoup moins que nous ne le pensons tous et elle changera les emplois beaucoup moins que nous ne le pensons tous", a déclaré M. Altman lors d'une conversation organisée par Bloomberg dans le cadre du Forum économique mondial de Davos, en Suisse.
M. Altman faisait spécifiquement référence à l'intelligence artificielle générale (AGI), un terme utilisé pour désigner une forme d'IA capable d'accomplir des tâches au même niveau que les humains, ou un cran au-dessus.
Il a déclaré que l'AGI pourrait être développée dans un "avenir raisonnablement proche".
M. Altman, dont l'entreprise a fait irruption dans la vie publique après le lancement public du chatbot ChatGPT à la fin de 2022, a tenté de tempérer les inquiétudes des sceptiques de l'IA quant à la mesure dans laquelle la technologie s'emparera de la société.
Avant l'introduction du modèle GPT-4 d'OpenAI en mars, M. Altman a mis en garde les technologues contre une surexcitation de son potentiel, affirmant que les gens seraient probablement "déçus" par cette technologie.
"Les gens ne demandent qu'à être déçus et ils le seront", a déclaré M. Altman lors d'une interview accordée en janvier à StrictlyVC. "Nous n'avons pas de véritable [intelligence artificielle générale] et c'est en quelque sorte ce que l'on attend de nous."
Fondée en 2015, la mission déclarée d'OpenAI est de parvenir à l'AGI. L'entreprise, qui est soutenue par Microsoft et dont la valorisation sur le marché privé approche les 100 milliards de dollars, affirme vouloir concevoir la technologie en toute sécurité.
Après la victoire de Donald Trump au caucus républicain de l'Iowa lundi, il a été demandé à M. Altman si l'IA pourrait exacerber les inégalités économiques et conduire à la dislocation de la classe ouvrière alors que les élections présidentielles prennent de l'ampleur.
"Oui, bien sûr, je pense qu'il faut y réfléchir", a répondu M. Altman. Mais il a ajouté plus tard : "C'est un outil beaucoup plus important que ce à quoi je m'attendais".
M. Altman a déclaré que l'IA ne remplaçait pas encore les emplois à l'échelle que de nombreux économistes craignent, et a ajouté que la technologie était déjà en train de devenir un "outil incroyable pour la productivité".
Les inquiétudes concernant la sécurité de l'IA et le rôle d'OpenAI dans sa protection ont été au cœur de la brève éviction de M. Altman de la société en novembre, après que le conseil d'administration a déclaré qu'il avait perdu confiance en son dirigeant. M. Altman a été rapidement rétabli dans ses fonctions de PDG à la suite d'une vive réaction des employés et des investisseurs d'OpenAI. À son retour, Microsoft a obtenu un siège d'observateur sans droit de vote au conseil d'administration d'OpenAI.
Et vous ?
Voir aussi :
Contribuez au club : corrections, suggestions, critiques, ... Contactez le service news et Rédigez des actualités
Répondre avec citation
Partager