Discussion :

[Matthieu Vergne]

Une question : quelle différence essentielle entre les modes d’apprentissage ?

- mono modale pour les LLM (corpus documentaire)
- multimodale pour les animaux et humains (5 sens)

La différence essentielle est ce que tu as mis entre parenthèse : "mono" pour unique, "multi" pour multiple. Monomodal ne couvre qu'un seul mode à la fois (texte, image, son), multimodal en couvre plusieurs (texte+image, texte+son, texte+image+son). Cela peut-être fait soit en combinant plusieurs systèmes monomodaux soit en entraînant un modèle directement avec plusieurs modes pour qu'il soit intrinsèquement multimodal.

Je veux bien, mais comme l'intelligence, la conscience, ... ce sont des notions que nous ne savons pas ce qu'elles sont. Mais une machine qui a de l'instinct, je ne sais pas ce que cela veut dire. L'instinct est quelque chose d'innée, non apprise. Je pense que faire des analogies avec l'homme est un non sens.

Effectivement, le terme plus approprié pourrait être "inconscient" ou "subconscient". Toutes ces décisions prises dans le cerveau sans qu'on en ait conscience, comme respirer, faire battre le coeur, etc.

[floyer]

Oui, l’apprentissage multimodale est « un peu » une spécificité animale (quoique, on embauche pas mal de gens du tiers monde pour catégoriser des images). Cela peut faire un handicap des IA, mais pas forcément au point d’empêcher une AGI.

Il y a plein d’épreuves qui permettront de qualifier une AGI où l’absence de compréhension multimodale n’est pas un critère :
- proposer une démonstration du grand théorème de Fermat très différente de celle de Wiles,
- corriger Linux et en faire un OS certifiable EAL7
Je sais, c’est franchement ambitieux, mais cela évite l’exercice d’une pseudo intelligence qui copierait.

Plus accessible : modéliser des polyèdres en Ada et proposer une fonction qui calcule l’intersection… bien plus accessible, mais on n’y est pas encore ! (C’est même un échec sur la simple modélisation des polyèdre).


Pour l’instinct, il est question pour moi d’un calcul sans raisonnement approfondi. Ce qui nous fait dire « j’ai pris » plutôt que « j’ai prendre » sans rechercher les règles de grammaire explicitement, c’est typiquement ce que font les LLM. Une AGI nécessite d’aller bien au delà.

[Anthony]

Le cofondateur d'OpenAI et inventeur du vibe-coding, Andrej Karpathy, affirme qu'il faudra une décennie avant que les agents IA ne fonctionnent réellement, et que l'AGI est encore à une décennie de nous

Andrej Karpathy, éminent chercheur en intelligence artificielle (IA) et cofondateur d'OpenAI, a revu son calendrier pour la réalisation de l'intelligence artificielle générale (AGI), estimant qu'il faudra au moins une décennie supplémentaire pour que les systèmes d'IA atteignent des capacités cognitives équivalentes à celles des humains. Dans un podcast récent, le chercheur a souligné les défis liés au développement d'une IA dotée de capacités d'apprentissage continu, un obstacle majeur dans la quête de l'AGI. Malgré les progrès impressionnants des agents IA actuels, il reste néanmoins prudent, soulignant que le domaine est encore loin de réaliser le potentiel de la technologie.

Andrej Karpathy a travaillé pour des entreprises technologiques de renom telles que Tesla et OpenAI, mais ses racines sont dans l'enseignement. Jusqu'en 2015, il a enseigné l'apprentissage profond pour la vision par ordinateur à l'université de Stanford aux États-Unis. Plus tard, il est devenu membre fondateur d'OpenAI, mais a quitté l'organisation à but non lucratif après deux ans pour diriger le département IA de Tesla. Pendant son mandat chez le constructeur de voitures autonomes, Karpathy a dirigé l'équipe chargée de développer la vision par ordinateur pour Tesla Autopilot. En 2022, il est revenu chez OpenAI et a travaillé au développement du successeur de ChatGPT, GPT-4, mais son deuxième mandat a pris fin en février 2024. Âgé de 37 ans, il a depuis lancé une série de conférences en ligne qui enseigne aux étudiants comment construire des réseaux neuronaux à partir de zéro.

Andrej Karpathy a récemment révisé son calendrier pour le développement de l'AGI, alors même que les investisseurs et autres parties prenantes s'inquiètent de voir le boom de l'IA se transformer en bulle spéculative.

Les réserves du cofondateur d'OpenAI rejoignent celles de plusieurs figures majeures du domaine, dont Yann LeCun, qui estime que l'AGI n'est pas encore à portée de main et que les grands modèles de langage (LLM) actuels sont structurellement incapables d’atteindre une intelligence comparable à celle des humains. Selon le responsable de l'IA chez Meta, l'incapacité des modèles d'IA actuels à apprendre de manière autonome et à comprendre le contexte de manière approfondie constitue un obstacle majeur à l'émergence d'une véritable AGI.

L'ancien cadre de Tesla a déclaré qu'il faudrait au moins dix ans supplémentaires pour qu'une entreprise ou un laboratoire de recherche spécialisé dans l'IA parvienne à développer l'AGI, un niveau d'intelligence hypothétique qui permettrait à un système d'IA d'effectuer des tâches complexes à un niveau équivalent ou supérieur à celui des humains. L'une des raisons de cette attente de dix ans est que personne n'a encore réussi à développer un système d'IA capable d'apprendre en continu.

« Ils ne sont pas capables d'apprendre de manière continue. On ne peut pas simplement leur dire quelque chose et espérer qu'ils s'en souviennent. Ils ont des lacunes cognitives et cela ne fonctionne tout simplement pas. Il faudra environ une décennie pour résoudre tous ces problèmes », a déclaré Andrej Karpathy lors d'une récente apparition dans un podcast animé par Dwarkesh Patel.

Le fondateur d'Eureka Labs a également révélé qu'il avait lui-même succombé à l'engouement autour de l'IA générative, en particulier à l'idée que 2025 serait l'année des agents IA. « Je ne sais pas exactement qui a dit cela, mais ils faisaient allusion au fait que cette année serait celle des agents en ce qui concerne les LLM et leur évolution. Cela m'a interpellé, car il y a une certaine surestimation dans le secteur. À mon avis, il serait plus juste de parler de la décennie des agents », a-t-il déclaré.

Tout en reconnaissant que les agents IA actuels tels que Claude et Codex étaient « extrêmement impressionnants », Andrej Karpathy a déclaré qu'il restait encore beaucoup à faire.

« Par exemple, vous travaillez avec certains employés ici. Quand préféreriez-vous qu'un agent comme Claude ou Codex fasse ce travail ? », a-t-il demandé. « Actuellement, bien sûr, ils ne le peuvent pas. Que faudrait-il pour qu'ils puissent le faire ? Pourquoi ne le faites-vous pas aujourd'hui ? La raison pour laquelle vous ne le faites pas aujourd'hui, c'est parce qu'ils ne fonctionnent tout simplement pas. Ils ne sont pas assez intelligents, ils ne sont pas assez multimodaux, ils ne savent pas utiliser un ordinateur et tout le reste », a ajouté Andrej Karpathy.

Cependant, l'expert en IA/ML a insisté sur le fait que ses prévisions concernant l'AGI étaient en réalité optimistes. « Je pense que dans l'ensemble, un délai de 10 ans devrait être très optimiste pour l'AGI, mais c'est seulement par rapport à l'engouement actuel que cela ne semble pas être le cas », a déclaré Andrej Karpathy dans un message publié sur X.

Selon Andrej Karpathy et d'autres experts, les LLM actuels ne mèneront pas à l'AGI, mais celle-ci ne pourra émerger que si l’IA s’ancre dans le monde physique. Certains chercheurs, notamment chez Meta, défendent en effet l’hypothèse de l’IA incarnée, c'est-à-dire une intelligence dotée d’un corps physique ou des robots dotés d'une IA capable d’explorer et d’apprendre du monde réel. Cette approche suppose qu'un système apprenne par interaction sensorimotrice, en sentant et en se déplaçant dans un environnement physique, à l'image d'un bébé qui découvre le monde qui l'entoure. Bien que séduisante, cette hypothèse divise toutefois les chercheurs.

Source : Andrej Karpathy dans un podcast animé par Dwarkesh Patel

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous que les prévisions d'Andrej Karpathy sont crédibles ou pertinentes ?

Voir aussi :

Google DeepMind estime que l'AGI pourrait arriver d'ici à 2030 et énumère quatre façons dont elle pourrait causer de « graves dommages » à l'humanité, bien que les critiques estiment que l'AGI est une chimère

Le PDG de Nvidia, Jensen Huang, affirme qu'une percée de l'IA appelée AGI aura lieu d'ici cinq ans, avec des machines "assez compétitives" par rapport à l'homme dans tous les domaines

Un ingénieur en IA d'OpenAI affirme avoir réalisé l'AGI : « Nous avons déjà réalisé l'AGI... ce que nous avons est "meilleur que la plupart des humains pour la plupart des tâches".»

L'intelligence générale artificielle (AGI) dans 3 ans, d'après James Betker, ingénieur chez OpenAI, serait un agent incarné généralement intelligent

[Gigi75]

Les deux composantes essentiels du vivant sont la conscience de soi-même qui est un corollaire de la vie et d'une certaine complexité (deux conditions nécessaires) et l'inventivité qui est aussi un corollaire de la vie et d'une certaine complexité. L'intelligence ne peut éclore qu'avec la conjonction de ces deux composantes. Une machine, même infiniment complexe, même pouvant apprendre en continue et de manière multi-modale n'aura jamais ni véritable conscience d'elle-même, puisque non-vivante, ni inventivité, et donc ne sera jamais "intelligente" au sens du vivant. L'intelligence artificielle est une antinomie. L'intelligence ne peut être qu'une propriété possible, non certaine, du vivant, de la complexité et d'un apprentissage multi-modale basé sur l'expérience du vivant.

[tatayo]

Bonjour,

Les deux composantes essentiels du vivant sont la conscience de soi-même qui est un corollaire de la vie...

Ça me parait un peu réducteur.
Soit une plante a conscience d'elle même, soit elle n'est pas vivante.
Tout comme une bactérie ou un champignon.

Tatayo.

[Artemus24]

Salut à tous.

Ce n'est pas que c'est réducteur, mais personne ne sait ce qu'est l'intelligence et encore moins la conscience.
Débattre de ce que l'on ignore revient à parler dans le vide.

Une IA ne fait que récupérer des informations, là où elle les trouve, c'est-à-dire sur le net. Elle est incapable de faire un raisonnement complexe de type humain car elle ne possède pas l'intuition et encore moins de l'imagination. Elle peut faire des associations d'idées tout au plus, mais elle ne pourra jamais produire un savoir car elle n'est pas capable de l'expérimenter. Observer, réfléchir puis déduire quelque chose est le propre de l'être intelligent car à la base, il y a un étonnement de la chose observée.

@ Gigi75 : définissez moi ce qu'est la conscience ? Je ne veux pas d'une définition trouvée sur le net, mais de la façon dont vous la percevez.

[Ryu2000]

Elle est incapable de faire un raisonnement complexe de type humain

Pour l'instant
Y'en a qui disent que dans 10 ans ce ne sera peut-être plus le cas.

Il y a énormément d'argent qui est investit dans la recherche et le développement, on ne peut pas savoir quelles avancées technologiques auront lieu.

[gabi7756]

Il y a énormément d'argent qui est investit dans la recherche et le développement, on ne peut pas savoir quelles avancées technologiques auront lieu.

Le cerveau humaine reste et restera pour les prochaines années un mystère.

Donc dupliquer cela d'une quelconque manière que ce soit semble une fiction...


On simule un tant soit peu intelligence humaine pour les non initiés et pof c'est magique, dans 2 semaines on va se faire remplacé par une IA. Mais quand on scrute un peu en profondeur ... Bon voila quoi

[Ryu2000]

Bon voila quoi

Les gens de disent ça à chaque apparition d'une nouvelle technologie.
Souvent ils ont raison, mais parfois pas.

Pour l'instant on se dit que les outils comme Grok sont un peu comme des moteurs de recherche améliorés, mais ça pourrait finir par évoluer.
Il y a quand même beaucoup de monde qui sont convaincus que ça peut devenir plus que ça.
Une bulle économique s'est formé, c'est le signe qu'il y a beaucoup d'investissements dans beaucoup d'entreprises.

Parfois, ceux qui cherchent trouvent quelque chose.

Et même sans l'histoire d'intelligence artificielle générale (IA capable de réaliser toute tâche intellectuelle humaine, avec une compréhension et une adaptabilité similaires à celles d'un humain), les algorithmes du futur pourront faire des choses impressionnantes.

Les sceptiques sont peut-être comme l'industrie musicale avant 2000 (donc avant eDonkey2000) quand quelqu'un leur a dit "Dans le futur les gens arrêteront d'acheter des vinyles, des K7, des CD, ils téléchargeront gratuitement des fichiers .MP3 sur internet en utilisant des logiciels P2P".
Ou alors comme les magasins de location de DVD et VHS quand on leur a dit que dans le futur les gens préférerons payer un abonnement à un service de vidéo en ligne, plutôt que venir louer un DVD.

[floyer]

« Une machine, même infiniment complexe, même pouvant apprendre en continue et de manière multi-modale n'aura jamais ni véritable conscience d'elle-même, puisque non-vivante, ni inventivité, et donc ne sera jamais "intelligente" au sens du vivant. »… l’idée n’est pas de rendre l’IA « intelligente au sens du vivant » dans un sens peu défini, ou défini de façon étrange (beaucoup d’organismes vivants n’ont pas de conscience…)

La bonne approche n’est pas d’inclure le vivant dans la définition (ce qui faciliterait une déduction presque tautologique : l’IA n’est pas intelligente car artificielle), mais de définir des critères, et mesurer l’avancée de l’IA par rapport à ces critères. De plus l’intelligence n’est pas un critère tout ou rien, il y a plusieurs type d’intelligence et pour ces types, plusieurs niveaux. AlphaZero a prouvé son intelligence ludique par une « compréhension » des échecs supérieurs aux humains (rappelons qu’aucun développeur ne lui a dit qu’une reine vaut mieux qu’une tour, et cette dernière mieux qu’un fou…). Avec les LLM, on a droit à des déductions simples comme l’analyse grammaticale d’une phrase (c’est un signe d’intelligence que ne partagerait pas des animaux). On peut décrire une IHM, et l’IA propose le code dans un language de programmation et avec une bibliothèque imposée. La conscience, on n’en n’est pas encore, et il n’est pas sûr que cela ait une utilité pratique. (Un avocat préférait avoir une plaidoirie solide avec une jurisprudence sans hallucination plutôt qu’un « cogito ergo sum » réellement inventé). L’inventivité est peut-être plus accessible. On n’y est pas encore (sauf peut-être avec AlphaZero), mais je ne vois pas en quoi le caractère vivant aiderait, et le caractère artificiel serait un obstacle.

[Mathis Lucas]

« L'IA superintelligente est un fantasme de la Silicon Valley. L'AGI ne se produira jamais en raison des limites du matériel informatique et des coûts exponentiels du calcul »
selon un chercheur de l'Ai2

La Silicon Valley considère la « superintelligente » (ou AGI) comme le Saint-Graal de la course à l'IA. Les entreprises investissent massivement dans les infrastructures destinées au développement et aux charges de travail de l'IA. Mais de plus en plus de scientifiques de renom estiment qu'il s'agit d'une impasse. Le célèbre chercheur Tim Dettmers affirme que « l'AGI ne verra probablement jamais le jour ». Selon lui, les discours optimistes sur l’AGI ignorent des contraintes fondamentales liées à la physique, au matériel informatique et à l’économie du calcul. Il critique le concept même d’AGI et met en garde contre les risques liés à la bulle de l'IA.

Tim Dettmers est professeur adjoint à l'université Carnegie Mellon (CMU) et chercheur scientifique à l'Allen Institute for Artificial Intelligence (Ai2). Il est également le créateurs et le responsable de la bibliothèque Python bitsandbytes. (Bitsandbytes permet l'accès aux grands modèles de langage grâce à la quantification k-bit pour PyTorch.) Dans un récent article de blogue, il a remis en cause un concept à la mode : l'intelligence artificielle générale (AGI).

« La réflexion autour de l'AGI et de la superintelligence n'est pas seulement optimiste, elle est fondamentalement erronée », a écrit Tim Dettmers. Il définit l'AGI comme une intelligence capable de faire tout ce que les humains peuvent faire, y compris des tâches physiques ayant une importance économique.

Selon lui, il existe de nombreux freins à l'atteinte de cet objectif. Toute d'abord, il estime que le problème réside dans le fait que la plupart des discussions autour de l'AGI sont d'ordre philosophique. Mais, en fin de compte, l'AGI doit fonctionner sur quelque chose. Et même si beaucoup aimeraient croire que les GPU continuent de gagner en vitesse et en puissance de calcul, Tim Dettmers prédit que nous approchons rapidement d'un mur : les limites de la loi de Moore.

Tim Dettmers a écrit : « il nous reste peut-être un ou deux ans pour poursuivre notre expansion avant que de nouvelles améliorations ne deviennent physiquement impossibles ». Cet article est un retour brutal à la réalité pour les investisseurs qui injectent des milliards dans l'IA en fantasmant sur les bénéfices records promis. Le PDG d'IBM, Arvind Krishna, ne prévoit aucun retour sur investissement pour les milliards investis dans les centres de données.

La bulle spéculative autour de l'IA ne cesse de gonfler et la panique commence à s'installer dans le rang des gestionnaires de fonds. Ces derniers jugent que les entreprises engagées dans la course à l'IA dépensent trop rapidement et massivement, notamment dans les infrastructures coûteuses comme les centres de données et les puces spécialisées. Et 20 % des gestionnaires de fonds interrogés récemment par Bank of America sont de cet avis.

Le calcul est limité par les lois de la physique

Dans son billet, Tim Dettmers insiste sur le fait que le calcul n’est pas abstrait, mais profondément physique. Toute amélioration des modèles dépend de composants matériels réels, soumis à des limites de distance, d’énergie, de dissipation thermique et de bande passante mémoire. Les architectures actuelles, notamment les Transformers utilisés dans les grands modèles de langage, sont déjà proches de ce que la physique permet d’optimiser efficacement.

Il devient de plus en plus difficile d’obtenir des gains significatifs simplement en améliorant l’architecture ou en ajoutant du matériel. L'infrastructure de l'IA ne progresse plus assez rapidement pour suivre le rythme exponentiel de l'augmentation des ressources nécessaires pour améliorer les modèles de manière linéaire.

« Les GPU ont atteint leur rendement maximal en termes de rapport coût/performance vers 2018. Après cela, nous avons ajouté des fonctionnalités ponctuelles qui s'épuisent rapidement », explique-t-il. La plupart des gains de performances observés au cours des sept dernières années proviennent de facteurs tels que les types de données à faible précision et les cœurs tensoriels : BF16 dans Ampere de Nvidia, FP8 dans Hopper et FP4 dans Blackwell.

Ces améliorations ont permis des progrès considérables en matière de performances. Cependant, si l'on se contente d'examiner la puissance de calcul de ces accélérateurs d'une génération à l'autre, les gains ne sont pas aussi importants que Nvidia et d'autres le laissent entendre. Selon les experts, entre les générations Ampere et Hopper de GPU Nvidia, les performances BF16 ont été multipliées par 3, tandis que la puissance a été multipliée par 1,7.

Parallèlement, entre Hopper et la dernière génération Blackwell de GPU Nvidia, les performances ont été multipliées par 2,5 ; mais cela a nécessité deux fois plus de surface de puce et 1,7 fois plus de puissance. Si Tim Dettmers affirme que les GPU individuels atteignent rapidement leurs limites, le chercheur soutient également que les progrès réalisés dans la manière dont nous les assemblons nous permettront de gagner quelques années tout au plus.

Le coût du progrès devient « exponentiel »

Tim Dettmers explique que les progrès récents de l’IA donnent une illusion de croissance continue, alors qu’en réalité chaque amélioration marginale exige des ressources bien plus importantes que la précédente. Autrement dit, maintenir un rythme de progrès similaire nécessite une augmentation exponentielle des coûts en calcul, en énergie et en infrastructure. Cette dynamique rend irréaliste l’idée d’une progression illimitée vers une intelligence générale.

Selon un rapport de The Information, OpenAI et Microsoft définissent l'AGI comme « un système d'IA pouvant générer jusqu'à 100 milliards de dollars de bénéfices », ce qui semble totalement éloigné de toute référence scientifique. Le rapport cite un document de 2023 émanant des deux entreprises. Il suggère que l'AGI, telle que beaucoup l'imaginent, est un objectif irréaliste et révèle surtout qu'OpenAI est aujourd'hui plus intéressé par les profits.

Je crois aux lois d'échelle et je pense que la mise à l'échelle améliorera les performances. Les modèles tels que Gemini sont clairement de bons modèles. Le problème avec la mise à l'échelle est le suivant : pour les améliorations linéaires, nous avions auparavant une croissance exponentielle des GPU qui annulait les besoins exponentiels en ressources liés à la mise à l'échelle.

Ce n'est plus le cas aujourd'hui. En d'autres termes, auparavant, nous investissions des coûts à peu près linéaires pour obtenir un rendement linéaire, mais aujourd'hui, les coûts sont devenus exponentiels. Cela ne serait pas un problème en soi, mais cela impose une limite physique claire à la mise à l'échelle, qui approche à grands pas.

Il nous reste peut-être un ou deux ans pour la mise à l'échelle, car toute amélioration supplémentaire devient physiquement irréalisable. Les améliorations en matière de mise à l'échelle en 2025 n'ont pas été impressionnantes. La mise à l'échelle en 2026 et 2027 devrait donner de meilleurs résultats.

Le chercheur ne pense pas que les centaines de milliards de dollars investis aujourd'hui dans les infrastructures d'IA soient déraisonnables. La croissance de l'utilisation de l'inférence justifierait cet investissement. Il note toutefois que si les améliorations des modèles ne suivent pas, ce matériel pourrait devenir un handicap.

Pourtant, plutôt que de se concentrer sur la création de formes d'IA utiles et économiquement rentables, les laboratoires américains spécialisés dans l'IA restent convaincus que celui qui créera le premier une AGI remportera la course à l'armement dans le domaine de l'IA. Tim Dettmers estime qu'il s'agit là d'une vision à court terme. Selon d'autres critiques, l'AGI n'est pas à portée de main et les grands modèles de langage ne sont pas la solution.

Les limites du scaling (ou mise à l'échelle)

L’augmentation de la taille des modèles et des jeux de données destinés à l'entraînement de l'IA a été un moteur clé des performances récentes. Mais Tim Dettmers affirme que cette stratégie atteint ses limites. Sans avancées matérielles majeures, la mise à l'échelle devient économiquement et énergétiquement insoutenable. Les améliorations obtenues par l’augmentation de la taille des modèles risquent donc de ralentir fortement, voire de stagner.

Une critique à l'égard du concept même d’AGI

L'AGI est un sujet quelque peu controversé dans le domaine de l'IA, les critiques suggérant qu'il ne s'agit que d'une chimère. « L'AGI est un mensonge. L'intelligence artificielle générale n'existe pas », a déclaré Dana Blankenhorn, journaliste technologique. Il estime que la surmédiatisation de l'AGI est liée aux visées politiques de certains acteurs importants du secteur de l'IA et à leurs tentatives visant à contrôler entièrement le développement de la technologie.

Tim Dettmers remet aussi en question la définition de l’AGI. Pour lui, une véritable AGI devrait être capable d’interagir physiquement avec le monde, ce qui implique des robots avancés, fiables et économiquement viables. Or, la robotique progresse lentement et reste très coûteuse. L’idée d’une superintelligence capable de s’autoaméliorer rapidement est, selon lui, une abstraction qui néglige complètement les contraintes physiques et économiques réelles.

« Une véritable AGI, capable de faire tout ce que font les humains, devrait être capable d'effectuer des tâches physiques. Les données du monde physique sont tout simplement trop coûteuses à collecter, et le monde physique est trop complexe dans ses détails », écrit Tim Dettmers. Selon lui, poursuivre un rêve n'apporte guère de gains économiques productifs, « ce que la Chine a déjà compris ». La Silicon Valley quant à elle poursuivrait une « chimère ».

L'accent mis par l'Empire du Milieu sur les applications de l'IA dont nous disposons aujourd'hui est une approche beaucoup plus pragmatique et plus viable à long terme. « La valeur essentielle de l'IA réside dans son utilité et dans l'augmentation de la productivité qu'elle permet. Les prédictions concernant l'AGI persistent non pas parce qu'elles sont fondées, mais parce qu'elles constituent un récit convaincant », écrit Tim Dettmers dans son article.

Conclusion : une autre vision de l’avenir de l’IA

Les prédictions autour de l’AGI sont aujourd’hui profondément divisées entre enthousiasme et scepticisme mesuré. D’un côté, des figures comme Sam Altman, Elon Musk ou Mark Zuckerberg annoncent une AGI d’ici quelques années en s’appuyant sur la puissance croissante des modèles et des investissements toujours massifs. De l’autre, des voix plus techniques comme Yann LeCun rappellent une réalité plus brute : l'AGI n'est pas à portée de main.

« Les modèles actuels, aussi impressionnants soient-ils, n’apprennent pas comme les humains. Ils ne comprennent pas, n’apprennent pas par expérience, ne généralisent pas bien. Et tant qu’ils n’auront pas surmonté ce goulot d’étranglement de l’apprentissage continu, l’AGI restera un objectif, pas un fait ».

Tim Dettmers estime que l’avenir de l’IA ne se trouve pas dans la quête d’une AGI mythique, mais dans le développement d’outils spécialisés, utiles et largement diffusés dans l’économie. Plutôt que de viser une intelligence universelle, l’IA devrait se concentrer sur des applications concrètes qui augmentent la productivité humaine dans des contextes bien définis. Il cite l'exemple de la Chine qui se concentre davantage sur les applications d'IA utiles.

Source : billet de blogue

Et vous ?

Quel est votre avis sur le sujet ?
Tim Dettmers affirme que l'AGI est un fantasme. Qu'en pensez-vous ?
Selon vous, l'AGI est-il un objectif atteignable pour l'industrie technologique ? Pourquoi ?

Voir aussi

L'adoption de l'intelligence artificielle progresse plus vite que toutes les révolutions technologiques que nous avons connues. L'IA redéfinit nos vies plus vite qu'Internet ou le mobile selon un rapport

« L'AGI n'est pas à portée de main. L'incapacité des modèles d'IA actuels à apprendre de façon autonome et continue, comme les humains, freine leur évolution vers une superintelligence », selon un critique

PDG d'IBM : « il est impossible que les milliards injectés dans les centres de données IA soient rentables à cause des coûts actuels des infrastructures ». Il ajoute que l'AGI n'est pas à portée de main

[Ryu2000]

Quel est votre avis sur le sujet ?

Même sans atteindre l'intelligence générale artificielle, il y a moyen qu'une ou deux entreprises qui font de l'IA deviennent bénéficiaire. (probablement pas OpenAI)
- Les gens seront prêt à payer pour utiliser ce service.
- Des optimisations et des progrès technologiques auront lieu donc les requêtes consommeront moins d'énergie.

Avec moins de dépense et plus de recette, il y a moyen que ça finisse en bénéfice.
Il va falloir perdre des milliards pendant des années avant d'y arriver, mais...

[Invité]

Comme faire des datacenters dans l'espace ?

[Artaeus]

J'ai tellement entendu les "ça ne sera jamais possible" ou "c'est impossible" ... Et maintenant, on a pourtant des IA très utiles qu'on aurait jamais imaginé il y a 10 ans !
Je ne serais pas surpris d'une percée ou d'une avancé scientifique majeure permettant de booster la capacité des IA, tout en diminuant les couts énergétiques.

Le progrès technologique avance et c'est une très bonne chose.

[floyer]

Avec les approches classiques, oui, on peut avoir un mur, mais les chinois ont dans leurs labo une puce IA analogique qui réduirait le coût énergétique de 100. Cela reste à voir. Wait&see.

Après, il faut voir ce que l’on entend par comprendre… les LLM semblent avoir compris ce qu’est un verbe sujet complément, vu qu’ils font une analyse grammaticale de toutes phrases dans un langage où ils ont été exposés. (Même si à la base c’est des calculs de probabilités, le comportement émergeant ne peut être nié… et notre cerveau calcule à sa manière avec des synapses en guise de transistor).

Pour l’AGI, oui on en est loin. Il y a des progrès (HRM, TRM…), mais l’absence de mémorisation continu risque d’être un problème difficile à surmonter. Des domaines risquent d’être peu rentable à développer. Mais cela ne retire rien à l’avantage économique. Imaginons qu’un jour, une IA génère du code certifié EAL7…

[Gluups]

Je ne serais pas surpris d'une percée ou d'une avancé scientifique majeure permettant de booster la capacité des IA, tout en diminuant les couts énergétiques.

Bon d'accord mais alors qu'est-ce qu'on fait ?

[Invité]

Une seule issue : la puce quantique. Mais là, on fait déjà des capteurs équipés de puces quantiques (Thales), mais pour le QPU, il va falloir attendre encore quelques années. Quandela a déjà livré ses premiers ordinateurs quantiques. Au début ils étaient très techniques mais, récemment, ils l'ont rendu transparent pour l'utilisateur donc le codeur. source Pascale Senellart au Collège de France.

edit : le lien de l'entretien source

[Jon Shannow]

Le progrès technologique avance et c'est une très bonne chose.

En théorie, et à une époque hélas révolue, j'aurais été entièrement d'accord. Aujourd'hui, je ne suis pas sûr que ce soit une bonne chose...

[OuftiBoy]

,

En théorie, et à une époque hélas révolue, j'aurais été entièrement d'accord. Aujourd'hui, je ne suis pas sûr que ce soit une bonne chose...

Il y a deux vieux adages qui sont toujours valable de nos jours...

1. On arrête pas le progrès.
2. Le progrès ne vaut que s'il est partager par tous.

Le 1 est inévitable, c'est dans la nature humaine, de comprendre ce qui lui échappe, d'explorer.
C'est le 2 qui pose soucis, car le "progrès" n'est pas "partager" véritablement, ni même son utilisation ni le bénéfice qu'on peut en retirer.

Parfois, avec le temps, ça se diffuse, mais il faut souvent bien trop de temps...

C'était ma petite réflexion du jour

BàV et Peace & Love.

[Gluups]

Une seule issue : la puce quantique.

Mais je doute, à la fois que ça nous débarrasse une bonne fois de l'IA, et que ça nous décide à vivre avec.
Rappelle-toi, il y a deux ans (à la grosse louche), nos chers députés étaient en pleine discussion sur nos retraites, et au moment précis où les responsables de l'IA étaient en train de nous expliquer que les salaires il fallait bien en profiter parce que d'ici quelques années ça n'allait plus exister, ce qu'ils ont trouvé de plus adapté à dire était que les retraites devaient être financées par les salaires.

Alors, quand est-ce qu'on se met à jour, si ce n'est pas à ce moment-là ?