Discussion :

[Matthieu Vergne]

Une question : quelle différence essentielle entre les modes d’apprentissage ?

- mono modale pour les LLM (corpus documentaire)
- multimodale pour les animaux et humains (5 sens)

La différence essentielle est ce que tu as mis entre parenthèse : "mono" pour unique, "multi" pour multiple. Monomodal ne couvre qu'un seul mode à la fois (texte, image, son), multimodal en couvre plusieurs (texte+image, texte+son, texte+image+son). Cela peut-être fait soit en combinant plusieurs systèmes monomodaux soit en entraînant un modèle directement avec plusieurs modes pour qu'il soit intrinsèquement multimodal.

Je veux bien, mais comme l'intelligence, la conscience, ... ce sont des notions que nous ne savons pas ce qu'elles sont. Mais une machine qui a de l'instinct, je ne sais pas ce que cela veut dire. L'instinct est quelque chose d'innée, non apprise. Je pense que faire des analogies avec l'homme est un non sens.

Effectivement, le terme plus approprié pourrait être "inconscient" ou "subconscient". Toutes ces décisions prises dans le cerveau sans qu'on en ait conscience, comme respirer, faire battre le coeur, etc.

[floyer]

Oui, l’apprentissage multimodale est « un peu » une spécificité animale (quoique, on embauche pas mal de gens du tiers monde pour catégoriser des images). Cela peut faire un handicap des IA, mais pas forcément au point d’empêcher une AGI.

Il y a plein d’épreuves qui permettront de qualifier une AGI où l’absence de compréhension multimodale n’est pas un critère :
- proposer une démonstration du grand théorème de Fermat très différente de celle de Wiles,
- corriger Linux et en faire un OS certifiable EAL7
Je sais, c’est franchement ambitieux, mais cela évite l’exercice d’une pseudo intelligence qui copierait.

Plus accessible : modéliser des polyèdres en Ada et proposer une fonction qui calcule l’intersection… bien plus accessible, mais on n’y est pas encore ! (C’est même un échec sur la simple modélisation des polyèdre).


Pour l’instinct, il est question pour moi d’un calcul sans raisonnement approfondi. Ce qui nous fait dire « j’ai pris » plutôt que « j’ai prendre » sans rechercher les règles de grammaire explicitement, c’est typiquement ce que font les LLM. Une AGI nécessite d’aller bien au delà.

[Anthony]

Le cofondateur d'OpenAI et inventeur du vibe-coding, Andrej Karpathy, affirme qu'il faudra une décennie avant que les agents IA ne fonctionnent réellement, et que l'AGI est encore à une décennie de nous

Andrej Karpathy, éminent chercheur en intelligence artificielle (IA) et cofondateur d'OpenAI, a revu son calendrier pour la réalisation de l'intelligence artificielle générale (AGI), estimant qu'il faudra au moins une décennie supplémentaire pour que les systèmes d'IA atteignent des capacités cognitives équivalentes à celles des humains. Dans un podcast récent, le chercheur a souligné les défis liés au développement d'une IA dotée de capacités d'apprentissage continu, un obstacle majeur dans la quête de l'AGI. Malgré les progrès impressionnants des agents IA actuels, il reste néanmoins prudent, soulignant que le domaine est encore loin de réaliser le potentiel de la technologie.

Andrej Karpathy a travaillé pour des entreprises technologiques de renom telles que Tesla et OpenAI, mais ses racines sont dans l'enseignement. Jusqu'en 2015, il a enseigné l'apprentissage profond pour la vision par ordinateur à l'université de Stanford aux États-Unis. Plus tard, il est devenu membre fondateur d'OpenAI, mais a quitté l'organisation à but non lucratif après deux ans pour diriger le département IA de Tesla. Pendant son mandat chez le constructeur de voitures autonomes, Karpathy a dirigé l'équipe chargée de développer la vision par ordinateur pour Tesla Autopilot. En 2022, il est revenu chez OpenAI et a travaillé au développement du successeur de ChatGPT, GPT-4, mais son deuxième mandat a pris fin en février 2024. Âgé de 37 ans, il a depuis lancé une série de conférences en ligne qui enseigne aux étudiants comment construire des réseaux neuronaux à partir de zéro.

Andrej Karpathy a récemment révisé son calendrier pour le développement de l'AGI, alors même que les investisseurs et autres parties prenantes s'inquiètent de voir le boom de l'IA se transformer en bulle spéculative.

Les réserves du cofondateur d'OpenAI rejoignent celles de plusieurs figures majeures du domaine, dont Yann LeCun, qui estime que l'AGI n'est pas encore à portée de main et que les grands modèles de langage (LLM) actuels sont structurellement incapables d’atteindre une intelligence comparable à celle des humains. Selon le responsable de l'IA chez Meta, l'incapacité des modèles d'IA actuels à apprendre de manière autonome et à comprendre le contexte de manière approfondie constitue un obstacle majeur à l'émergence d'une véritable AGI.

L'ancien cadre de Tesla a déclaré qu'il faudrait au moins dix ans supplémentaires pour qu'une entreprise ou un laboratoire de recherche spécialisé dans l'IA parvienne à développer l'AGI, un niveau d'intelligence hypothétique qui permettrait à un système d'IA d'effectuer des tâches complexes à un niveau équivalent ou supérieur à celui des humains. L'une des raisons de cette attente de dix ans est que personne n'a encore réussi à développer un système d'IA capable d'apprendre en continu.

« Ils ne sont pas capables d'apprendre de manière continue. On ne peut pas simplement leur dire quelque chose et espérer qu'ils s'en souviennent. Ils ont des lacunes cognitives et cela ne fonctionne tout simplement pas. Il faudra environ une décennie pour résoudre tous ces problèmes », a déclaré Andrej Karpathy lors d'une récente apparition dans un podcast animé par Dwarkesh Patel.

Le fondateur d'Eureka Labs a également révélé qu'il avait lui-même succombé à l'engouement autour de l'IA générative, en particulier à l'idée que 2025 serait l'année des agents IA. « Je ne sais pas exactement qui a dit cela, mais ils faisaient allusion au fait que cette année serait celle des agents en ce qui concerne les LLM et leur évolution. Cela m'a interpellé, car il y a une certaine surestimation dans le secteur. À mon avis, il serait plus juste de parler de la décennie des agents », a-t-il déclaré.

Tout en reconnaissant que les agents IA actuels tels que Claude et Codex étaient « extrêmement impressionnants », Andrej Karpathy a déclaré qu'il restait encore beaucoup à faire.

« Par exemple, vous travaillez avec certains employés ici. Quand préféreriez-vous qu'un agent comme Claude ou Codex fasse ce travail ? », a-t-il demandé. « Actuellement, bien sûr, ils ne le peuvent pas. Que faudrait-il pour qu'ils puissent le faire ? Pourquoi ne le faites-vous pas aujourd'hui ? La raison pour laquelle vous ne le faites pas aujourd'hui, c'est parce qu'ils ne fonctionnent tout simplement pas. Ils ne sont pas assez intelligents, ils ne sont pas assez multimodaux, ils ne savent pas utiliser un ordinateur et tout le reste », a ajouté Andrej Karpathy.

Cependant, l'expert en IA/ML a insisté sur le fait que ses prévisions concernant l'AGI étaient en réalité optimistes. « Je pense que dans l'ensemble, un délai de 10 ans devrait être très optimiste pour l'AGI, mais c'est seulement par rapport à l'engouement actuel que cela ne semble pas être le cas », a déclaré Andrej Karpathy dans un message publié sur X.

Selon Andrej Karpathy et d'autres experts, les LLM actuels ne mèneront pas à l'AGI, mais celle-ci ne pourra émerger que si l’IA s’ancre dans le monde physique. Certains chercheurs, notamment chez Meta, défendent en effet l’hypothèse de l’IA incarnée, c'est-à-dire une intelligence dotée d’un corps physique ou des robots dotés d'une IA capable d’explorer et d’apprendre du monde réel. Cette approche suppose qu'un système apprenne par interaction sensorimotrice, en sentant et en se déplaçant dans un environnement physique, à l'image d'un bébé qui découvre le monde qui l'entoure. Bien que séduisante, cette hypothèse divise toutefois les chercheurs.

Source : Andrej Karpathy dans un podcast animé par Dwarkesh Patel

Et vous ?

Quel est votre avis sur le sujet ?
Trouvez-vous que les prévisions d'Andrej Karpathy sont crédibles ou pertinentes ?

Voir aussi :

Google DeepMind estime que l'AGI pourrait arriver d'ici à 2030 et énumère quatre façons dont elle pourrait causer de « graves dommages » à l'humanité, bien que les critiques estiment que l'AGI est une chimère

Le PDG de Nvidia, Jensen Huang, affirme qu'une percée de l'IA appelée AGI aura lieu d'ici cinq ans, avec des machines "assez compétitives" par rapport à l'homme dans tous les domaines

Un ingénieur en IA d'OpenAI affirme avoir réalisé l'AGI : « Nous avons déjà réalisé l'AGI... ce que nous avons est "meilleur que la plupart des humains pour la plupart des tâches".»

L'intelligence générale artificielle (AGI) dans 3 ans, d'après James Betker, ingénieur chez OpenAI, serait un agent incarné généralement intelligent

[Gigi75]

Les deux composantes essentiels du vivant sont la conscience de soi-même qui est un corollaire de la vie et d'une certaine complexité (deux conditions nécessaires) et l'inventivité qui est aussi un corollaire de la vie et d'une certaine complexité. L'intelligence ne peut éclore qu'avec la conjonction de ces deux composantes. Une machine, même infiniment complexe, même pouvant apprendre en continue et de manière multi-modale n'aura jamais ni véritable conscience d'elle-même, puisque non-vivante, ni inventivité, et donc ne sera jamais "intelligente" au sens du vivant. L'intelligence artificielle est une antinomie. L'intelligence ne peut être qu'une propriété possible, non certaine, du vivant, de la complexité et d'un apprentissage multi-modale basé sur l'expérience du vivant.

[tatayo]

Bonjour,

Les deux composantes essentiels du vivant sont la conscience de soi-même qui est un corollaire de la vie...

Ça me parait un peu réducteur.
Soit une plante a conscience d'elle même, soit elle n'est pas vivante.
Tout comme une bactérie ou un champignon.

Tatayo.

[Artemus24]

Salut à tous.

Ce n'est pas que c'est réducteur, mais personne ne sait ce qu'est l'intelligence et encore moins la conscience.
Débattre de ce que l'on ignore revient à parler dans le vide.

Une IA ne fait que récupérer des informations, là où elle les trouve, c'est-à-dire sur le net. Elle est incapable de faire un raisonnement complexe de type humain car elle ne possède pas l'intuition et encore moins de l'imagination. Elle peut faire des associations d'idées tout au plus, mais elle ne pourra jamais produire un savoir car elle n'est pas capable de l'expérimenter. Observer, réfléchir puis déduire quelque chose est le propre de l'être intelligent car à la base, il y a un étonnement de la chose observée.

@ Gigi75 : définissez moi ce qu'est la conscience ? Je ne veux pas d'une définition trouvée sur le net, mais de la façon dont vous la percevez.

[Ryu2000]

Elle est incapable de faire un raisonnement complexe de type humain

Pour l'instant
Y'en a qui disent que dans 10 ans ce ne sera peut-être plus le cas.

Il y a énormément d'argent qui est investit dans la recherche et le développement, on ne peut pas savoir quelles avancées technologiques auront lieu.

[gabi7756]

Il y a énormément d'argent qui est investit dans la recherche et le développement, on ne peut pas savoir quelles avancées technologiques auront lieu.

Le cerveau humaine reste et restera pour les prochaines années un mystère.

Donc dupliquer cela d'une quelconque manière que ce soit semble une fiction...


On simule un tant soit peu intelligence humaine pour les non initiés et pof c'est magique, dans 2 semaines on va se faire remplacé par une IA. Mais quand on scrute un peu en profondeur ... Bon voila quoi

[Ryu2000]

Bon voila quoi

Les gens de disent ça à chaque apparition d'une nouvelle technologie.
Souvent ils ont raison, mais parfois pas.

Pour l'instant on se dit que les outils comme Grok sont un peu comme des moteurs de recherche améliorés, mais ça pourrait finir par évoluer.
Il y a quand même beaucoup de monde qui sont convaincus que ça peut devenir plus que ça.
Une bulle économique s'est formé, c'est le signe qu'il y a beaucoup d'investissements dans beaucoup d'entreprises.

Parfois, ceux qui cherchent trouvent quelque chose.

Et même sans l'histoire d'intelligence artificielle générale (IA capable de réaliser toute tâche intellectuelle humaine, avec une compréhension et une adaptabilité similaires à celles d'un humain), les algorithmes du futur pourront faire des choses impressionnantes.

Les sceptiques sont peut-être comme l'industrie musicale avant 2000 (donc avant eDonkey2000) quand quelqu'un leur a dit "Dans le futur les gens arrêteront d'acheter des vinyles, des K7, des CD, ils téléchargeront gratuitement des fichiers .MP3 sur internet en utilisant des logiciels P2P".
Ou alors comme les magasins de location de DVD et VHS quand on leur a dit que dans le futur les gens préférerons payer un abonnement à un service de vidéo en ligne, plutôt que venir louer un DVD.

[floyer]

« Une machine, même infiniment complexe, même pouvant apprendre en continue et de manière multi-modale n'aura jamais ni véritable conscience d'elle-même, puisque non-vivante, ni inventivité, et donc ne sera jamais "intelligente" au sens du vivant. »… l’idée n’est pas de rendre l’IA « intelligente au sens du vivant » dans un sens peu défini, ou défini de façon étrange (beaucoup d’organismes vivants n’ont pas de conscience…)

La bonne approche n’est pas d’inclure le vivant dans la définition (ce qui faciliterait une déduction presque tautologique : l’IA n’est pas intelligente car artificielle), mais de définir des critères, et mesurer l’avancée de l’IA par rapport à ces critères. De plus l’intelligence n’est pas un critère tout ou rien, il y a plusieurs type d’intelligence et pour ces types, plusieurs niveaux. AlphaZero a prouvé son intelligence ludique par une « compréhension » des échecs supérieurs aux humains (rappelons qu’aucun développeur ne lui a dit qu’une reine vaut mieux qu’une tour, et cette dernière mieux qu’un fou…). Avec les LLM, on a droit à des déductions simples comme l’analyse grammaticale d’une phrase (c’est un signe d’intelligence que ne partagerait pas des animaux). On peut décrire une IHM, et l’IA propose le code dans un language de programmation et avec une bibliothèque imposée. La conscience, on n’en n’est pas encore, et il n’est pas sûr que cela ait une utilité pratique. (Un avocat préférait avoir une plaidoirie solide avec une jurisprudence sans hallucination plutôt qu’un « cogito ergo sum » réellement inventé). L’inventivité est peut-être plus accessible. On n’y est pas encore (sauf peut-être avec AlphaZero), mais je ne vois pas en quoi le caractère vivant aiderait, et le caractère artificiel serait un obstacle.