Discussion :

[Stéphane le calme]

OpenAI et le défi des « hallucinations » : une étude d'OpenAI révèle que même ses meilleurs modèles donnent de mauvaises réponses dans une très large proportion,
la concurrence ne se porte pas forcément mieux

Les modèles d'intelligence artificielle d'OpenAI représentent une avancée notable dans le traitement du langage naturel. Utilisés pour générer du texte, répondre à des questions, traduire et même assister à des tâches de créativité, ces modèles montrent des capacités impressionnantes. Cependant, des recherches récentes, s'appuyant sur un benchmark d'OpenAI, indiquent que même ses modèles les plus sophistiqués produisent encore un nombre surprenant d'erreurs, mettant en lumière les limitations persistantes de cette technologie. Une évolution qui devrait nous rappeler qu'il faut traiter les résultats de n'importe quel LLM avec beaucoup de scepticisme et avec la volonté de passer le texte généré au peigne fin.

OpenAI a publié un nouveau benchmark, baptisé « SimpleQA », conçu pour mesurer la précision des résultats de ses propres modèles d'intelligence artificielle et de ceux de la concurrence.

Ce faisant, l'entreprise d'intelligence artificielle a révélé à quel point ses derniers modèles sont incapables de fournir des réponses correctes. Lors de ses propres tests, son modèle de pointe o1-preview, qui a été lancé le mois dernier, a obtenu un taux de réussite catastrophique de 42,7 % sur le nouveau test de référence.

En d'autres termes, même la crème de la crème des grands modèles de langage (LLM) récemment annoncés est bien plus susceptible de fournir une réponse tout à fait incorrecte qu'une réponse correcte.

La concurrence ne se porte pas forcément mieux

Les modèles concurrents, comme celui d'Anthropic, ont obtenu des résultats encore plus faibles au test de référence SimpleQA d'OpenAI, le modèle Claude-3.5-sonnet récemment publié n'ayant répondu correctement qu'à 28,9 % des questions. Toutefois, le modèle était beaucoup plus enclin à révéler sa propre incertitude et à refuser de répondre - ce qui, compte tenu des résultats accablants, est probablement mieux ainsi.

Pire encore, OpenAI a constaté que ses propres modèles d'IA ont tendance à surestimer considérablement leurs propres capacités, une caractéristique qui peut les amener à être très confiants dans les faussetés qu'ils concoctent.

Les LLM souffrent depuis longtemps « d'hallucinations », un terme élégant que les entreprises d'IA ont inventé pour désigner la tendance bien documentée de leurs modèles à produire des réponses qui ne sont rien d'autre que de la foutaise.

Malgré le risque très élevé d'aboutir à des inventions totales, le monde a adopté la technologie à bras ouverts, des étudiants générant des devoirs aux développeurs employés par les géants de la technologie générant d'énormes quantités de code.

Lors de l'annonce des résultats financiers du troisième trimestre 2024, Sundar Pichai, PDG de Google, a dévoilé une information marquante : plus de 25 % du nouveau code produit par Google est désormais généré par l'intelligence artificielle (IA). Pichai a déclaré que l'utilisation de l'IA pour le codage permettait de « stimuler la productivité et l'efficacité » au sein de Google. Une fois le code généré, il est ensuite vérifié et revu par les employés, a-t-il ajouté.

« Cela permet à nos ingénieurs d'en faire plus et d'aller plus vite », a déclaré Pichai. « Je suis enthousiasmé par nos progrès et les opportunités qui s'offrent à nous, et nous continuons à nous concentrer sur la création de produits de qualité. »

L'armée s'est également joint à la danse

L'United States Africa Command (AFRICOM) a reçu l'approbation pour acheter des services de cloud computing directement auprès de Microsoft, via le contrat Joint Warfighting Cloud Capability d'une valeur de 9 milliards de dollars. Ce contrat inclut des outils fournis par OpenAI, tels que le modèle de langage GPT-4 et DALL-E, l'outil de génération d'images.

L'AFRICOM déclare que « la capacité à prendre en charge des charges de travail avancées en matière d'IA/ML est cruciale. Cela inclut des services de recherche, de traitement du langage naturel, [d'apprentissage automatique] et d'analyse unifiée pour le traitement des données ».

« Il est extrêmement alarmant de constater qu'ils sont explicites dans l'utilisation des outils OpenAI pour "l'analyse unifiée du traitement des données" afin de s'aligner sur les objectifs de la mission de l'USAFRICOM », a déclaré Heidy Khlaaf, scientifique en chef de l'IA à l'AI Now Institute, qui a déjà mené des évaluations de sécurité pour OpenAI. « En particulier en affirmant qu'ils pensent que ces outils améliorent l'efficacité, la précision et l'évolutivité, alors qu'il a été démontré que ces outils sont très imprécis et qu'ils fabriquent constamment des résultats. Ces affirmations témoignent d'une méconnaissance préoccupante, de la part de ceux qui achètent ces technologies, des risques élevés que ces outils posent dans les environnements critiques. »

Anthropic a annoncé jeudi qu' elle s'associait à la société d'analyse de données Palantir et à Amazon Web Services (AWS) pour permettre aux agences de renseignement et de défense américaines d'accéder à la famille de modèles d'IA Claude d'Anthropic.

Cette nouvelle intervient alors qu'un nombre croissant de fournisseurs d'IA cherchent à conclure des accords avec des clients de la défense américaine pour des raisons stratégiques et fiscales. Meta a récemment révélé qu'elle mettait ses modèles Llama à la disposition de ses partenaires de la défense, tandis qu'OpenAI cherche à établir une relation plus étroite avec le ministère américain de la défense.

Kate Earle Jensen, responsable des ventes chez Anthropic, a déclaré que la collaboration de l'entreprise avec Palantir et AWS permettra d'« opérationnaliser l'utilisation de Claude » au sein de la plateforme de Palantir en tirant parti de l'hébergement AWS. Claude est devenu disponible sur la plateforme de Palantir au début du mois et peut maintenant être utilisé dans l'environnement accrédité de Palantir pour la défense, Palantir Impact Level 6 (IL6).

Des fissures commencent à apparaître

Imaginez ce scénario: dans un hôpital moderne, un outil d'IA, conçu pour améliorer le diagnostic et le traitement des patients, commence à inventer des informations que ni les médecins ni les patients n'ont jamais fournies. Ce n'est pas de la science-fiction, mais une inquiétante réalité mise en lumière par des chercheurs récents.

OpenAI a vanté son outil de transcription Whisper, basé sur l'intelligence artificielle, comme ayant une robustesse et une précision proches du « niveau humain ».

Mais Whisper présente un défaut majeur : il a tendance à inventer des morceaux de texte, voire des phrases entières, selon des entretiens menés avec plus d'une douzaine d'ingénieurs logiciels, de développeurs et de chercheurs universitaires. Ces experts ont déclaré que certains des textes inventés (connus dans l'industrie sous le nom d'hallucinations) peuvent inclure des commentaires raciaux, une rhétorique violente et même des traitements médicaux imaginaires.

Selon les experts, ces fabrications posent problème car Whisper est utilisé dans une multitude d'industries à travers le monde pour traduire et transcrire des interviews, générer du texte dans des technologies grand public populaires et créer des sous-titres pour des vidéos.

Ce qui est encore plus inquiétant, selon eux, c'est que les centres médicaux se précipitent pour utiliser des outils basés sur Whisper afin de transcrire les consultations des patients avec les médecins, malgré les avertissements d'OpenAI selon lesquels l'outil ne devrait pas être utilisé dans des « domaines à haut risque ».

Les policiers américains commencent eux aussi à adopter l'IA, une évolution terrifiante qui pourrait conduire les forces de l'ordre à accuser à tort des innocents ou à favoriser des préjugés troublants.

Les erreurs fréquentes de ces modèles soulèvent plusieurs critiques importantes

Premièrement, l'IA semble avoir des difficultés à traiter les nuances complexes ou à raisonner au-delà de ce qui est explicite dans les données sur lesquelles elle a été entraînée. En conséquence, elle peut échouer dans des situations nécessitant de l'analyse contextuelle ou une compréhension fine des implications des informations.

D'autre part, OpenAI est conscient de ces lacunes et met en place des méthodes pour évaluer et réduire ces erreurs. La société mène des recherches actives pour améliorer la précision et la fiabilité des modèles, notamment en utilisant des techniques de "red team" (test de robustesse par des équipes dédiées à trouver les failles du modèle) et des systèmes de rétroaction humaine pour affiner les réponses de l'IA. Ces efforts visent à minimiser les "hallucinations" et à accroître la précision des réponses, mais les résultats montrent que le problème reste difficile à éliminer complètement.

Les dernières découvertes sur OpenAI sont un nouveau signe inquiétant de l'incapacité des LLM actuels à dire la vérité de manière fiable.

Les progrès réalisés par OpenAI témoignent d'un potentiel immense, mais la fréquence des erreurs pose des questions quant aux usages de ces technologies. Des améliorations substantielles devront être apportées pour que l'IA devienne véritablement fiable dans des contextes critiques. Dans l'état actuel des choses, une vigilance accrue et un encadrement réglementaire sont nécessaires pour encadrer l'utilisation de ces outils, surtout dans des domaines où une erreur pourrait avoir des répercussions majeures.

En fin de compte, bien que les modèles d'OpenAI ouvrent des perspectives fascinantes, leur imperfection invite à la prudence. Tant que la technologie ne pourra pas garantir une précision impeccable, il sera essentiel de limiter les attentes et de renforcer la supervision humaine pour éviter les dérives et assurer une utilisation sûre et éthique de l'intelligence artificielle.

La question de savoir s'il s'agit d'un problème qui peut être résolu avec des ensembles d'entraînement encore plus grands - ce que les leaders de l'IA s'empressent d'assurer aux investisseurs - reste ouverte.

Sources : résultats de l'étude d'OpenAI, SimpleQA

Et vous ?

Si une IA donne une mauvaise réponse ayant des conséquences graves, qui devrait être tenu pour responsable ? Les entreprises devraient-elles offrir des garanties ou des assurances sur la fiabilité de leurs modèles d’IA ?
Devrait-on responsabiliser davantage les utilisateurs pour qu’ils vérifient les informations obtenues auprès d'une IA ? Quels outils ou méthodes pourraient aider les utilisateurs à identifier plus facilement les erreurs d’une IA ?
Les utilisateurs risquent-ils de devenir trop confiants face aux réponses de l’IA ? Comment l’IA pourrait-elle influencer la perception de l'exactitude ou de la fiabilité des informations ?

[Stéphane le calme]

Le développement de modèles de langage semble avoir atteint un plafond : le prochain modèle Orion d'OpenAI dépasse à peine GPT-4, son prédécesseur,
un ralentissement qui affecte l'ensemble du secteur de l'IA.

L’industrie de l’intelligence artificielle (IA) et des modèles de langage, qui a connu un développement fulgurant au cours de la dernière décennie, semble aujourd'hui marquer le pas. Alors que la promesse de chaque nouveau modèle d'IA était d’amener des avancées significatives, la sortie imminente du modèle Orion d'OpenAI soulève des interrogations. Selon les premières évaluations, Orion n’offre qu’une légère amélioration par rapport à GPT-4, son prédécesseur. Ce constat, qui s’ajoute à d’autres indicateurs de ralentissement dans le secteur, pousse à s’interroger : l’industrie des modèles de langage est-elle arrivée à une forme de plafond technologique ?

La saturation des performances

Les modèles de langage, comme GPT-4, ont longtemps montré des capacités impressionnantes en matière de traitement du langage naturel, de génération de texte et d'assistance automatisée. À chaque nouveau modèle, la promesse d’une IA plus puissante, plus performante et plus « humaine » créait des attentes toujours plus grandes.

Cependant, The Information rapporte que le prochain modèle de langage majeur d'OpenAI, connu sous le nom de code « Orion », offre des gains de performance beaucoup moins importants que prévu. L'amélioration de la qualité entre GPT-4 et Orion est nettement moins importante que celle observée entre GPT-3 et GPT-4. De plus, Orion ne surpasse pas systématiquement son prédécesseur dans des domaines tels que la programmation, ne montrant des améliorations que dans les capacités linguistiques, selon les sources de The Information. Le modèle pourrait également coûter plus cher à exploiter dans les centres de données que les versions précédentes.

L'annonce d'Orion d'OpenAI, dont les performances ne surpasseraient que de peu celles de GPT-4, met en lumière un phénomène de saturation. De nombreux experts en IA soulignent que, malgré des architectures toujours plus sophistiquées et des modèles de plus en plus volumineux, les gains de performance observés se réduisent progressivement. La loi des rendements décroissants semble s’appliquer ici, avec une augmentation significative des ressources nécessaires pour des progrès toujours plus modestes.

L'IA semble s'approcher rapidement d'un mur où elle ne peut pas devenir plus intelligente

L’une des raisons de cette stagnation réside dans les limites inhérentes aux modèles actuels. L’architecture de type « transformer », dominante aujourd’hui, est extrêmement puissante mais aussi gourmande en ressources et sujette à des faiblesses de compréhension contextuelle et de gestion des informations factuelles. De plus, les IA actuelles peinent encore à généraliser certains concepts et à offrir des réponses qui soient à la fois nuancées, contextuellement appropriées et alignées sur une éthique bien définie. L’effort nécessaire pour dépasser ces limites semble croître de manière exponentielle à chaque nouvelle génération, rendant chaque avancée plus difficile à atteindre.

Par ailleurs, une étude explorant les défis et les possibilités en matière de mise à l'échelle des systèmes d'apprentissage automatique, a conclu que les modèles utiliseront la totalité des données textuelles humaines publiques à un moment donné entre 2026 et 2032.

D'un autre côté, les chercheurs d'OpenAI expliquent ce ralentissement par l'insuffisance de données d'entraînement de haute qualité. La plupart des textes et des données accessibles au public ont déjà été utilisés. En réponse, OpenAI a créé une « Foundations Team » dirigée par Nick Ryder.

Cette initiative s'inscrit dans le droit fil de la déclaration faite en juin par le PDG Sam Altman, selon laquelle, bien que les données existent en quantité suffisante, l'accent sera mis sur l'apprentissage à partir d'une quantité moindre de données. L'entreprise prévoit d'utiliser des données synthétiques - du matériel d'entraînement généré par des modèles d'IA - pour combler cette lacune.

The Information note qu'Orion s'est déjà partiellement entraîné sur des données synthétiques provenant de GPT-4 et du nouveau modèle de « raisonnement » o1 d'OpenAI. Toutefois, cette approche présente le risque que le nouveau modèle « ressemble simplement à ces anciens modèles dans certains aspects », selon un employé d'OpenAI.

L’effet sur l’industrie de l’IA

Ce ralentissement n’affecte pas seulement OpenAI, mais l’ensemble de l’industrie de l’IA.

Selon des sources de certains médias, le futur Gemini 2.0 de Google n'atteint pas ses objectifs internes. Anthropic aurait arrêté le développement de la version 3.5 de son produit phare, Opus, et publié à la place une version améliorée de Sonnet, peut-être pour ne pas décevoir les utilisateurs et les investisseurs.

Le rapport sur l'état de l'IA révèle que l'avance d'OpenAI sur les autres entreprises d'IA a largement disparu. Claude 3.5 "Sonnet" d'Anthropic, Gemini 1.5 de Google, Grok 2 de X et même le modèle open-source Llama 3.1 405 B de Meta ont égalé, ou dépassé de justesse sur certains benchmarks, GPT-4o d'OpenAI.

Le fait que les modèles à code source ouvert aient rattrapé les modèles propriétaires à un milliard de dollars au cours des 18 derniers mois témoigne également de ce plafonnement à l'échelle du secteur. Ces progrès seraient peu probables si les grandes entreprises technologiques pouvaient convertir efficacement leurs investissements massifs en une meilleure performance de l'IA.

De son côté, Ed Zitron, critique fréquent de l'IA, a estimé qu'OpenAI est une mauvaise entreprise, notant qu'il y a « quelques raisons de s'inquiéter ». Selon lui, OpenAI n'a rien eu de vraiment important depuis le lancement de GPT-3.5, et son récent modèle o-1 n'a pas été particulièrement impressionnant. Il serait également beaucoup plus coûteux à utiliser, et OpenAI n'arrive même pas à trouver un cas d'utilisation significatif. De plus, les produits d'OpenAI sont de plus en plus banalisés, Google, Meta, Amazon et même Microsoft construisant des modèles d'IA générative pour les concurrencer. Pire encore, ces modèles utilisent tous des données d'entraînement identiques, ce qui rend leurs résultats de plus en plus similaires.

Face à des améliorations de plus en plus marginales, les entreprises technologiques sont confrontées à une question fondamentale : est-il rentable de continuer à investir massivement dans le développement de modèles de langage de plus en plus volumineux et complexes, pour des gains de performance de plus en plus faibles ? De nombreux acteurs pourraient être tentés de rediriger leurs efforts vers des applications plus spécifiques de l’IA, ou d’explorer des approches alternatives, comme les modèles hybrides qui combinent apprentissage supervisé et raisonnements basés sur des règles, ou encore les modèles multi-agents qui permettent une coopération entre IA.

Le PDG d'OpenAI demeure confiant quant à la possibilité d'atteindre l'intelligence artificielle générale

Néanmoins, dans une récente interview, le PDG d'OpenAI, Sam Altman, est resté optimiste. Il a déclaré que la voie vers l'intelligence artificielle générale (AGI) était toute tracée et que ce qu'il fallait, c'était une utilisation créative des modèles existants. Altman pourrait faire référence à la combinaison des LLM avec des approches de raisonnement telles que o1 et l'IA agentique.

Noam Brown, éminent développeur d'IA à l'OpenAI et ancien employé de Meta qui a contribué à la création de o1, affirme que la déclaration d'Altman reflète l'opinion de la plupart des chercheurs de l'OpenAI. Le nouveau modèle o1 vise à créer de nouvelles opportunités de mise à l'échelle. Il met l'accent non plus sur la formation, mais sur l'inférence, c'est-à-dire le temps de calcul dont disposent les modèles d'IA pour accomplir des tâches. Brown estime que cette approche constitue une « nouvelle dimension pour la mise à l'échelle ».

Mais elle nécessitera des milliards de dollars et une importante consommation d'énergie. Il s'agit là d'une question clé pour l'industrie dans les mois à venir : La construction de modèles d'IA toujours plus puissants - et des énormes centres de données qu'ils nécessitent - a-t-elle un sens économique et environnemental ? OpenAI semble le penser.

I've heard people claim that Sam is just drumming up hype, but from what I've seen everything he's saying matches the ~median view of @OpenAI researchers on the ground. https://t.co/nd0itSdQLw

— Noam Brown (@polynoamial) November 9, 2024

François Chollet, expert en intelligence artificielle chez Google, a critiqué la mise à l'échelle des modèles de langage pour les tâches mathématiques. Il a qualifié de « particulièrement obtus » le fait de citer les progrès réalisés dans les tests mathématiques comme preuve de l'existence de l'AGI.

Chollet affirme que les données empiriques montrent que l'apprentissage profond et les grands modèles de langage ne peuvent pas résoudre les problèmes mathématiques de manière indépendante. Ils ont plutôt besoin de méthodes de recherche discrète, c'est-à-dire d'approches systématiques qui vérifient différents chemins de solution plutôt que de prédire des réponses probables comme le font les modèles de langage.

Il a également critiqué l'utilisation de « LLM » comme terme de marketing pour toutes les avancées actuelles en matière d'IA, même lorsqu'elles ne sont pas liées aux modèles de langage. Il a souligné que l'intégration de Gemini dans AlphaProof de Google Deepmind était « essentiellement cosmétique et à des fins de marketing ».

When we develop AI systems that can actually reason, they will involve deep learning (as one of two major components, the other one being discrete search), and some people will say that this "proves" that DL can reason.

No, it will have proven the thesis that DL is not enough,…

— François Chollet (@fchollet) November 9, 2024

Perspectives et innovations à venir

Dans un contexte où les progrès techniques ralentissent, le secteur pourrait entrer dans une phase de consolidation. Celle-ci serait axée sur l’optimisation des modèles actuels, sur leur applicabilité à des contextes industriels précis et sur la réflexion éthique et réglementaire. Cette période de consolidation pourrait être bénéfique, offrant l’occasion de renforcer la fiabilité des modèles existants, de perfectionner les techniques de modération des IA, et d’explorer des applications à valeur ajoutée réelle.

Bien que la stagnation actuelle soit indéniable, elle ne signifie pas pour autant une impasse définitive pour le secteur. Plusieurs pistes de recherche, encore émergentes, pourraient raviver la dynamique d'innovation. Parmi elles, la recherche de modèles plus « frugaux », capables de performances optimales avec moins de données et de puissance de calcul, et l'exploration de l'IA quantique, qui pourrait révolutionner la manière dont les modèles sont entraînés et optimisés.

Conclusion

L'industrie des modèles de langage, bien que marquant un ralentissement, reste un secteur à fort potentiel d'innovation. L'annonce d'Orion, avec ses progrès modestes par rapport à GPT-4, illustre un moment charnière dans l’évolution de l’IA. Cette période pourrait s'avérer décisive pour encourager des approches alternatives et pour recentrer les efforts sur des applications plus pratiques et socialement responsables. Dans les années à venir, l'IA devra se réinventer pour retrouver son élan et répondre aux attentes croissantes de la société.

Source : vidéo YouTube dans le texte

Et vous ?

Pourquoi, selon vous, observe-t-on cette stagnation dans les performances des modèles de langage ? Est-ce un manque de technologie, de données, ou des limites théoriques encore non résolues ?
La loi des rendements décroissants signifie-t-elle que nous avons atteint une limite naturelle dans la compréhension du langage par les machines, ou est-ce simplement une pause avant une nouvelle percée ?
Est-il encore justifié de continuer à investir massivement dans le développement de modèles toujours plus volumineux, alors que les gains sont de plus en plus marginaux ? Devrait-on orienter ces ressources vers d’autres formes d’IA ou des applications plus ciblées ?
Quels types d’approches pourraient renouveler la dynamique dans l’industrie de l’IA ? Pensez-vous que des modèles hybrides, l'IA quantique ou les modèles multi-agents représentent des alternatives viables aux architectures actuelles ?
La relative stagnation dans les progrès des modèles de langage pourrait-elle freiner l’adoption de l’IA dans des secteurs non technologiques ? Comment l’industrie pourrait-elle rassurer les utilisateurs finaux quant à la pertinence et à la sécurité de ces technologies ?

[Aiekick]

c'était previsible. l'ia trouve de moins en moins de contenu créé par des humains pour entrainement. c'est comme faire une copie d'une copie. on accumule l'erreur, on perd en qualité.

c'est pour ca que l'IA est une bulle qui peut eclater a moins que l'on trouve une nouvelle voie tehcnologique.

[Fluxgraveon]

En fin de compte, bien que les modèles d'OpenAI ouvrent des perspectives fascinantes, leur imperfection invite à la prudence. Tant que la technologie ne pourra pas garantir une précision impeccable, il sera essentiel de limiter les attentes et de renforcer la supervision humaine pour éviter les dérives et assurer une utilisation sûre et éthique de l'intelligence artificielle.

Pour la supervision humaine afin d'éviter les dérives et assurer une utilisation sûre et éthique ... c't'une blague, non ?
Pour la précision impeccable de la technologie, cela ressemble à la résolution du principe d'incertitude de Heisenberg ... même si vous suivez les travaux de Roy Jay Glauber (l'information quantique n'est pas entachée par le théorème de Heisenberg), vous perdrez la qualité prédictive et cela s'effondrera de la même façon (qu'avec le traitement LLM).

[_toma_]

Pour la supervision humaine afin d'éviter les dérives et assurer une utilisation sûre et éthique ... c't'une blague, non ?

J'utilise absolument aucun produit de génération de contenu. Hier j'ai voulu voir où on en était de la facilité d'accès pour les truc malsains. J'ai pris sur le net une image d'une femme au hasard que j'ai sauvegardé. J'ai tapé "nude generator" dans duckduckgo. Le premier lien dans les résultats (c'est le seul que j'ai testé) m'a permis en 30 secondes d'avoir la même photo avec la femme complètement nue (même pas besoin de créer un compte sur le site).
L'éthique c'est à la fois le fournisseur de service et l'utilisateur final qui doivent l'avoir donc je vois pas quoi dire à part : c'est déjà foutu.

[d_d_v]

c'était previsible. l'ia trouve de moins en moins de contenu créé par des humains pour entrainement. c'est comme faire une copie d'une copie. on accumule l'erreur, on perd en qualité.

c'est pour ca que l'IA est une bulle qui peut eclater a moins que l'on trouve une nouvelle voie tehcnologique.

Je pense que ça n'a aucun rapport. C'est juste que ce qu'on appelle injustement l'IA n'est pas conçu pour donner des réponses précises, puisque ces moteurs se basent en grande partie sur des systèmes probabilistes. Donc, c'est bien pour donner des réponses "probables", de faire de "l'à peu près"
Très bien en fait pour lancer le premier jet d'un projet (quelque soit le domaine), ou pour donner des suggestions sur tel ou tel problème, par pour résoudre le problème ou faire un projet de A à Z.

[_toma_]

Bah oui
Intelligence artificielle
Générateur de contenu

[vVDB.fr]

Les responsables sont les entreprises, en premier Sam Altman qui raconte que c'est le top en permanence que l'IA générale est pour 2025. C'est lui le fou.
Lorsque vous n'avez pas de données suffisantes sur un domaine les résultats sont bidons, la probabilité est nulle d'avoir une réponse cohérente... Le vieux 'garbage in, garbage out'.
Le discours d'Altman n'est lÃ* que pour récolter des milliards pour lui. L'humanité il s'en fout. Quand on a un produit qui fait 40% d'erreurs on a la descendance de le retirer du marché, on ne fait pas la promotion d'un mauvais prototype.
Allez utiliser un tableur qui donne des résultats correct une fois sur deux... Vous n'en voulez pas pourtant c'est super génial ! Hein !
Il faut connaître le périmètre d'entraînement du modèle avec un volume de données important et solliciter le modèle exclusivement dans le périmètre defini afin d'obtenir une réponse probabiliste correcte.

l'IA 'généraliste' est une hallucination d'apprentis milliardaires, la dérive ultime du système des startups.

[Fluxgraveon]

Bah oui
Intelligence artificielle
Générateur de contenu

Certes ...
https://techxplore.com/news/2024-11-...den-links.html

[Zeeraptor]

Cela fait longtemps que l'un des cheval de bataille de l'AI est la 'Correction d'erreur'

Il existe un article assez précis qui en parle

Le concept de correction d'erreur je l'avait inventé en cherchant un algorithme pour maximiser mes chance de gagner au loto...sans savoir que ce concept existait déjà

Un ancien collègue qui travail dans l'AI ne connaissait pas ce concept...je lui ai partagé...Il m'a dit merci en me disant que cela lui sera utile dans le futur...Il y a 4 ans de cela

La correction d'erreur de la correction d'erreur de la correction d'erreur...etc

***Le diable ne va pas être content en lisant cela...Mais le diable je l'emmerde...Il n'osera plus me faire face

[_toma_]

Flux, tu peux développer ton propos stp ? Je suis censé être persuadé que nos PC sont intelligents en lisant le texte que tu as mis en lien ou je dois comprendre autre chose ?

[Zeeraptor]

Le contexte que tu donnes a la machine doit être traduit efficacement

Interfaçage

L'IA est un système neuronal...donc une forme d'inconscience

Traduire l'inconscient vers une forme d'information utilisable est certainement un boulot monstre

[_toma_]

Êtes-vous certain de vouloir ajouter Zeeraptor dans votre liste d'ignorés ?

Oui




Tes phrases ne veulent rien dire. Je reste sur mon idée que c'est volontaire et que tu passes ton temps à troller. Au plaisir de ne pas te relire.

[Fluxgraveon]

Flux, tu peux développer ton propos stp ? Je suis censé être persuadé que nos PC sont intelligents en lisant le texte que tu as mis en lien ou je dois comprendre autre chose ?

Autre chose : les PC en eux-mêmes ne sont pas intelligents. Il y a donc cette notion d'outil, d'accord ? Cela dit, ce qui m'apparaît nouveau (à l'instar d'une espèce humaine, qui doit se résoudre dans son aspect "planétaire", ce qui est inédit), c'est que l'outil a une certaine autonomie (qui va croissante) et qui modifie notre relation à ce que nous appelons "outil" (sans mettre sur la table des notions difficiles comme la conscience - que je vois comme un effet de notre présence" à ce qui fait environnement au sens large - ou comme "l'intelligence", qui, toujours de mon point de vue, est beaucoup plus "relationnelle" qu'autre chose, en intégrant le fait que "relationnelle" n'est pas "relative à" - c'est plus ouvert, à l'inconnu notamment.). Outil, qui dispose d'une certaine forme d'intellection, qui met en question notre propre intellection ; cela dit tout cela reste une création humaine.
Enfin jusqu'à faire la preuve que d'autres éléments, disons "exogènes", ont aussi leur part dans l'affaire.

[_toma_]

Yes merci pour la réponse et désolé pour ma formulation qui était peut-être pas très élégante.

[Zeeraptor]

Oui




Tes phrases ne veulent rien dire. Je reste sur mon idée que c'est volontaire et que tu passes ton temps à troller. Au plaisir de ne pas te relire.

T'as raison...je dégage de ce site

Bonne continuation a vous toutes et tous

[eddy72]

"...malgré les avertissements d'OpenAI selon lesquels l'outil ne devrait pas être utilisé dans des « domaines à haut risque »"

Ils vendent un truc qui ne marche pas mais c'est pas grave,
puisque que certaines personnes veulent l'acheter
pourquoi ce gêner

Escrocs !

[kain_tn]

"...malgré les avertissements d'OpenAI selon lesquels l'outil ne devrait pas être utilisé dans des « domaines à haut risque »"

Ils vendent un truc qui ne marche pas mais c'est pas grave,
puisque que certaines personnes veulent l'acheter
pourquoi ce gêner

Escrocs !

Je vais paraphraser un paysan dans un vieux sketch des Guignols de l'Info sur les OGM: "Ce sont des pommes pour vendre, pas pour manger".

[Stéphane le calme]

L’intelligence artificielle est loin d’avoir atteint ses limites : le patron de Nvidia rejette les craintes que l'IA se heurte à un mur,
Jensen Huang appelle toutefois à des efforts immédiats pour atteindre le prochain niveau d’innovation

Alors que les débats sur les limites potentielles de l’intelligence artificielle (IA) s’intensifient, Jensen Huang, le PDG de Nvidia, l’un des leaders mondiaux dans la production de puces graphiques et d’infrastructures pour l’IA, a rejeté l’idée selon laquelle l’IA aurait atteint un plateau technologique. Lors d’une récente intervention, Huang a déclaré qu’il est impératif de continuer à innover pour faire progresser cette technologie, tout en reconnaissant l’urgence de relever certains défis critiques.

Un plafond de verre en IA ?

Les craintes d’un plafonnement des progrès en IA ont gagné du terrain ces derniers mois, alimentées par des observations sur les limites des modèles actuels, comme ChatGPT ou DALL-E. Ces outils, bien qu’impressionnants, révèlent des faiblesses, notamment dans des domaines tels que la compréhension contextuelle avancée, la fiabilité des informations et la capacité à généraliser des concepts complexes.

there is no wall

— Sam Altman (@sama) November 14, 2024

Lorsque Sam Altman, patron d'OpenAI, a publié ce mois-ci un tweet gnomique disant « Il n'y a pas de mur », ses partisans sur X, anciennement Twitter, se sont amusés comme des fous. « Trump le construira », a déclaré l'un d'entre eux. « Pas de paywall pour ChatGPT ? », s'est amusé un autre. Depuis, l'expression est passée d'une plaisanterie d'intellos à une affaire sérieuse.

Le mur en question fait référence à l'idée que les forces qui sous-tendent les améliorations de l'intelligence artificielle générative (IA) au cours des 15 dernières années ont atteint une limite. Ces forces sont connues sous le nom de lois de mise à l'échelle. « Il y a beaucoup de débats : avons-nous atteint le mur avec les lois de mise à l'échelle ? a demandé Satya Nadella, le patron de Microsoft, lors de la conférence annuelle de son entreprise le 19 novembre. Un jour plus tard, Jensen Huang, patron de Nvidia, l'entreprise la plus valorisée au monde, a répondu par la négative.

Les lois d'échelle ne sont pas des lois physiques. À l'instar de la loi de Moore, selon laquelle les performances de traitement des semi-conducteurs doublent environ tous les deux ans, elles reflètent la perception selon laquelle les performances de l'IA ont doublé tous les six mois environ au cours des dernières années. La principale raison de ces progrès est l'augmentation de la puissance de calcul utilisée pour former les grands modèles de langage (LLM). Nvidia, dont les processeurs graphiques (GPU) fournissent la quasi-totalité de cette puissance de calcul, est la société dont la fortune est la plus étroitement liée aux lois de mise à l'échelle.

Le 20 novembre, lors de la présentation des résultats de Nvidia, Huang a défendu les lois de mise à l'échelle. Il a également déclaré que la première tâche de la nouvelle classe de GPU de Nvidia, connue sous le nom de Blackwells, serait d'entraîner une nouvelle génération de modèles plus puissants. « Il est urgent que tous ces créateurs de modèles de base passent à la vitesse supérieure », a-t-il déclaré.

Les résultats de Nvidia pour le trimestre qui s'est achevé en octobre ont renforcé le sentiment d'une dynamique ascendante. Bien que le rythme de croissance ait quelque peu ralenti, le chiffre d'affaires a dépassé les 35 milliards de dollars, soit une augmentation fulgurante de 94 % d'une année sur l'autre. Nvidia prévoit un nouveau chiffre d'affaires de 37,5 milliards de dollars pour le trimestre en cours, ce qui est supérieur aux attentes de Wall Street. La société a déclaré que cette révision à la hausse était en partie due au fait qu'elle s'attendait à ce que la demande de GPU Blackwell soit plus élevée qu'elle ne le pensait auparavant. Huang a prédit que 100 000 Blackwell seraient rapidement mis au travail pour former et diriger la prochaine génération de LLM.

Tout le monde ne partage pas son optimisme

Les sceptiques de la loi d'échelle notent qu'OpenAI n'a pas encore produit de nouveau modèle à usage général pour remplacer GPT-4, qui est à la base de ChatGPT depuis mars 2023. Ils affirment que le modèle Gemini de Google n'est pas à la hauteur de l'argent dépensé.

Mais, comme le fait remarquer Huang, les lois de mise à l'échelle ne s'appliquent pas seulement à la formation initiale des LLM, mais aussi à l'utilisation du modèle, ou à l'inférence, en particulier lorsqu'il s'agit de tâches de raisonnement complexes. Pour expliquer pourquoi, il cite le dernier modèle de l'OpenAI, o1, qui possède des capacités de raisonnement supérieures à celles du GPT-4. Il peut effectuer des mathématiques avancées et d'autres tâches complexes en adoptant une approche progressive que son concepteur appelle la « pensée ». Ce processus d'inférence amélioré utilise beaucoup plus de puissance de calcul qu'une réponse ChatGPT typique, explique M. Huang. « Nous savons que nous avons besoin de plus de puissance de calcul, quelle que soit l'approche adoptée », explique-t-il.

Plus l'IA sera adoptée, plus l'inférence prendra de l'importance. Huang affirme que les générations précédentes de GPU de Nvidia peuvent être utilisées pour l'inférence, mais que les Blackwells permettront d'améliorer les performances des dizaines de fois. Au moins la moitié de l'infrastructure de Nvidia est déjà utilisée pour l'inférence.

Huang a clairement intérêt à présenter la mise à l'échelle sous son meilleur jour. Certains sceptiques s'interrogent sur l'importance des avancées en matière de raisonnement. Bien qu'une poignée de modèles commerciaux soient bouleversés, de nombreuses entreprises peinent à adopter l'IA à grande échelle, ce qui pourrait finir par peser sur la demande de technologie. Mais il est encore trop tôt pour cela. Les géants de la technologie continuent d'investir massivement dans les GPU, et Huang souligne qu'il faut du temps pour assimiler les nouvelles technologies. Nvidia n'est pas encore au pied du mur.

La saturation des performances

Les modèles de langage, comme GPT-4, ont longtemps montré des capacités impressionnantes en matière de traitement du langage naturel, de génération de texte et d'assistance automatisée. À chaque nouveau modèle, la promesse d’une IA plus puissante, plus performante et plus « humaine » créait des attentes toujours plus grandes.

Cependant, The Information rapporte que le prochain modèle de langage majeur d'OpenAI, connu sous le nom de code « Orion », offre des gains de performance beaucoup moins importants que prévu. L'amélioration de la qualité entre GPT-4 et Orion est nettement moins importante que celle observée entre GPT-3 et GPT-4. De plus, Orion ne surpasse pas systématiquement son prédécesseur dans des domaines tels que la programmation, ne montrant des améliorations que dans les capacités linguistiques, selon les sources de The Information. Le modèle pourrait également coûter plus cher à exploiter dans les centres de données que les versions précédentes.

L'annonce d'Orion d'OpenAI, dont les performances ne surpasseraient que de peu celles de GPT-4, met en lumière un phénomène de saturation. De nombreux experts en IA soulignent que, malgré des architectures toujours plus sophistiquées et des modèles de plus en plus volumineux, les gains de performance observés se réduisent progressivement. La loi des rendements décroissants semble s’appliquer ici, avec une augmentation significative des ressources nécessaires pour des progrès toujours plus modestes.

L'IA semble s'approcher rapidement d'un mur où elle ne peut pas devenir plus intelligente

L’une des raisons de cette stagnation réside dans les limites inhérentes aux modèles actuels. L’architecture de type « transformer », dominante aujourd’hui, est extrêmement puissante mais aussi gourmande en ressources et sujette à des faiblesses de compréhension contextuelle et de gestion des informations factuelles. De plus, les IA actuelles peinent encore à généraliser certains concepts et à offrir des réponses qui soient à la fois nuancées, contextuellement appropriées et alignées sur une éthique bien définie. L’effort nécessaire pour dépasser ces limites semble croître de manière exponentielle à chaque nouvelle génération, rendant chaque avancée plus difficile à atteindre.

Par ailleurs, une étude explorant les défis et les possibilités en matière de mise à l'échelle des systèmes d'apprentissage automatique, a conclu que les modèles utiliseront la totalité des données textuelles humaines publiques à un moment donné entre 2026 et 2032.

D'un autre côté, les chercheurs d'OpenAI expliquent ce ralentissement par l'insuffisance de données d'entraînement de haute qualité. La plupart des textes et des données accessibles au public ont déjà été utilisés. En réponse, OpenAI a créé une « Foundations Team » dirigée par Nick Ryder.

Cette initiative s'inscrit dans le droit fil de la déclaration faite en juin par le PDG Sam Altman, selon laquelle, bien que les données existent en quantité suffisante, l'accent sera mis sur l'apprentissage à partir d'une quantité moindre de données. L'entreprise prévoit d'utiliser des données synthétiques - du matériel d'entraînement généré par des modèles d'IA - pour combler cette lacune.

The Information note qu'Orion s'est déjà partiellement entraîné sur des données synthétiques provenant de GPT-4 et du nouveau modèle de « raisonnement » o1 d'OpenAI. Toutefois, cette approche présente le risque que le nouveau modèle « ressemble simplement à ces anciens modèles dans certains aspects », selon un employé d'OpenAI.

Le PDG d'OpenAI demeure confiant quant à la possibilité d'atteindre l'intelligence artificielle générale

Néanmoins, dans une récente interview, le PDG d'OpenAI, Sam Altman, est resté optimiste. Il a déclaré que la voie vers l'intelligence artificielle générale (AGI) était toute tracée et que ce qu'il fallait, c'était une utilisation créative des modèles existants. Altman pourrait faire référence à la combinaison des LLM avec des approches de raisonnement telles que o1 et l'IA agentique.

Noam Brown, éminent développeur d'IA à l'OpenAI et ancien employé de Meta qui a contribué à la création de o1, affirme que la déclaration d'Altman reflète l'opinion de la plupart des chercheurs de l'OpenAI. Le nouveau modèle o1 vise à créer de nouvelles opportunités de mise à l'échelle. Il met l'accent non plus sur la formation, mais sur l'inférence, c'est-à-dire le temps de calcul dont disposent les modèles d'IA pour accomplir des tâches. Brown estime que cette approche constitue une « nouvelle dimension pour la mise à l'échelle ».

Mais elle nécessitera des milliards de dollars et une importante consommation d'énergie. Il s'agit là d'une question clé pour l'industrie dans les mois à venir : La construction de modèles d'IA toujours plus puissants - et des énormes centres de données qu'ils nécessitent - a-t-elle un sens économique et environnemental ? OpenAI semble le penser.

Source : NVIDIA

Et vous ?

Quelle lecture faites-vous de l'analyse du PDG de Nvidia ?

Quels obstacles concrets la recherche en IA doit-elle surmonter pour franchir un « nouveau palier » ?

L’amélioration des architectures matérielles suffira-t-elle ou faudra-t-il repenser les bases des algorithmes d’apprentissage ?

Que pensez-vous des besoins énergétiques actuels de l'IA ? Pourrait-elle arriver à un point où les besoins énergétiques et matériels pour de nouvelles avancées deviennent insoutenables ?

[Ryu2000]

Quelle lecture faites-vous de l'analyse du PDG de Nvidia ?

Le gars vend des cartes graphiques, donc forcément qu'il va dire que tout va bien et qu'il faut continuer d'investir dans l'IA.

C'est pareil avec Sam Altman le PDG d'OpenAI, il ne va pas arriver et dire «Oubliez l'IA, ça va s'effondrer, ça n'a pas d'avenir».
Le gars est un peu forcé de dire «Il faut que les investissements dans l'IA continuent parce qu'un jour l'IA sera capable de réaliser des grandes choses».

Que pensez-vous des besoins énergétiques actuels de l'IA ? Pourrait-elle arriver à un point où les besoins énergétiques et matériels pour de nouvelles avancées deviennent insoutenables ?

Il suffit de construire des nouveaux réacteurs nucléaire et ça devrait aller.
Ou alors peut-être qu'AMD va proposer des puces graphiques plus performantes que celles de Nvidia et qui consommeront beaucoup moins d'énergie.