Discussion :

[Sandra Coret]

Amazon consacre une équipe et investit des millions pour former un modèle d'IA ambitieux, baptisé "Olympus", un grand modèle linguistique (LLM), qui espère rivaliser avec les meilleurs modèles de l'OpenAI

Le modèle, dont le nom de code est "Olympus", compte 2 000 milliards de paramètres, ce qui pourrait en faire l'un des plus grands modèles en cours d'apprentissage. Le modèle GPT-4 d'OpenAI, l'un des meilleurs modèles disponibles, aurait 1000 milliards de paramètres.

L'équipe est dirigée par Rohit Prasad, ancien responsable d'Alexa, qui dépend désormais directement du PDG Andy Jassy. En tant que responsable scientifique de l'intelligence artificielle générale (AGI) chez Amazon, Prasad a fait appel à des chercheurs qui travaillaient sur l'IA d'Alexa et à l'équipe scientifique d'Amazon pour travailler sur les modèles d'entraînement, unissant les efforts d'IA dans toute l'entreprise avec des ressources dédiées.

Amazon a déjà formé des modèles plus petits tels que Titan. Elle s'est également associée à des startups spécialisées dans les modèles d'IA, telles qu'Anthropic et AI21 Labs, pour les proposer aux utilisateurs d'Amazon Web Services (AWS).

Amazon pense que le fait d'avoir des modèles maison pourrait rendre ses offres plus attrayantes sur AWS, où les entreprises clientes veulent avoir accès à des modèles très performants, ont déclaré les personnes au fait du dossier, ajoutant qu'il n'y a pas de calendrier précis pour le lancement du nouveau modèle.

Les LLM sont la technologie sous-jacente des outils d'IA qui apprennent à partir d'énormes ensembles de données pour générer des réponses semblables à celles de l'homme.

La formation de modèles d'IA plus importants est plus coûteuse en raison de la puissance de calcul requise. Lors d'une conférence téléphonique sur les résultats en avril, les dirigeants d'Amazon ont déclaré que l'entreprise augmenterait ses investissements dans les LLM et l'IA générative tout en réduisant ses activités de traitement des commandes et de transport dans le secteur de la vente au détail.

Source : Amazon

Et vous ?

Qu'en pensez-vous ?
Olympus d'Amazon sera-t-il plus puissant que GPT-4 d'OpenAI ?

Voir aussi :

Les LLM (grand modèle de langage) peuvent générer des JSON (JavaScript Object Notation) valides dans 100% des cas, selon Rémi Louf

Les grands modèles de langage (LLM) comprennent et peuvent être améliorés par des stimuli émotionnels, d'après un sujet de recherche

Les grands modèles de langage (LLM) comprennent et peuvent être améliorés par des stimuli émotionnels, d'après un sujet de recherche

[Jade Emy]

Amazon développe un modèle d'IA majeur, suite au dernier investissement dans Anthropic, "Olympus" sera capable de donner un sens au contenu des images et des vidéos, permettant la recherche de certaines scènes.

Un rapport de The Information a confirmé qu'Amazon serait en train de travailler sur un modèle vidéo d'IA qui sera utilisé spécifiquement pour l'analyse de vidéos et d'images. Baptisé Olympus, le nouveau LLM d'Amazon sera capable de donner un sens au contenu des images et des vidéos, permettant aux utilisateurs de rechercher certaines scènes à l'aide d'un texte relativement simple.

Pour concurrencer OpenAI et devenir des leaders dans le secteur de l'intelligence artificielle (IA), la société d'IA Anthropic et le géant de la technologie Amazon ont renforcé leurs collaborations à l'aide d'une levée de fonds de 4 milliards de dollars supplémentaires. Cette levée de fonds intervient après un premier investissement de 2,75 milliards de dollars d'Amazon dans Anthropic. En plus de la levée de fonds, Anthropic fera de la division AWS d'Amazon, la division Cloud computing d'Amazon, "son principal partenaire de formation et utilisera AWS Trainium pour former et déployer ses plus grands modèles de base".

Outre son investissement dans Anthropic, Amazon possède également sa propre équipe de recherche dans l'IA. Fin 2023, un rapport dévoilait qu'Amazon a investi des millions de dollars et a consacré une équipe dans son projet d'IA. Le grand modèle de langage, baptisé "Olympus", compterait 2 000 milliards de paramètres, ce qui pourrait en faire l'un des plus grands modèles en cours d'apprentissage.

Récemment, un rapport de The Information a confirmé qu'Amazon serait en train de travailler sur un modèle vidéo d'IA qui sera utilisé spécifiquement pour l'analyse de vidéos et d'images. Le géant du commerce électronique développerait un projet d'IA générative afin d'être moins dépendant de son partenaire, la startup d'IA Anthropic. À l'heure actuelle, Amazon s'appuie fortement sur le chatbot Claude, notamment pour son utilisation sur Amazon Web Services. Cependant Olympus, le nouveau LLM d'Amazon, sera capable de donner un sens au contenu des images et des vidéos, permettant aux utilisateurs de rechercher certaines scènes à l'aide d'un texte relativement simple.

We're expanding our collaboration with AWS.

This includes a new $4 billion investment from Amazon and establishes AWS as our primary cloud and training partner.https://t.co/npE4dbM5jj

— Anthropic (@AnthropicAI) November 22, 2024

Amazon a renouvelé son engagement envers Anthropic en injectant 4 milliards de dollars dans la société pour prendre une participation minoritaire. Les deux entités ont partagé la nouvelle qu'elles entamaient une collaboration stratégique dans l'espace de l'IA, la startup s'appuyant sans surprise sur Amazon Web Services comme principal fournisseur de cloud.

Les clients d'AWS bénéficieront d'un accès anticipé à des fonctionnalités spéciales pour la personnalisation des modèles, telles que la possibilité de construire via Amazon Bedrock. "Cet accord s'inscrit dans le cadre d'une collaboration plus large visant à développer les modèles de fondation les plus fiables et les plus performants du secteur", ont déclaré les deux entreprises dans un communiqué officiel.

Le rapport de The Information indique qu'une annonce sur Olympus pourrait être faite lors de la conférence annuelle des clients AWS re:Invent, selon des sources proches du sujet. Anthropic a présenté sa famille de modèles d'IA Claude 3 au début de l'année et il reste à voir si Amazon déploiera les LLM multimodaux existants fabriqués par son partenaire ou si elle souhaite se lancer avec sa propre offre.

Pour rappel, Amazon avait déja un projet de concevoir sa propre IA "Remarkable Alexa", un modèle amélioré pour sauver Alexa. Mais après que les efforts du géant de la technologie en matière d'IA aient échoué, Amazon s'est finalement tourné vers Claude pour sa nouvelle version d'Alexa. Amazon projète de réorganiser l'assistant vocal afin d'améliorer ses capacités et de lutter contre la concurrence.

Source : The Information

Et vous ?

Pensez-vous que ce modèle d'IA d'Amazon est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi :

Amazon prépare une nouvelle puce d'IA, dirigée par son laboratoire Annapurna. La nouvelle puce Trainium 2 vise à former des modèles d'IA plus rapidement et à réduire la dépendance d'Amazon à l'égard de Nvidia

Le modèle d'IA Claude Haiku 3.5 d'Anthropic est annoncé comme pouvant battre GPT-4o d'OpenAI, mais il est accompagné d'une hausse de prix en raison de l'augmentation de son « intelligence »

Amazon mise 150 milliards de dollars sur les centres de données nécessaires au boom de l'IA, son expansion sur le marché du cloud suscite à la fois l'admiration et des préoccupations sur ses impacts