Discussion :

[Anthony]

Google publie Gemma, une famille de modèles d'IA ouverts et optimisés pour Google Cloud, que les développeurs extérieurs peuvent façonner comme les leurs, emboitant ainsi le pas à Meta Platforms

Google a publié de nouveaux modèles d'intelligence artificielle (IA) que les développeurs extérieurs peuvent potentiellement façonner comme les leurs, à la suite d'une initiative similaire de Meta Platforms et d'autres.

La filiale d'Alphabet a déclaré que les particuliers et les entreprises peuvent créer gratuitement des logiciels d'IA basés sur sa nouvelle famille de "modèles ouverts" appelée Gemma. L'entreprise met à la disposition du public des données techniques clés telles que les poids des modèles.

Cette initiative pourrait attirer des ingénieurs en logiciel pour construire sur la technologie de Google et encourager l'utilisation de sa division cloud nouvellement rentable. Les modèles sont "optimisés" pour Google Cloud, où les premiers clients qui les utilisent obtiennent 300 dollars de crédits, a indiqué la société.

Google n'a pas déclaré que Gemma était entièrement "open source", ce qui signifie que l'entreprise pourrait encore avoir son mot à dire dans la définition des conditions d'utilisation et de propriété. Certains experts ont déclaré que l'IA à code source ouvert était mûre pour les abus, tandis que d'autres ont défendu l'approche pour élargir l'ensemble des personnes qui peuvent contribuer à la technologie et en bénéficier.

Lors de cette annonce, Google n'a pas ouvert ses modèles plus grands et de premier plan, connus sous le nom de Gemini, contrairement à Gemma. Il a précisé que les modèles Gemma sont dimensionnés à deux milliards ou sept milliards de paramètres, c'est-à-dire le nombre de valeurs différentes qu'un algorithme prend en compte pour générer un résultat.

Les modèles Llama 2 de Meta ont une taille comprise entre sept et 70 milliards de paramètres. Google n'a pas divulgué la taille de ses plus grands modèles Gemini. À titre de comparaison, le modèle GPT-3 d'OpenAI annoncé en 2020 comptait 175 milliards de paramètres.

Le fabricant de puces NVIDIA a déclaré mercredi qu'il avait travaillé avec Google pour s'assurer que les modèles Gemma fonctionnent correctement sur ses puces. NVIDIA a également déclaré qu'il ferait bientôt fonctionner avec Gemma les logiciels de chatbot, qu'il développe pour faire tourner les modèles d'IA sur les PC Windows.

Source : "Gemma Open Models" (Google)

Et vous ?

Quel est votre avis sur le sujet ?

Que pensez-vous de cette initiative de Google, la trouvez-vous pertinente et crédible ?

Voir aussi :

Llama 2 : l'IA gratuite et open source de Meta n'est pas bon marché à utiliser, estiment certaines entreprises qui notent que Llama 2 nécessite beaucoup de ressources informatiques pour fonctionner

Meta s'associe à Microsoft et lance en open-source LLaMA 2 pour faire concurrence à chatGPT d'OpenAI, l'entreprise pourrait vouloir diluer l'avantage concurrentiel de ses rivaux

La startup Cerebras publie Cerebras-GPT, une famille de modèles linguistiques de type ChatGPT en open-source, les sept modèles GPT-3 établissent des records de précision et d'efficacité de calcul

[Anthony]

Google donne plus de détails sur Gemma, une famille de modèles d'IA ouverts qui a servi à créer Gemini, avec une nouvelle boîte à outils d’IA générative pour l'adapter à vos besoins

Google est convaincu de la nécessité de rendre l'IA utile à tous. L'entreprise contribue depuis longtemps aux innovations de la communauté ouverte, notamment avec Transformers, TensorFlow, BERT, T5, JAX, AlphaFold et AlphaCode. Aujourd'hui, Google présente une nouvelle génération de modèles ouverts pour aider les développeurs et les chercheurs à développer l'IA de manière responsable.

Gemma est une famille de modèles ouverts légers, à la pointe de la technologie, construits à partir des mêmes recherches et technologies que celles utilisées pour créer les modèles Gemini. Développé par Google DeepMind et d'autres équipes de Google, Gemma s'inspire de Gemini, et son nom reflète le latin gemma, qui signifie "pierre précieuse". Parallèlement aux poids des modèles, Google publie également des outils destinés à soutenir l'innovation des développeurs, à favoriser la collaboration et à guider l'utilisation responsable des modèles Gemma.

Gemma est disponible dans le monde entier à partir d'aujourd'hui. Voici les principaux détails à connaître :

• Gemma propose des modèles de poids en deux tailles : Gemma 2B et Gemma 7B. Chaque taille est publiée avec des variantes pré-entraînées et adaptées aux instructions.
• Une nouvelle boîte à outils d'IA générative responsable fournit des conseils et des outils essentiels pour créer des applications d'IA plus sûres avec Gemma.
• Gemma fournit des chaînes d'outils pour l'inférence et le réglage fin supervisé (SFT) dans tous les principaux frameworks : JAX, PyTorch, et TensorFlow à travers Keras 3.0.
• Des notebooks Colab et Kaggle prêts à l'emploi, ainsi que l'intégration avec des outils populaires tels que Hugging Face, MaxText, NVIDIA NeMo et TensorRT-LLM, facilitent la prise en main de Gemma.
• Les modèles Gemma pré-entraînés et réglés par instructions peuvent s'exécuter sur votre ordinateur portable, votre station de travail ou Google Cloud avec un déploiement facile sur Vertex AI et Google Kubernetes Engine (GKE).
• L'optimisation sur plusieurs plateformes matérielles d'IA garantit des performances à la pointe de l'industrie, notamment les GPU NVIDIA et les TPU Google Cloud.
• Les conditions d'utilisation permettent une utilisation commerciale et une distribution responsables pour toutes les organisations, quelle que soit leur taille.

Des performances de pointe en termes de taille

Les modèles Gemma partagent des composants techniques et d'infrastructure avec Gemini, le plus grand et le plus performant de des modèles d'IA de Google disponibles aujourd'hui. Cela permet aux modèles Gemma 2B et 7B d'atteindre les meilleures performances de leur catégorie par rapport à d'autres modèles ouverts. De plus, les modèles Gemma peuvent être exécutés directement sur un ordinateur portable ou de bureau du développeur. Notamment, Gemma surpasse des modèles beaucoup plus grands sur des points de référence clés tout en adhérant aux normes rigoureuses de Google pour des résultats sûrs et responsables.

Une conception responsable

Gemma est conçu en tenant compte des principes de Google en matière d'IA. Pour que les modèles pré-entraînés de Gemma soient sûrs et fiables, des techniques automatisées ont été utilisées pour filtrer certaines informations personnelles et d'autres données sensibles des ensembles d'entraînement. En outre, Google a eu recours à un réglage fin et à l'apprentissage par renforcement à partir du retour d'information humain (RLHF) afin d'aligner ses modèles d'instruction sur des comportements responsables. Pour comprendre et réduire le profil de risque des modèles Gemma, l'équipe a procédé à des évaluations rigoureuses, notamment des tests manuels en équipe restreinte, des tests automatisés de résistance et des évaluations des capacités des modèles pour les activités dangereuses. Ces évaluations sont décrites dans le Model Card.

Google publie également, en même temps que Gemma, une nouvelle boîte à outils pour l'IA générative responsable, afin d'aider les développeurs et les chercheurs à donner la priorité à la création d'applications d'IA sûres et responsables. La boîte à outils comprend :

• Classification de la sécurité : une nouvelle méthodologie pour construire des classificateurs de sécurité robustes avec un minimum d'exemples est proposée.
• Débogage : un outil de débogage du modèle vous aide à étudier le comportement de Gemma et à résoudre les problèmes potentiels.
• Conseils : vous pouvez accéder aux meilleures pratiques pour les créateurs de modèles, basées sur l'expérience de Google en matière de développement et de déploiement de modèles de langage de grande taille.

Optimisé à travers les frameworks, les outils et le matériel

Vous pouvez affiner les modèles Gemma sur vos propres données pour les adapter aux besoins d'applications spécifiques, telles que le résumé ou la génération augmentée de récupération (RAG). Gemma prend en charge une grande variété d'outils et de systèmes :

• Outils multi-framework : apportez votre framework préféré, avec des implémentations de référence pour l'inférence et le réglage fin à travers Keras 3.0 multi-framework, PyTorch natif, JAX, et Hugging Face Transformers.
• Compatibilité inter-appareils : les modèles Gemma s'exécutent sur les types d'appareils les plus courants, notamment les ordinateurs portables, les ordinateurs de bureau, l'IoT, les appareils mobiles et le cloud, ce qui permet de disposer de capacités d'IA largement accessibles.
• Des plateformes matérielles de pointe : Google a conclu un partenariat avec NVIDIA afin d'optimiser Gemma pour les GPU NVIDIA, du centre de données au cloud en passant par les PC RTX AI locaux, garantissant ainsi des performances à la pointe de l'industrie et une intégration avec les technologies les plus récentes.
• Optimisé pour Google Cloud : Vertex AI fournit un large ensemble d'outils MLOps avec une gamme d'options de réglage et un déploiement en un clic en utilisant des optimisations d'inférence intégrées. Une personnalisation avancée est disponible avec les outils Vertex AI entièrement gérés ou avec GKE autogéré, y compris le déploiement dans une infrastructure rentable sur GPU, TPU et CPU à partir de l'une ou l'autre plateforme.

Crédits gratuits pour la recherche et le développement

Gemma est conçu pour la communauté ouverte de développeurs et de chercheurs qui alimentent l'innovation en matière d'IA. Vous pouvez commencer à travailler avec Gemma dès aujourd'hui en utilisant un accès gratuit dans Kaggle, un niveau gratuit pour les carnets Colab et 300 $ de crédits pour les premiers utilisateurs de Google Cloud. Les chercheurs peuvent également demander des crédits Google Cloud allant jusqu'à 500 000 dollars pour accélérer leurs projets.

Pour bien démarrer

Alors que Google continue de développer la famille de modèles Gemma, elle se réjouit d'introduire de nouvelles variantes pour diverses applications. Restez à l'écoute des événements et des opportunités qui se présenteront dans les semaines à venir pour vous connecter, apprendre et construire avec Gemma.

Vous pouvez en savoir plus sur Gemma et accéder à des guides de démarrage rapide sur ai.google.dev/gemma.

Source : "Gemma Open Models" (Google)

Et vous ?

Quel est votre avis sur le sujet ?

Voir aussi :

Google publie Gemma, une famille de modèles d'IA ouverts et optimisés pour Google Cloud, que les développeurs extérieurs peuvent façonner comme les leurs, emboitant ainsi le pas à Meta Platforms

Gemini 1.5 surpasse GPT-4-Turbo-128K sur les longues invites de code , selon l'auteur de HVM, "Dans la tâche de compréhension de la base de code, Gemini 1.5 a absolument détruit GPT-4-Turbo-128K

Google lance Gemini, un modèle d'IA puissant qui, selon lui, peut surpasser GPT-4 et dispose de « capacités de raisonnement » avancées pour « réfléchir plus attentivement »

[Diablo150]

En gros on a un modèle au niveau de Mistral-7B, la licence Apache-2 en moins.

C'est ouvert mais pas libre, par certain que ça marche. Mistral-7B n'est pas seulement performant, il a aussi une licence permissive.