Google lance Gemma 3, le modèle d'IA le plus puissant que vous pouvez faire tourner sur un GPU

**Anthony** · 13/03/2025, 06h42

Google lance Gemma 3 : "le modèle d'IA le plus puissant que vous pouvez faire tourner sur un GPU", une IA open source avec un contexte de 128K optimisée pour fonctionner sur presque tout, du GPU au smartphone

Google présente Gemma 3, une collection de modèles ouverts légers et à la pointe de la technologie, conçus à partir des mêmes recherches et de la même technologie que les modèles Gemini 2.0. Il s'agit des modèles ouverts de Google les plus avancés, les plus portables et les plus développés de manière responsable. Ils sont conçus pour fonctionner rapidement, directement sur les appareils - des téléphones et ordinateurs portables aux stations de travail - aidant les développeurs à créer des applications IA, là où les gens en ont besoin.

La famille de modèles ouverts Gemma est fondatrice de l'engagement de Google à rendre accessible la technologie utile de l'IA. Le mois de février dernier, Google a célébré le premier anniversaire de Gemma, une étape importante marquée par une adoption incroyable - plus de 100 millions de téléchargements - et une communauté dynamique qui a créé plus de 60 000 variantes de Gemma.

La famille Gemma 3 est disponible en plusieurs tailles (1B, 4B, 12B et 27B), ce qui permet aux utilisateurs de choisir le modèle le mieux adapté à leurs besoins spécifiques en termes de matériel et de performances.

Les nouvelles fonctionnalités que les développeurs peuvent utiliser avec Gemma 3

Construire avec le meilleur modèle d'accélérateur unique au monde : Gemma 3 offre des performances de pointe pour sa taille, surpassant Llama-405B, DeepSeek-V3 et o3-mini dans les évaluations préliminaires des préférences humaines sur le leaderboard de LMArena. Cela vous aide à créer des expériences utilisateur attrayantes qui peuvent tenir sur un seul hôte GPU ou TPU.
Une dimension internationale en 140 langues : Créez des applications qui parlent la langue de vos clients. Gemma 3 offre une prise en charge prête à l'emploi de plus de 35 langues et une prise en charge pré-entraînée de plus de 140 langues.
Créer une IA avec des capacités avancées de raisonnement textuel et visuel : Créez facilement des applications qui analysent des images, du texte et de courtes vidéos, ouvrant ainsi de nouvelles possibilités pour des applications interactives et intelligentes.
Traiter des tâches complexes avec une fenêtre contextuelle élargie : Gemma 3 offre une fenêtre contextuelle de 128 000 jetons pour permettre à vos applications de traiter et de comprendre de grandes quantités d'informations.
Créer des flux de travail pilotés par l'IA à l'aide de l'appel de fonction : Gemma 3 prend en charge l'appel de fonction et la sortie structurée pour vous aider à automatiser les tâches et à créer des expériences agentiques.
Des performances élevées et plus rapides grâce aux modèles quantifiés : Gemma 3 introduit des versions quantifiées officielles, réduisant la taille des modèles et les besoins de calcul tout en conservant une grande précision.

Des protocoles de sécurité rigoureux pour construire Gemma 3 de manière responsable

Google estime que les modèles ouverts doivent faire l'objet d'une évaluation minutieuse des risques, et son approche concilie innovation et sécurité, en adaptant l'intensité des tests aux capacités des modèles. Le développement de Gemma 3 s'est accompagné d'une gouvernance étendue des données, d'un alignement sur les politiques de sécurité de l'entreprise par le biais d'une mise au point et d'évaluations de référence solides.

Alors que les tests approfondis des modèles les plus performants éclairent souvent l'évaluation des modèles moins performants, l'amélioration des performances STEM de Gemma 3 a donné lieu à des évaluations spécifiques par Google axées sur le potentiel d'utilisation abusive du modèle dans la création de substances nocives ; les résultats indiquent un faible niveau de risque.

À mesure que l'industrie développe des modèles plus puissants, il sera essentiel de développer collectivement des approches de la sécurité proportionnelles aux risques. Ainsi, Google a indique qu'elle continuera d'apprendre et d'affiner ses pratiques de sécurité pour les modèles ouverts au fil du temps.

Nom : Google Gemma 3 2.PNG
Affichages : 6419
Taille : 74,0 Ko

Sécurité intégrée pour les applications d'imagerie avec ShieldGemma 2

Parallèlement à Gemma 3, Google a également lancé ShieldGemma 2, un puissant vérificateur de sécurité des images 4B construit sur la base de Gemma 3. ShieldGemma 2 fournit une solution prête à l'emploi pour la sécurité des images, en produisant des étiquettes de sécurité dans trois catégories de sécurité : contenu dangereux, sexuellement explicite et violence.

Les développeurs peuvent personnaliser ShieldGemma en fonction de leurs besoins en matière de sécurité et de leurs utilisateurs. ShieldGemma 2 est ouvert et construit pour donner de la flexibilité et du contrôle, en tirant parti de la performance et de l'efficacité de l'architecture Gemma 3 pour promouvoir un développement responsable de l'IA.

Prêt pour une intégration avec les outils que vous utilisez déjà

Gemma 3 et ShieldGemma 2 s'intègrent parfaitement à vos flux de travail existants :

Développez avec vos outils préférés : Avec la prise en charge de Hugging Face Transformers, Ollama, JAX, Keras, PyTorch, Google AI Edge, UnSloth, vLLM et Gemma.cpp, vous avez la possibilité de choisir les meilleurs outils pour votre projet.
Commencez à expérimenter en quelques secondes : Accédez instantanément à Gemma 3 et commencez à construire immédiatement. Explorez tout son potentiel dans Google AI Studio, ou téléchargez les modèles via Kaggle ou Hugging Face.
Personnalisez Gemma 3 en fonction de vos besoins spécifiques : Gemma 3 est livré avec une base de code remaniée qui comprend des recettes pour un réglage fin et une inférence efficaces. Entraînez et adaptez le modèle en utilisant votre plateforme préférée, comme Google Colab, Vertex AI ou même votre GPU de jeu.
Déployez à votre guise : Gemma 3 offre de multiples options de déploiement, notamment Vertex AI, Cloud Run, l'API Google GenAI, les environnements Iocal et d'autres plateformes, ce qui vous donne la flexibilité de choisir ce qui convient le mieux à votre application et à votre infrastructure.
Bénéficiez de performances optimisées sur les GPU NVIDIA : NVIDIA a directement optimisé les modèles Gemma 3 pour garantir des performances maximales sur les GPU de toutes tailles, des Jetson Nano aux dernières puces Blackwell. Gemma 3 figure désormais dans le catalogue d'API de NVIDIA, ce qui permet un prototypage rapide par un simple appel d'API.
Accélérez votre développement IA sur de nombreuses plateformes matérielles : Gemma 3 est également optimisé pour les TPU de Google Cloud et s'intègre aux GPU AMD via la pile open-source ROCm. Pour l'exécution sur processeur, Gemma.cpp offre une solution directe.

Nom : Google Gemma 3 1.PNG
Affichages : 1474
Taille : 74,9 Ko

Un « Gemmaverse » de modèles et d'outils

Le Gemmaverse est un vaste écosystème de modèles et d'outils Gemma créés par la communauté, prêts à alimenter et à inspirer l'innovation. Par exemple, SEA-LION v3 d'IA Singapour fait tomber les barrières linguistiques et favorise la communication dans toute l'Asie du Sud-Est ; BgGPT d'INSIAT est un grand modèle de langage pionnier en langue bulgare qui démontre la puissance de Gemma pour prendre en charge diverses langues ; et OmniAudio de Nexa IA présente le potentiel de l'IA sur appareil, en apportant des capacités de traitement audio avancées aux appareils de tous les jours.

Afin de promouvoir davantage les avancées de la recherche universitaire, Google lance également le programme académique Gemma 3. Les chercheurs universitaires peuvent demander des crédits Google Cloud (d'une valeur de 10 000 dollars par prix) pour accélérer leurs recherches basées sur Gemma 3.

Et vous ?

Quel est votre avis sur le sujet ?

Trouvez-vous cette initiative de Google crédible ou pertinente ?

Voir aussi :

Google publie Gemma, une famille de modèles d'IA ouverts et optimisés pour Google Cloud, que les développeurs extérieurs peuvent façonner comme les leurs, emboitant ainsi le pas à Meta Platforms

Google DeepMind lance le modèle Gemma 2 à 2 milliards de paramètres, un modèle texte-à-texte ouvert et léger conçu pour les développeurs et les chercheurs, et construit sur la technologie de Google Gemini

**Jade Emy** · 21/04/2025, 10h26

Google lance de nouveaux modèles QAT Gemma 3, optimisés avec Quantization-Aware Training (QAT) qui réduirait considérablement les besoins en mémoire tout en maintenant une haute qualité.

Après son lancement de Gemma 3, Google a publié une version de Gemma 3 optimisée pour l'apprentissage par quantification (QAT), qui réduit considérablement les besoins en mémoire tout en préservant la qualité du modèle. Plus précisément, la demande en VRAM du modèle Gemma3 27B optimisé par QAT a considérablement diminué, passant de 54 Go à 14,1 Go, ce qui signifie que les utilisateurs peuvent désormais faire tourner ce grand modèle localement sur des GPU grand public comme la NVIDIA RTX 3090.

En mars 2025, Google a lancé Gemma 3, sa dernière génération de modèles ouverts. Offrant des performances de pointe, Gemma 3 s'est imposé comme un modèle de premier plan capable de fonctionner sur un seul GPU haut de gamme comme le NVIDIA H100 en utilisant sa précision native BFloat16 (BF16).

Pour rendre Gemma 3 encore plus accessible, Google annonce de nouvelles versions optimisées avec Quantization-Aware Training (QAT) qui réduirait considérablement les besoins en mémoire tout en maintenant une haute qualité. Cela vous permettrait d'exécuter localement des modèles puissants comme Gemma 3 27B sur des GPU grand public comme la NVIDIA RTX 3090.

Nom : 1.jpg
Affichages : 5419
Taille : 24,9 Ko

Comprendre les performances, la précision et la quantification

Le graphique ci-dessus montre les performances (score Elo) des grands modèles de langues récemment publiés. Les barres plus hautes indiquent une meilleure performance dans les comparaisons évaluées par des humains regardant côte à côte les réponses de deux modèles anonymes. Sous chaque barre, il est indiqué le nombre estimé de GPU NVIDIA H100 nécessaires pour exécuter ce modèle en utilisant le type de données BF16.

Pourquoi utiliser BFloat16 pour cette comparaison ? BF16 est un format numérique couramment utilisé lors de l'inférence de nombreux modèles de grande taille. Cela signifie que les paramètres du modèle sont représentés avec 16 bits de précision. L'utilisation de BF16 pour tous les modèles permet de comparer les modèles dans une configuration d'inférence commune. Cela permet de comparer les capacités inhérentes aux modèles eux-mêmes, en éliminant les variables telles que les différents matériels ou les techniques d'optimisation telles que la quantification.

Il est important de noter que si ce graphique utilise BF16 pour une comparaison équitable, le déploiement des modèles les plus importants implique souvent l'utilisation de formats de précision inférieure comme FP8 comme une nécessité pratique pour réduire les exigences matérielles immenses (comme le nombre de GPU), en acceptant potentiellement un compromis de performance pour la faisabilité.

Les modèles QAT Gemma 3 pour plus d'accessibilité

Bien que les performances de pointe sur du matériel haut de gamme soient excellentes pour les déploiements dans le cloud et la recherche, Google souhaite rendre l'IA puissante plus accessible, ce qui signifie permettre des performances efficaces sur les GPU grand public que l'on trouve dans les ordinateurs de bureau, les ordinateurs portables et même les téléphones.

C'est là que la quantification entre en jeu. Dans les modèles d'IA, la quantification réduit la précision des nombres (les paramètres du modèle) qu'il stocke et utilise pour calculer les réponses. La quantification est comparable à la compression d'une image en réduisant le nombre de couleurs qu'elle utilise. Au lieu d'utiliser 16 bits par nombre (BFloat16), on peut utiliser moins de bits, comme 8 (int8) ou même 4 (int4).

L'utilisation de int4 signifie que chaque nombre est représenté en utilisant seulement 4 bits - une réduction de 4 fois la taille des données par rapport à BF16. La quantification peut souvent entraîner une dégradation des performances, mais Google affirme que les modèles Gemma 3 sont robustes à la quantification. Googla a publié plusieurs variantes quantifiées pour chaque modèle Gemma 3 afin de permettre l'inférence avec votre moteur d'inférence préféré, comme Q4_0 (un format de quantification courant) pour Ollama, llama.cpp et MLX.

Google déclare :

Comment maintenons-nous la qualité ? Nous utilisons QAT. Au lieu de quantifier le modèle une fois qu'il a été entièrement entraîné, QAT incorpore le processus de quantification pendant l'entraînement. QAT simule des opérations de faible précision pendant la formation afin de permettre une quantification avec moins de dégradation par la suite pour des modèles plus petits et plus rapides tout en maintenant la précision. En approfondissant, nous avons appliqué QAT sur ~5 000 étapes en utilisant les probabilités du point de contrôle non quantifié comme cibles. Nous avons réduit la chute de perplexité de 54% (en utilisant l'évaluation de perplexité de llama.cpp) lors de la quantification jusqu'à Q4_0.

Voici les résultats publiés par Google :

Nom : 2.jpg
Affichages : 868
Taille : 35,3 Ko

Le graphique montre la VRAM (mémoire du GPU) requise juste pour charger les poids du modèle :

Gemma 3 27B : passe de 54 Go (BF16) à seulement 14,1 Go (int4)
Gemma 3 12B : passe de 24 Go (BF16) à seulement 6,6 Go (int4)
Gemma 3 4B : Passe de 8 Go (BF16) à 2,6 Go (int4)
Gemma 3 1B : Passe de 2 Go (BF16) à un minuscule 0,5 Go (int4)

Ces réductions devraient permettre d'exécuter des modèles plus grands et plus puissants sur du matériel grand public largement disponible :

Gemma 3 27B (int4) : Tient désormais sur une carte NVIDIA RTX 3090 (24 Go de VRAM) ou une carte similaire, ce qui vous permet de faire tourner localement la plus grande variante de Gemma 3.
Gemma 3 12B (int4) : Fonctionne sur les GPU d'ordinateurs portables tels que le GPU NVIDIA RTX 4060 (8 Go de VRAM), apportant de puissantes capacités d'IA aux machines portables.
Modèles plus petits (4B, 1B) : Offrent une accessibilité encore plus grande aux systèmes dont les ressources sont plus limitées, y compris les téléphones.

En outre, Google annonce la disponibilité des modèles QAT dans plusieurs cadre. Les modèles officiels int4 et Q4_0 non quantifiés sont disponibles sur Hugging Face et Kaggle. Google annonce égalelment le partenariat avec des outils de développement populaires :

Ollama : Soyez rapidement opérationnel - tous les modèles QAT Gemma 3 sont nativement pris en charge.
LM Studio : Téléchargez et exécutez facilement les modèles QAT de Gemma 3 sur votre bureau grâce à son interface.
MLX : Exploitez MLX pour une inférence efficace et optimisée des modèles QAT de Gemma 3 sur Apple Silicon.
Gemma.cpp : Utilisez l'implémentation C++ dédiée pour une inférence hautement efficace directement sur le CPU.
llama.cpp : S'intègre facilement dans les flux de travail existants grâce à la prise en charge native des modèles QAT au format GGUF.

Google conclut son annonce :

Nos modèles officiels QAT (Quantization Aware Trained) fournissent une base de haute qualité, mais le vibrant Gemmaverse offre de nombreuses alternatives. Celles-ci utilisent souvent la quantification post-entraînement (PTQ), avec des contributions significatives de membres tels que Bartowski, Unsloth, et GGML facilement disponibles sur Hugging Face. L'exploration de ces options communautaires offre un plus large éventail de compromis en termes de taille, de vitesse et de qualité pour répondre à des besoins spécifiques.

Source : Google

Et vous ?

Pensez-vous que ces modèles QAT sont crédibles ou pertinents ?

Quel est votre avis sur le sujet ?

Voir aussi :

Google DeepMind lance le modèle Gemma 2 à 2 milliards de paramètres, un modèle texte-à-texte ouvert et léger conçu pour les développeurs et les chercheurs et construit sur la technologie de Google Gemini

Les organisations utiliseront trois fois plus de petits modèles d'IA spécifiques à une tâche que de grands LLM à usage général, pour des réponses plus rapides et moins de puissance de calcul, d'après Gartner

Les entreprises d'IA s'inspirent de l'exemple de DeepSeek et créent des modèles performants et moins coûteux grâce à la « distillation », mais les experts préviennent qu'ils sont plus limités

**Jade Emy** · 22/05/2025, 20h26

Google annonce en avant-première Gemma 3n, la dernière version de son modèle d'IA ouvert capable de fonctionner sur un seul GPU, Gemma 3n serait une IA puissante, efficace et mobile-first

Google a dévoilé Gemma 3n, une nouvelle addition à sa famille de modèles d'IA "ouverts" conçue pour fonctionner efficacement sur les smartphones, ordinateurs portables et tablettes avec seulement un seul GPU. Gemma 3n serait capable de traiter du texte, des images et, à terme, de l'audio et de la vidéo directement sur les appareils sans nécessiter du cloud computing.

En mars 2025, Google a lancé Gemma 3, une famille de modèles ouverts capables de fonctionner sur un seul accélérateur de cloud ou de bureau. Puis en avril, Google a annoncé Gemma 3 QAT qui réduit les besoins en mémoire tout en préservant la qualité du modèle. L'objectif de Google est que Gemma 3 fournisse de "puissantes capacités" aux développeurs tout en étant une "IA en temps réel hautement performante", fonctionnant directement sur les appareils tel que les téléphones, les tablettes et les ordinateurs portables.

Pour alimenter la prochaine génération d'IA sur les appareils et prendre en charge une gamme variée d'applications, y compris l'amélioration des capacités de Gemini Nano, Google rapporte avoir conçu une nouvelle architecture de pointe. Créée en collaboration avec des leaders du matériel mobile tels que Qualcomm Technologies, MediaTek et Samsung System LSI, Google affirme que cette nouvelle architecture est optimisée pour une IA multimodale rapide comme l'éclair, "permettant des expériences véritablement personnelles et privées directement sur votre appareil".

Avec cette nouvelle découverte, Google a récemment annoncé Gemma 3n en avant-première, son premier modèle ouvert construit sur cette architecture, qui arrivera sur Android et Chrome. Google annonce également que cette même architecture serait à la base de la prochaine génération de Gemini Nano, qui sera disponible dans le courant de l'année.

Nom : 1.jpg
Affichages : 27631
Taille : 36,6 Ko

Gemma 3n exploite l'architecture de Google DeepMind appelée Per-Layer Embeddings (PLE) qui permet de réduire l'utilisation de la RAM. Alors que le nombre de paramètres bruts est de 5B et 8B, cette innovation permettrait d'exécuter des modèles plus importants sur des appareils mobiles ou de les diffuser en direct depuis le cloud, avec une surcharge de mémoire comparable à un modèle de 2B et 4B, ce qui signifie que les modèles peuvent fonctionner avec une empreinte mémoire dynamique de seulement 2GB et 3GB.

En explorant Gemma 3n, les développeurs peuvent avoir un premier aperçu des capacités principales du modèle ouvert et des innovations architecturales mobiles qui seront disponibles sur Android et Chrome avec Gemini Nano.

Présentation des capacités de Gemma 3n

Conçu pour des expériences d'IA rapides et peu encombrantes fonctionnant localement, Gemma 3n offrirait :

Des performances et une efficacité optimisées sur l'appareil : Gemma 3n commence à répondre environ 1,5 fois plus vite sur mobile avec une qualité supérieure par rapport à Gemma 3 4B et une empreinte mémoire réduite grâce à l'intégration par couche, le partage KVC et la quantification d'activation avancée.
Flexibilité multiple en 1 : Un modèle avec une empreinte mémoire active de 4B qui inclut nativement un sous-modèle imbriqué avec une empreinte mémoire active de 2B (grâce à la formation MatFormer). Cela permet d'arbitrer dynamiquement entre performance et qualité sans avoir à héberger des modèles distincts. Gemma 3n introduit une capacité de mix'n'match pour créer dynamiquement des sous-modèles à partir du modèle 4B qui peuvent s'adapter de manière optimale à un cas d'utilisation spécifique, ainsi qu'au compromis qualité/latence qui en découle.
Privilégier la confidentialité et être prêt à fonctionner hors ligne : L'exécution locale permet des fonctionnalités qui respectent la vie privée de l'utilisateur et fonctionnent de manière fiable, même sans connexion internet.
Compréhension multimodale élargie avec l'audio : Gemma 3n peut comprendre et traiter de l'audio, du texte et des images, et offrirait une compréhension vidéo. Ses capacités audio permettent au modèle d'effectuer une reconnaissance automatique de la parole (transcription) et une traduction (de la parole au texte traduit) de qualité. En outre, le modèle accepte des entrées entrelacées entre les modalités, ce qui permet de comprendre des interactions multimodales complexes. (Mise en œuvre publique à venir)
Amélioration des capacités multi-langues : Amélioration des performances multilingues, en particulier en japonais, allemand, coréen, espagnol et français. De solides performances se reflètent dans les tests de référence multilingues tels que 50,1 % pour WMT24++ (ChrF).

Nom : 2.jpg
Affichages : 6943
Taille : 62,2 Ko

Disponibilité

Exploration basée sur le cloud avec Google AI Studio : Essayez Gemma 3n directement dans votre navigateur sur Google AI Studio - aucune configuration n'est nécessaire. Explorez ses capacités de saisie de texte instantanément.
Développement sur appareil avec Google AI Edge : pour les développeurs qui souhaitent intégrer Gemma 3n localement, Google AI Edge fournit des outils et des bibliothèques. Vous pouvez commencer à utiliser les capacités de compréhension/génération de texte et d'image.