Discussion :

[Stéphane le calme]

Google lance Gemini 1.5, une semaine après Gemini Ultra 1.0
« Gemini 1.5 Pro atteint une qualité comparable à 1.0 Ultra, tout en utilisant moins de calcul », explique le PDG Sundar Pichai

Une semaine après sa dernière annonce majeure en matière d'IA, Google semble s'être surpassé. Jeudi de la semaine dernière, Google a lancé Gemini Ultra 1.0, qui était censé représenter le meilleur modèle de langage d'IA que Google pouvait rassembler - disponible dans le cadre de l'assistant d'IA rebaptisé "Gemini" (anciennement Bard). Cette fois-ci, Google annonce Gemini Pro 1.5, qui, selon la société, « atteint une qualité comparable à celle de 1.0 Ultra, tout en utilisant moins de ressources informatiques ».

Deux mois à peine après le lancement de Gemini, le grand modèle de langage sur lequel Google mise pour se hisser au sommet de l'industrie de l'IA, l'entreprise annonce déjà son successeur. Google a présenté Gemini 1.5 et le met à la disposition des développeurs et des utilisateurs professionnels, avant de le proposer prochainement au grand public. L'entreprise a clairement indiqué qu'elle souhaitait faire de Gemini un outil professionnel, un assistant personnel et tout ce qui se trouve entre les deux, et qu'elle met tout en œuvre pour atteindre cet objectif.

Gemini 1.5 comporte de nombreuses améliorations : Gemini 1.5 Pro, le modèle polyvalent du système de Google, est apparemment au même niveau que le Gemini Ultra haut de gamme que l'entreprise n'a lancé que récemment, et il a surpassé Gemini 1.0 Pro dans 87 % des tests de référence. Il a été réalisé à l'aide d'une technique de plus en plus courante appelée "Mixture of Experts" (MoE), ce qui signifie qu'il n'exécute qu'une partie du modèle global lorsque vous envoyez une requête, plutôt que de traiter l'ensemble du modèle en permanence (cette approche devrait rendre le modèle plus rapide pour vous et plus efficace pour Google).

Mais il y a une nouveauté dans Gemini 1.5 qui enthousiasme toute l'entreprise, à commencer par le PDG Sundar Pichai : Gemini 1.5 dispose d'une énorme fenêtre contextuelle, ce qui signifie qu'il peut traiter des requêtes beaucoup plus importantes et examiner beaucoup plus d'informations à la fois. Cette fenêtre est d'un million de jetons, contre 128 000 pour la GPT-4 d'OpenAI et 32 000 pour la version actuelle de Gemini Pro. Les jetons sont une mesure difficile à comprendre, c'est pourquoi Pichai simplifie : « Cela représente environ 10 ou 11 heures de vidéo, des dizaines de milliers de lignes de code ». La fenêtre contextuelle permet d'interroger l'intelligence artificielle sur l'ensemble de ce contenu en une seule fois.

La semaine dernière, nous avons lancé notre modèle le plus performant, Gemini 1.0 Ultra, et nous avons fait un grand pas en avant pour rendre les produits Google plus utiles, en commençant par Gemini Advanced. Aujourd'hui, les développeurs et les clients du cloud peuvent commencer à construire avec 1.0 Ultra, grâce à notre API Gemini dans AI Studio et Vertex AI.

Nos équipes continuent de repousser les limites de nos derniers modèles en plaçant la sécurité au cœur de leurs préoccupations. Elles font des progrès rapides. En fait, nous sommes prêts à présenter la prochaine génération : Gemini 1.5. Il présente des améliorations spectaculaires dans un certain nombre de dimensions et 1.5 Pro atteint une qualité comparable à 1.0 Ultra, tout en utilisant moins de calcul.

Cette nouvelle génération offre également une percée dans la compréhension des contextes longs. Nous avons pu augmenter de manière significative la quantité d'informations que nos modèles peuvent traiter - en exécutant jusqu'à 1 million de tokens de manière cohérente, nous avons obtenu la plus longue fenêtre contextuelle de tous les modèles de fondation à grande échelle à ce jour.

L'allongement de la fenêtre contextuelle nous laisse entrevoir les possibilités qui s'offrent à nous. Elles permettront des capacités entièrement nouvelles et aideront les développeurs à créer des modèles et des applications beaucoup plus utiles. Nous sommes ravis d'offrir un aperçu limité de cette fonctionnalité expérimentale aux développeurs et aux entreprises clientes. Demis en dit plus sur les capacités, la sécurité et la disponibilité ci-dessous.

Un « saut générationnel », selon les chercheurs de Google

« Gemini 1.5 Pro permet d'obtenir un rappel [ndlr. "recall" en anglais, qui est la capacité d'un modèle à trouver tous les cas pertinents dans un ensemble de données] presque parfait sur les tâches de recherche en contexte long dans toutes les modalités, améliore l'état de l'art en matière d'assurance qualité des documents longs, d'assurance qualité des vidéos longues et d'ASR en contexte long, et égale ou dépasse les performances de pointe de Gemini 1.0 Ultra sur un large éventail de points de référence », écrivent les chercheurs de Google dans un document technique sur Gemini 1.5 Pro.

En d'autres termes, lorsqu'on lui présente un long document à assimiler - jusqu'à 10 millions de jetons - Gemini 1.5 peut répondre de manière appropriée à une requête spécifique dans plus de 99 % des cas. Selon les chercheurs de Google, la capacité de 10 millions de jetons de Gemini représente « un saut générationnel par rapport aux modèles existants tels que Claude 2.1 et GPT-4 Turbo, qui pour l'instant plafonnent respectivement à 200 000 et 128 000 jetons ».

« Le modèle Gemini Ultra surpasse actuellement toutes les alternatives existantes sur un large éventail de tests de référence », a déclaré François Chollet, créateur de Keras et ingénieur logiciel chez Google, dans un billet en ligne. « Google dispose d'un mécanisme de filtrage des jeux de tests de pointe qui n'a pas d'équivalent à l'extérieur, de sorte que les tests de référence surestiment probablement d'autres modèles ».

More broadly: the Gemini Ultra model currently beats all existing alternative on a broad range of benchmarks -- and that's with Google having a state-of-the-art test set filtering mechanism that is unmatched externally, so the benchmarks are likely overestimating other models.

— François Chollet (@fchollet) February 9, 2024

Citant ces tests, Jeff Dean, scientifique en chef chez Google DeepMind et Google Research, a déclaré dans un message en ligne : « Pour le texte, Gemini 1.5 Pro atteint 100 % de rappel jusqu'à 530k tokens, 99,7 % jusqu'à 1M tokens et 99,2 % de précision jusqu'à 10M tokens ».

Needle in a Haystack tests

The tech report also details a number of microbenchmark “needle in a haystack” tests (modeled after @GregKamradt’s https://t.co/Hms5EalX1L) that probe the model’s ability to retrieve specific information from its context.

For text, Gemini 1.5 Pro… pic.twitter.com/75isTIRCsg

— Jeff Dean (@🏡) (@JeffDean) February 15, 2024

La grande capacité de Gemini 1.5 Pro lui permet de réaliser des exploits tels que l'ingestion de la transcription de 402 pages du vol Apollo 11 (326 914 jetons) puis, lorsqu'on le lui demande, de trouver « trois moments comiques » dans les échanges entre les astronautes d'Apollo 11 et d'identifier le texte de la transcription qui correspond à un croquis dessiné à la main d'une botte marchant sur la surface lunaire.

Lors de l'alimentation de Sherlock Jr, un film de 45 minutes de Buster Keaton datant de 1924 (2 674 images à 1FPS, 684K jetons), Gemini 1.5 Pro a répondu à l'invite « Donne-moi quelques informations clés sur le morceau de papier qui est retiré de la poche de la personne, et le timecode de ce moment » en récitant le texte de la note dans le film et l'heure à laquelle la scène s'est déroulée.

Google offre gratuitement aux développeurs et aux entreprises clientes un aperçu limité de Gemini 1.5 Pro avec une fenêtre contextuelle de 1 million de jetons par l'intermédiaire de ses services AI Studio et Vertex AI. La disponibilité générale avec une fenêtre contextuelle de 128K jetons sera annoncée ultérieurement, de même que la structure de prix de la méga-entreprise.

Fiche technique : le meilleur modèle de codage existant ?

Pour ceux qui souhaitent se plonger dans les détails techniques, Google a publié un rapport technique sur Gemini 1.5 qui semble montrer que Gemini est plus performant que GPT-4 Turbo sur diverses tâches, mais il est également important de noter que la sélection et l'interprétation de ces benchmarks peuvent être subjectives. Le rapport donne quelques chiffres sur l'amélioration de la version 1.5 par rapport à la version 1.0, indiquant qu'elle est 28,9 % plus performante que la version 1.0 Pro en « mathématiques, sciences et raisonnement » et 5,2 % plus performante dans ces domaines que la version 1.0 Ultra.

Selon natrual2code, Gemini 1.5 Pro dispose de la meilleure précision en codage :

Les points saillants de Gemini 1.5

Google a noté les points forts de la nouvelle version. Ci-dessous un extrait de son communiqué :

Une architecture très efficace

Gemini 1.5 s'appuie sur nos recherches de pointe en matière d'architecture Transformer et MoE. Alors qu'un transformateur traditionnel fonctionne comme un grand réseau neuronal, les modèles MoE sont divisés en réseaux neuronaux "experts" plus petits.

En fonction du type d'entrée, les modèles MoE apprennent à activer de manière sélective les voies expertes les plus pertinentes de leur réseau neuronal. Cette spécialisation améliore considérablement l'efficacité du modèle. Google a été l'un des premiers adoptants et pionniers de la technique MoE pour l'apprentissage profond grâce à des recherches telles que Sparsely-Gated MoE, GShard-Transformer, Switch-Transformer, M4 et bien d'autres encore.

Nos dernières innovations en matière d'architecture de modèle permettent à Gemini 1.5 d'apprendre des tâches complexes plus rapidement et de maintenir la qualité, tout en étant plus efficace pour la formation et le service. Ces gains d'efficacité permettent à nos équipes d'itérer, de former et de fournir des versions plus avancées de Gemini plus rapidement que jamais, et nous travaillons à d'autres optimisations.

Plus de contexte, plus de capacités utiles

La "fenêtre contextuelle" d'un modèle d'IA est constituée de jetons, qui sont les éléments de base utilisés pour traiter les informations. Les jetons peuvent être des parties ou des sous-sections entières de mots, d'images, de vidéos, de sons ou de codes. Plus la fenêtre contextuelle d'un modèle est grande, plus il peut absorber et traiter d'informations dans une invite donnée, ce qui rend ses résultats plus cohérents, plus pertinents et plus utiles.

Grâce à une série d'innovations en matière d'apprentissage automatique, nous avons augmenté la capacité de la fenêtre contextuelle de 1.5 Pro bien au-delà des 32 000 jetons prévus à l'origine pour Gemini 1.0. Nous pouvons désormais utiliser jusqu'à 1 million de jetons en production.

Cela signifie que 1.5 Pro peut traiter de grandes quantités d'informations en une seule fois, y compris 1 heure de vidéo, 11 heures d'audio, des bases de code de plus de 30 000 lignes de code ou plus de 700 000 mots. Dans le cadre de nos recherches, nous avons également testé avec succès jusqu'à 10 millions de jetons.

Raisonnement complexe sur de grandes quantités d'informations

1.5 Pro est capable d'analyser, de classer et de résumer de grandes quantités d'informations dans un document donné. Par exemple, lorsqu'on lui donne les 402 pages de la transcription de la mission d'Apollo 11 sur la lune, il peut raisonner sur les conversations, les événements et les détails trouvés dans le document.

Une meilleure compréhension et un meilleur raisonnement entre les différentes modalités

1.5 Pro peut effectuer des tâches de compréhension et de raisonnement très sophistiquées pour différentes modalités, y compris la vidéo. Par exemple, lorsqu'on lui présente un film muet de 44 minutes de Buster Keaton, le modèle peut analyser avec précision les différents points de l'intrigue et les événements, et même raisonner sur de petits détails du film qui pourraient facilement passer inaperçus.

OpenAI dévoile de son côté Sora

Pour ne pas être en reste, OpenAI a dévoilé jeudi Sora, un modèle de conversion de texte en vidéo. À partir d'un texte, il crée une courte vidéo, d'une durée maximale d'une minute.

Selon l'entreprise, Sora peut générer des scènes complexes avec plusieurs personnages qui se déplacent et interagissent avec le monde dépeint de manière cohérente. Le super laboratoire a tweeté des exemples de sa production.

Introducing Sora, our text-to-video model.

Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W

Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf

— OpenAI (@OpenAI) February 15, 2024

Jim Fan, chercheur principal chez Nvidia, a décrit Sora comme un moteur physique piloté par les données et il suppose qu'il a été entraîné sur un grand nombre de données synthétiques provenant d'Unreal Engine 5 :

Si vous pensez que OpenAI Sora est un jouet créatif comme DALLE, ... détrompez-vous. Sora est un moteur physique piloté par des données. Il s'agit d'une simulation de nombreux mondes, réels ou fantastiques. Le simulateur apprend le rendu complexe, la physique "intuitive", le raisonnement à long terme et l'ancrage sémantique, le tout grâce au débruitage et aux mathématiques de gradient.

Je ne serais pas surpris que Sora soit entraîné sur de nombreuses données synthétiques à l'aide d'Unreal Engine 5. Il faut qu'il le soit !

Analysons la vidéo suivante. Invitation : « Vidéo photoréaliste en gros plan de deux bateaux pirates s'affrontant alors qu'ils naviguent à l'intérieur d'une tasse de café ».

• Le simulateur instancie deux actifs 3D exquis : des bateaux de pirates avec des décorations différentes. Sora doit résoudre le problème du passage du texte à la 3D de manière implicite dans son espace latent.
• Les objets 3D sont animés de manière cohérente lorsqu'ils naviguent et évitent les trajectoires des autres.
• La dynamique des fluides du café, et même les mousses qui se forment autour des navires. La simulation des fluides est un sous-domaine entier de l'infographie, qui nécessite traditionnellement des algorithmes et des équations très complexes.
• Photoréalisme, presque comme un rendu avec raytracing.
• Le simulateur tient compte de la petite taille de la tasse par rapport aux océans, et applique la technique du tilt-shift pour donner une impression de "minuscule".
• La sémantique de la scène n'existe pas dans le monde réel, mais le moteur met en œuvre les règles physiques correctes que nous attendons.

Prochaine étape : ajouter d'autres modalités et conditionnements, et nous aurons alors une UE complète basée sur les données qui remplacera tous les pipelines graphiques conçus à la main.

If you think OpenAI Sora is a creative toy like DALLE, ... think again. Sora is a data-driven physics engine. It is a simulation of many worlds, real or fantastical. The simulator learns intricate rendering, "intuitive" physics, long-horizon reasoning, and semantic grounding, all… pic.twitter.com/pRuiXhUqYR

— Jim Fan (@DrJimFan) February 15, 2024

Sora n'est pas encore accessible au public car il doit encore subir des tests de sécurité.

« Le modèle actuel présente des faiblesses », a déclaré OpenAI dans un billet de blog. « Il peut avoir du mal à simuler avec précision la physique d'une scène complexe et peut ne pas comprendre des cas spécifiques de cause à effet. Par exemple, une personne peut prendre une bouchée d'un biscuit, mais après, le biscuit peut ne pas avoir de trace de morsure ».

Le modèle a également des difficultés avec les détails spatiaux (par exemple, distinguer la gauche de la droite) et n'est pas très à l'aise avec les descriptions qui décrivent des changements dans le temps.

Par conséquent, Sora est proposé aux "red teamers" qui testeront le modèle pour déterminer s'il est nuisible, ainsi qu'à divers artistes visuels afin d'obtenir un retour d'information sur la manière dont le modèle pourrait être utile dans le cadre de leur travail.

Selon OpenAI, une fois Sora intégré dans un produit public, « notre classificateur de texte vérifiera et rejettera les invites de saisie de texte qui sont en violation de nos politiques d'utilisation, comme celles qui demandent une violence extrême, un contenu sexuel, une imagerie haineuse, l'image d'une célébrité ou la propriété intellectuelle d'autrui ».

Sources : document technique sur Gemini 1.5 Pro, exemple d'analyse d'une transcription de 402 pages de la mission d'Apollo 11 sur la Lune, explication sur Mixture-of-Experts

Et vous ?

Quelle lecture faites-vous de Gemini 1.5 ? Que pensez-vous des performances annoncées par Google ?
Que pensez-vous de Sora ?

[Jade Emy]

Gemini 1.5 surpasse GPT-4-Turbo-128K sur les longues invites de code, selon l'auteur de HVM, "Dans la tâche de compréhension de la base de code, Gemini 1.5 a absolument détruit GPT-4-Turbo-128K.

L'auteur de HVM a mis une base de code complexe dans un seul prompt de 120K-tokens, et il a posé 7 questions GPT-4 et Gemini 1.5. Voici les résultats !

Je suis l'auteur de HVM1, qui est actuellement en cours de mise à jour vers HVM2. Il s'agit de deux bases de code complexes qui implémentent un runtime parallèle inet ; en gros, des trucs de compilateurs durs. L'utilisateur @SullyOmarr sur X, qui a obtenu l'accès à Gemini 1.5, m'a gentiment offert un prompt. J'ai donc concaténé les deux bases de code HVM en un seul fichier de 120K-token, et j'ai posé 7 questions à Gemini et GPT-4. Voici les résultats complets.

Répartition :

1. Laquelle est basée sur un calcul de type terme, et laquelle est basée sur des combinateurs d'interaction bruts ?
   
   Il s'agit d'une information de base, répétée à de nombreux endroits, qui ne devrait donc pas être difficile à trouver. En effet, les deux ont eu raison. Égalité.
   
   
2. Comment la syntaxe de chacun fonctionne-t-elle ? Donnez des exemples.
   
   Gemini a parfaitement compris la syntaxe de HVM1. C'est une syntaxe familière, semblable à celle de Haskell, donc pas de problème ; mais Gemini a aussi compris la logique derrière la syntaxe raw-inet IR de HVM2, ce qui est époustouflant, puisqu'elle est étrangère et ne ressemble à rien de ce qu'il aurait pu voir pendant la formation. L'échantillon inet fourni n'était pas correct, mais ce n'était pas explicitement demandé (et ce serait plutôt du niveau de l'AGI). GPT-4 s'est complètement trompé dans les deux syntaxes et a juste halluciné, même s'il se débrouille bien avec les petits messages. Je suppose que le long contexte l'a submergé. Quoi qu'il en soit, victoire astromonique pour Gemini.
   
   
3. Comment λf. λx. (f x) serait stocké en mémoire, sur chaque ? Ecrivez un exemple en hexadécimal, avec 1 mot de 64 bits par ligne. Expliquez ce que fait chaque ligne.
   
   Gemini a écrit un memdump HVM1 raisonnable, ce qui est fou : cela signifie qu'il a trouvé le tutoriel sur la disposition de la mémoire dans les commentaires, l'a appris, et l'a appliqué à un tout nouveau cas. Le memdump fourni EST partiellement faux, mais, bien, il EST partiellement juste ! Malheureusement, Gemini n'a pas pu comprendre la disposition de la mémoire de HVM2, ce qui serait énorme, car il n'y a pas de tutoriel dans les commentaires, donc il faudrait comprendre le code. Ce n'est pas encore le cas. Quant à GPT-4, il a simplement évité les deux questions, et a ensuite menti en disant que l'information n'était pas présente (elle l'est). Une grande victoire pour Gemini.
   
   
4. Quelle partie du code était responsable de la réduction bêta, dans les deux cas ? Citez-la.
   
   Gemini a trouvé l'emplacement pour HVM1, mais a halluciné pour HVM2, ce qui est décevant. GPT-4 Turbo a évité de répondre pour HVM1, mais a fourni une estimation étonnamment bien raisonnée pour HVM2. Egalité.
   
   
5. HVM1 avait un bug de garbage collect, qui n'est pas présent dans HVM2. Pouvez-vous raisonner à ce sujet et expliquer pourquoi ?
   
   Gemini a fourni une réponse décente, ce qui signifie qu'il a trouvé, lu et compris le commentaire décrivant le problème (sur HVM1). Il n'a pas fourni de raisonnement plus approfondi pour expliquer pourquoi le problème est corrigé sur HVM2, mais cela n'est écrit nulle part et nécessiterait une connaissance approfondie du système. GPT-4 s'est contenté de raconter des conneries. Victoire pour Gemini.
   
   
6. HVM1 avait un bug de concurence, qui a été résolu sur HVM2. Comment ?
   
   Gemini a déterminé quel était le bug de HVM1, et comment HVM2 l'a résolu. Cette réponse n'est pas écrite à un seul endroit spécifique, mais peut être trouvée à différents endroits, ce qui signifie que Gemini était capable de relier des informations dispersées dans le contexte. GPT-4 a complètement manqué les notes, et s'est contenté de raconter des conneries. Victoire pour Gemini.
   
   
7. Il existe de nombreuses fonctions sur HVM1 qui n'ont pas de correspondants sur HVM2. Citez-en quelques-unes et expliquez pourquoi elles ont été supprimées.
   
   Gemini a répondu correctement à la question, en identifiant 2 fonctions qui ont été supprimées et en fournissant une bonne explication. GPT-4 a l'air d'avoir raconté des bêtises et d'avoir eu raison sur un point ou un autre par accident. De plus, cette question était censée être facile (il suffit de trouver une fonction Rust sur HVM1 mais pas sur HVM2), mais Gemini a répondu à une "interprétation plus difficile" de la question, et a identifié une primitive HVM1 qui n'est pas présente sur HVM2. C'est astucieux. Victoire pour Gemini.

Verdict

Dans la tâche de comprendre la base de code de 120K tokens de HVM, Gemini 1.5 a absolument détruit GPT-4-Turbo-128K. La plupart des questions auxquelles GPT-4 s'est trompé sont des questions qu'il aurait répondues dans des invites plus petites, donc le contexte géant l'a clairement dépassé, alors que Gemini 1.5 ne s'en est pas soucié du tout. Je suis impressionné. J'ai été le premier à me plaindre de la médiocrité de Gemini Ultra, alors il faut reconnaître que Gemini 1.5 est vraiment prometteur. Cela dit, Gemini n'est toujours pas en mesure de créer un modèle mental complet du système, ni de répondre à des questions qui nécessiteraient un raisonnement plus approfondi de sa part, donc pas d'AGI pour l'instant ; mais il est extrêmement doué pour localiser les informations existantes, établir des connexions à long terme et effectuer un raisonnement limité. Ce test a été fait à la hâte (il est 1 heure du matin...), j'espère donc pouvoir en faire un meilleur et le réessayer quand j'y aurai accès.

Sources : Résultat Test, HVM (GitHub)

Et vous ?

Pensez-vous que ce test est crédible ou pertinent ?
Quel est votre avis sur le sujet ?

Voir aussi :

Google lance Gemini 1.5, une semaine après Gemini Ultra 1.0. « Gemini 1.5 Pro atteint une qualité comparable à 1.0 Ultra, tout en utilisant moins de calcul », explique le PDG Sundar Pichai

LLM par taux d'hallucinations : GPT-4 est le modèle de langage IA qui hallucine le moins, d'après une évaluation de Vectara qui suggère que les LLM de Google sont les moins fiables

Le nouveau Gemini Pro de Google n'impressionne pas, ses performances étant inférieures à celles de ChatGPT 3.5 d'OpenAI, selon une étude des chercheurs de l'université Carnegie Mellon

[Patrick Ruiz]

Gemini 1.5 pro en passe de changer le développement de logiciels ? Cette IA peut comprendre une base de code entière et proposer des correctifs :
Vers une mise au rebut des développeurs humains ?

Les retours en matière de mise à contribution de Gemini 1.5 se multiplient. Après celui de l’auteur de HVM, le cofondateur de Cognosysai fait une sortie pour souligner les avantages de l’utilisation de cette intelligence artificielle de Google. Cette intervention se fait dans un contexte de multiplication des rapports selon lesquels l’intelligence artificielle menace les emplois en cols blancs dans divers secteurs dont celui du développement de logiciels. Le tableau ravive donc les questionnements sur les perspectives de mise au rebut totale des développeurs humains en raison de la montée en puissance de l’intelligence artificielle.

« J'ai téléchargé une base de code entière directement depuis github, ainsi que toutes les issues. Non seulement il a été capable de comprendre l'ensemble de la base de code, mais il a identifié le problème le plus urgent et a mis en œuvre un correctif. Cela change tout », déclare le cofondateur de Cognosysai qui ajoute d’ailleurs que Gemini 1.5 ne bénéficie pas de la médiatisation qu’il mérite.

Gemini 1.5 est un « saut générationnel », d’après les chercheurs de Google :

« Gemini 1.5 Pro permet d'obtenir un rappel [ndlr. "recall" en anglais, qui est la capacité d'un modèle à trouver tous les cas pertinents dans un ensemble de données] presque parfait sur les tâches de recherche en contexte long dans toutes les modalités, améliore l'état de l'art en matière d'assurance qualité des documents longs, d'assurance qualité des vidéos longues et d'ASR en contexte long, et égale ou dépasse les performances de pointe de Gemini 1.0 Ultra sur un large éventail de points de référence », écrivent les chercheurs de Google dans un document technique sur Gemini 1.5 Pro.

En d'autres termes, lorsqu'on lui présente un long document à assimiler - jusqu'à 10 millions de jetons - Gemini 1.5 peut répondre de manière appropriée à une requête spécifique dans plus de 99 % des cas. Selon les chercheurs de Google, la capacité de 10 millions de jetons de Gemini représente « un saut générationnel par rapport aux modèles existants tels que Claude 2.1 et GPT-4 Turbo, qui pour l'instant plafonnent respectivement à 200 000 et 128 000 tokens ».

« Le modèle Gemini Ultra surpasse actuellement toutes les alternatives existantes sur un large éventail de tests de référence », a déclaré François Chollet, créateur de Keras et ingénieur logiciel chez Google, dans un billet en ligne. « Google dispose d'un mécanisme de filtrage des jeux de tests de pointe qui n'a pas d'équivalent à l'extérieur, de sorte que les tests de référence surestiment probablement d'autres modèles ».

Vers une mise au rebut totale des développeurs humains ?

L’intelligence artificielle menace les emplois en col blanc dans divers secteurs. C’est ce qui ressort d’une enquête de The Burning Glass Institute qui liste le développement de logiciels parmi les métiers concernés.

« Comme le montre la figure 4, les précédentes vagues d'automatisation ont surtout touché les professions à bas salaires (indiquées par des barres bleues). La vague d'automatisation par l’IA générative est unique en ce sens que les cols bleus pourraient être les moins touchés. Cela s'explique à la fois par l'augmentation de la demande de ces travailleurs en raison de la croissance des catégories de biens et de services haut de gamme et l'incapacité de l’intelligence artificielle générative à effectuer des tâches physiques. En fait, les professions les plus exposées à l'intelligence artificielle générative sont les professions libérales à haut salaire (illustrées par des barres jaunes) », soulignent les résultats de l’enquête.

Les résultats de cette enquête font suite à la publication des résultats d’une étude de l’OIT sur la question et selon laquelle « Environ 21 millions d’emplois occupés par des femmes et 9 millions d’emplois occupés par des hommes sont susceptibles d’être remplacés par l’intelligence artificielle. » Ce dernier précise pour ce qui est de la filière des technologies de l’information les programmeurs d’applications font partie des professions menacées par l’automatisation.

Le récent cas de la startup Magic AI est une illustration supplémentaire de ce que les entreprises visent une mise au rebut totale des développeurs humains

La startup Magic AI, basée à San Francisco, a levé 117 millions de dollars en financement de série B pour poursuivre le développement de son système d'IA avancé visant à automatiser le développement de logiciels. La levée de fonds a été menée par NFDG Ventures de Nat Friedman et Daniel Gross, avec une participation supplémentaire de CapitalG et Elad Gil. Cela porte le financement total de Magic à ce jour à plus de 145 millions de dollars.

Fondée en 2022 par Eric Steinberger et Sebastian De Ro, la startup se crée une niche en se concentrant sur le développement d'un ingénieur logiciel IA capable d'aider à des tâches de codage complexes et qui agira plus comme un collègue de travail que comme un simple outil de "copilotage".

Les fondateurs estiment qu'en plus de stimuler la productivité pratique du codage, l'avancement des outils de génération de code intelligents peut également ouvrir la voie à une intelligence artificielle générale plus étendue. Leur vision s'étend même à la création de systèmes d'intelligence artificielle générale largement capables de s'aligner sur les valeurs humaines - des systèmes capables d'accélérer le progrès global en aidant l'humanité à relever les défis les plus complexes. La levée de fonds de 23 millions de dollars en série A l'été dernier a constitué une étape majeure dans la réalisation de cette mission ambitieuse.

Le traitement de fenêtres contextuelles exceptionnellement grandes est au cœur de la stratégie technique de Magic. L'année dernière, l'entreprise a dévoilé son architecture de réseau de mémoire à long terme (LTM Net) et le modèle LTM-1 correspondant avec une fenêtre de contexte de 5 millions. À titre de comparaison, la plupart des modèles de langage fonctionnent sur des contextes beaucoup plus limités, généralement inférieurs à 32k tokens. Le puissant modèle GPT-4 Turbo d'OpenAI est de 128k tokens et Claude 2.1 d'Anthropic de 200k.

Cependant, des modèles avec des fenêtres contextuelles beaucoup plus larges se profilent à l'horizon. Google a annoncé que son nouveau modèle Gemini 1.5 disposera d'une fenêtre de contexte d'un million de tokens et a précisé qu'il avait testé des longueurs de contexte allant jusqu'à 10 millions de tokens dans le cadre de ses recherches. Les capacités contextuelles nettement plus grandes permettent une compréhension plus nuancée du code, ce qui permet au modèle de Magic de raisonner sur des référentiels entiers et des arbres de dépendance afin d'accroître son utilité.

Une récente étude arrive néanmoins à la conclusion que l’IA générative ne remplacera pas les développeurs de sitôt

Des chercheurs de l'université de Princeton ont développé un cadre d'évaluation basé sur près de 2300 problèmes courants de génie logiciel montés à partir de rapports de bogues et de feature requests soumis sur GitHub afin de tester la performance de divers modèles de grands langages (LLM).

Les chercheurs ont fourni à différents modèles de langage le problème à résoudre et le code du dépôt. Ils ont ensuite demandé au modèle de produire un correctif réalisable. Ce dernier a ensuite fait l’objet de tests pour s'assurer qu'il était correct. Mais le LLM n'a généré une solution efficace que dans 4 % des cas.

Leur modèle spécialement entraîné, SWE-Llama, n'a pu résoudre que les problèmes d'ingénierie les plus simples présentés sur GitHub, alors que les LLM classiques tels que Claude 2 d'Anthropic et GPT-4 d'OpenAI n'ont pu résoudre que 4,8 % et 1,7 % des problèmes, de façon respective.

Et l’équipe de recherche de conclure : « le génie logiciel n’est pas simple dans la pratique. La correction d'un bogue peut nécessiter de naviguer dans un grand référentiel, comprendre l'interaction entre des fonctions dans différents fichiers ou repérer une petite erreur dans du code alambiqué. Cela va bien au-delà des tâches de complétion de code. »

C’est la raison pour laquelle Linux Torvalds a tenu à se désolidariser de tout le battage médiatique autour de l’intelligence artificielle. Il la considère comme un outil au stade actuel de son évolution. Il suggère d’ailleurs la révision de code comme domaine d’application de l’intelligence artificielle. La capacité de l’intelligence artificielle à « deviner » l’intention du développeur lui sera utile pour obtenir du code fiable en un temps réduit. Une condition demeurera toutefois nécessaire : le développeur devra à son tour examiner ce que l’intelligence artificielle lui propose.

Source : Résultats de l’enquête

Et vous ?

Quelles évolutions du métier de développeur entrevoyez-vous dès 2024 au vu de l'adoption de l'intelligence artificielle dans la filière ?

Voir aussi :

« ChatGPT est appelé à changer l'éducation telle que nous la connaissons, pas la détruire comme certains le pensent », affirme Douglas Heaven du MIT Technology Review

ChatGPT rédige désormais les dissertations des étudiants et l'enseignement supérieur est confronté à un grave problème, la détection des contenus générés par l'IA semble de plus en plus difficile

51 % des enseignants déclarent utiliser ChatGPT dans le cadre de leur travail, de même que 33 % des élèves, et affirment que l'outil a eu un impact positif sur leur enseignement et leur apprentissage

Un professeur surprend un étudiant en train de tricher avec le chatbot d'IA ChatGPT : « je suis terrorisé », il estime que ces outils pourraient aggraver la tricherie dans l'enseignement supérieur

[Patrick Ruiz]

« J'ai enregistré une vidéo d'une tâche et Gemini a généré du code pour la reproduire », rapporte une développeuse de Google DeepMind :
Vers une mise au rebut des développeurs humains par l’IA ?

L’intelligence artificielle menace les emplois en col blanc dans divers secteurs. C’est ce qui ressort d’une enquête de The Burning Glass Institute qui liste le développement de logiciels parmi les métiers concernés. La publication des résultats de cette enquête fait suite à une autre de l’OIT qui liste la même catégorie de professionnels parmi ceux sous la menace de l’intelligence artificielle. Le tableau ravive les questionnements sur les perspectives de mise au rebut totale des développeurs humains. Cette perspective prend un coup de neuf avec la sortie d’une développeuse de Google Deepmind qui rapporte qu’elle a « enregistré une vidéo d’une tâche et Gemini a généré du code pour la reproduire. »

🤯 Mind officially blown:

I recorded a screen capture of a task (looking for an apartment on Zillow). Gemini was able to generate Selenium code to replicate that task, and described everything I did step-by-step.

It even caught that my threshold was set to $3K, even though I… pic.twitter.com/IU7kvnYHlt

— 👩💻 Paige Bailey (@DynamicWebPaige) February 22, 2024

La nécessité de vérifier les productions de l’intelligence artificielle refait surface avec cette publication

En effet, la développeuse reconnait que le code produit par Gemini n’est pas totalement fonctionnel, ce qui remet en avant la nécessité de vérifier les productions de l’intelligence artificielle. En d’autres termes, au stade actuel de son évolution, cette intelligence artificielle est un outil qui nécessite l’intervention d’un professionnel de la filière du développement de logiciels pour obtenir un produit fini.

Le tableau n’est pas sans faire penser au cas Air Canada en matière de mise à contribution de l’intelligence artificielle dans la filière du développement de logiciels. Le jour où la grand-mère de Jake Moffatt est décédée, ce dernier s'est à l’immédiat rendu sur le site Web d'Air Canada pour réserver un vol de Vancouver à Toronto. Ne sachant pas comment fonctionnent les tarifs d'Air Canada pour les personnes en deuil, Moffatt a demandé au chatbot d'Air Canada de lui expliquer. Ce dernier a fourni des informations inexactes, encourageant Jake Moffatt à réserver un vol à l’immédiat, puis à demander un remboursement dans les 90 jours. Une recommandation en contradiction avec la politique de la compagnie aérienne qui stipule qu’elle ne procède pas à des remboursements une fois que la réservation est effectuée.

Jake Moffatt a donc porté plainte en joignant une capture d’écran de sa conversation avec le chatbot : « Si vous devez voyager à l’immédiat ou si vous avez déjà voyagé et que vous souhaitez soumettre votre billet pour bénéficier d'un tarif réduit pour les personnes en deuil, veuillez le faire dans les 90 jours suivant la date d'émission de votre billet en remplissant notre formulaire de demande de remboursement de billet. »

Le tribunal a au final tranché que M. Moffatt a droit à un remboursement partiel de 650,88 dollars canadiens (environ 482 USD) sur le prix initial du billet qui était de 1 640,36 CAD (environ 1 216 USD), ainsi qu'à des dommages-intérêts supplémentaires pour couvrir les intérêts sur le billet d'avion et les frais de justice de M. Moffatt.

Air Canada a décidé de se conformer à la décision et de considérer l'affaire comme close après avoir refusé d’endosser la responsabilité de l’erreur commise par le chatbot intégré à son site web. La compagnie aérienne a ensuite procédé à la désactivation de ce dernier.

Les gains de productivité avec des outils de ce type sont néanmoins de nature à entraîner des pertes d’emplois dans la filière du développement de logiciels

Une étude publiée au premier trimestre de l’année précédente par des économistes du MIT rapporte que l'IA générative, notamment le chatbot d'IA ChatGPT d'OpenAI, augmente la productivité de 40 % et la qualité de 20 %. C’est la raison pour laquelle des employeurs s’appuie pour licencier du personnel. L'étude des chercheurs du MIT met justement en garde les employeurs contre l'utilisation de l'IA générative pour augmenter les licenciements. De nombreux employés ont déjà signalé avoir été remplacés par une IA. Par le passé, une expérience menée par un chercheur de Microsoft a montré que des programmeurs utilisant GitHub Copilot, un outil d'assistance basé sur ChatGPT, ont réduit de plus de moitié le temps nécessaire à la programmation d'un serveur Web.

Et vous ?

Quelles évolutions du métier de développeur entrevoyez-vous dès 2024 au vu de l'adoption de l'intelligence artificielle dans la filière ?

Voir aussi :

« ChatGPT est appelé à changer l'éducation telle que nous la connaissons, pas la détruire comme certains le pensent », affirme Douglas Heaven du MIT Technology Review

ChatGPT rédige désormais les dissertations des étudiants et l'enseignement supérieur est confronté à un grave problème, la détection des contenus générés par l'IA semble de plus en plus difficile

51 % des enseignants déclarent utiliser ChatGPT dans le cadre de leur travail, de même que 33 % des élèves, et affirment que l'outil a eu un impact positif sur leur enseignement et leur apprentissage

Un professeur surprend un étudiant en train de tricher avec le chatbot d'IA ChatGPT : « je suis terrorisé », il estime que ces outils pourraient aggraver la tricherie dans l'enseignement supérieur

[ParseCoder]

Si les besoins en nombre de développeurs par projet va baisser cela veut dire que le cout du développement logiciel va baisser aussi, et les projets qui n'étaient pas entrepris jusqu'à maintenant pour des raisons de cout le seront peut-être à l'avenir. Donc bien malin qui pourrait dire quelle sera l'évolution à terme de l'emploi dans le développement.

[Athaa]

J’imagine qu’on disait pareil quand Microsoft a introduit les Macros enregistrables dans Excel.

[totozor]

J'ai hâte de voir un logiciel développé sur base de vidéos:
1. Gagne-t-on vraiment du temps en faisant un vidéo plutôt qu'en écrivant un charte logiciel?
2. Le résultat sera digne de nos plus grandes applications des années 90's qui ne fonctionnent que si on utilise la seule et unique séquence acceptée par le logiciel.

Dans les 3/4 des logiciels que j'utilise (je suis un client) il existe plusieurs trajets pour aller d'un point A à un point B du logiciel (notamment parce qu'il y a plusieurs métiers différents qui font ce trajet).
Quel financier est prêt à suivre le chemin du logisticien?
Quel logisticien est prêt à suivre le chemin du manufacturier?
Quel manufacturier est prêt à suivre le chemin du qualiticien?
Quel qualiticien est prêt à suivre le chemin du financier?

Cette logique est applicable à un projet de la taille d'une macro excel.
Mais, dans ma jeunesse, j'ai passé quelques heures à rendre un système mécanique dessiné par un graphiste applicable à l'industrie.
Pourquoi les vendeurs ne montrent que des powerpoint ou des vidéos de leurs outils? Parce qu'elle ne buggent jamais.
Pourquoi les utilisateurs ne sont jamais satisfait à la fin? Parce que l'application n'est jamais conforme à la démo du vendeur.

[mach1974]

Seule amazone ou GoogleCloud servent pour les migrations sous cloud de solutions on premise (sur sites) des transactions propriétaires
les PME et les grands groupes ne veulent que des solutions intégrées avec le support adhoc .
les solutions no code low code seront bientôt dépréciées comme les solutions UML en leurs temps.

[_toma_]

Vous n'avez peut-être pas tous regardé la démo.
Il ne s'agit pas de reproduire une application mais de reproduire un comportement.
Elle a fait une recherche d'appartement dans un navigateur, a donné la vidéo au bot et le bot a généré du code pour faire tourner une session Selenium qui reproduise le comportement de l'utilisateur dans le navigateur.

[eddy72]

Combien de nouveaux projets pourrons être financé ?

[mach1974]

Vous n'avez peut-être pas tous regardé la démo.
Il ne s'agit pas de reproduire une application mais de reproduire un comportement.
Elle a fait une recherche d'appartement dans un navigateur, a donné la vidéo au bot et le bot a généré du code pour faire tourner une session Selenium qui reproduise le comportement de l'utilisateur dans le navigateur.

justement c'est déjà fait avec UFT point besoin de regarder la vidéo. RANOREX en son temps faisait mieux. Où en sont-ils aujourd'hui? Pourquoi HP a revendu UFT ?

[_toma_]

J'ai pas dit que c'était pertinent comme démo, mes précisions allaient même dans le sens opposé.

[TotoParis]

Ne laissez pas vos codes sources être aspirés par cet ogre numérique.

[irrmichael]

La confiance du monde en l’IA de Google s’est effritée, par une cascade incessante d’erreurs factuelles et historiques. Chaque grosse erreur laissant derrière elle une marque indélébile.
Encore cette année, leur générateur d’images, à peine sorti des bancs d’essai, a été précipité sur la scène publique. Un acte qui, à mon sens, témoigne d’une méconnaissance flagrante des implications et des responsabilités inhérentes à la maîtrise de l’IA.

Les millions de tokens que Google ajoute ici et là à ses modèles d’IA semblent inefficaces.

Bref Bard/Gemini se tient là, à l’ombre des géants que sont ChatGPT et DALL-E, MidJourney. Il tente de rivaliser, mais en vain.
Face à ces titans de l’IA, Gemini apparaît comme un concurrent mineur, incapable de tenir tête à la puissance et à la sophistication de ses adversaires.