Discussion :

[Sandra Coret]

Meta met à disposition son modèle d'intelligence artificielle et de langage étendu, Llama 2, pour une utilisation commerciale par le biais de partenariats avec Microsoft

Meta ouvre la technologie des chatbots à l'utilisation commerciale par l'intermédiaire de Microsoft, et ne prévoit pas de faire payer son outil d'IA générative Llama 2. Les entreprises proposant Llama 2 incluent Amazon, Hugging Face.

Meta Platforms Inc. met à disposition son modèle d'intelligence artificielle en langage large, Llama 2, pour une utilisation commerciale par le biais de partenariats avec les principaux fournisseurs de services en cloud, y compris Microsoft Corp. Meta ne fait pas payer l'accès ou l'utilisation du modèle qu'elle a développé, a déclaré la société. Au contraire, en ouvrant la technologie à d'autres entreprises, Meta affirme qu'elle bénéficiera des améliorations qui pourront être apportées lorsque davantage de développeurs l'utiliseront, la soumettront à des tests de résistance et identifieront les problèmes qu'elle pose.

En rendant le grand modèle linguistique (LLM) plus largement accessible, Meta s'impose aux côtés d'autres géants de la technologie comme un acteur clé de la course à l'armement en matière d'IA. Meta consacre des sommes record à l'infrastructure de l'IA et son directeur général, Mark Zuckerberg, a déclaré que l'intégration des améliorations de l'IA dans tous les produits et algorithmes de l'entreprise était une priorité.

Meta a pris en charge le coût de la formation des modèles. Des fournisseurs de services en nuage, dont Microsoft, Amazon.com Inc. et Hugging Face, hébergent les outils et fournissent la puissance informatique nécessaire à leur fonctionnement.

Meta a déclaré qu'elle n'avait aucun commentaire à faire sur la question de savoir si Microsoft ferait payer l'accès à Llama 2 via ses services en nuage et sous Windows. Un porte-parole d'Amazon a déclaré que la société ne facturait pas l'accès au modèle et que les clients ne payaient que pour l'utilisation de SageMaker, son kit d'outils pour les développeurs d'apprentissage automatique. Microsoft et Hugging Face n'ont pas répondu immédiatement aux demandes de commentaires.

Le lancement commercial de Llama 2 est le premier projet issu du groupe d'IA générative de l'entreprise, une nouvelle équipe constituée en février. Pour préparer le lancement du nouveau modèle, les employés de Meta et des tiers ont effectué des tests de sécurité appelés "exercices en équipe rouge". Il s'agit d'un modèle distinct de celui que Meta utilise pour ses propres produits.

"Le rythme a été incroyable - une prise de décision incroyablement rapide, des boucles très serrées, une exécution très ciblée pour aboutir à ce moment Llama 2", a déclaré Ahmad Al Dahle, vice-président du groupe d'IA générative de Meta. "Nous avons reçu plus de cent mille demandes pour le Llama 1. Nous sommes donc retournés à la planche à dessin, nous avons réuni nos équipes et nous avons fait une tonne d'investissements dans l'alignement, la recherche et la sécurité afin de construire un modèle que nous estimions prêt."

Ce partenariat rapproche Meta de Microsoft, qui s'est imposé grâce à son investissement et à son partenariat technologique avec OpenAI, le créateur de ChatGPT, qui fait payer l'accès à son modèle.

Source : Microsoft

Et vous ?

Que pensez-vous de ce partenariat ?

Voir aussi :

La startup Cerebras publie Cerebras-GPT, une famille de modèles linguistiques de type ChatGPT en open-source, les sept modèles GPT-3 établissent des records de précision et d'efficacité de calcul

Guidance, un langage pour le contrôle des grands modèles linguistiques modernes, il serait plus efficace et plus efficient que l'invite ou le chaînage traditionnel

[Stéphane le calme]

Meta s'associe à Microsoft et lance en open-source LLaMA 2 pour faire concurrence à chatGPT d'OpenAI,
l'entreprise pourrait vouloir diluer l'avantage concurrentiel de ses rivaux

Meta de Mark Zuckerberg a publié cette semaine une version open-source d'un modèle d'intelligence artificielle, Llama 2, à usage public. Le modèle de grande langage (LLM), qui peut être utilisé pour créer un chatbot de type ChatGPT, est disponible pour les startups, les entreprises établies et les opérateurs isolés. Mais pourquoi Meta fait-il cela et quels sont les risques potentiels impliqués ?

Meta, en partenariat avec Microsoft, a annoncé la mise en open-source de son grand modèle de langage LLaMA 2. Le modèle sera disponible pour une utilisation commerciale et de recherche, le mettant en concurrence directe avec le GPT-4 d'OpenAI, qui alimente des outils comme ChatGPT et Microsoft Bing.

La décision d'ouvrir LLaMA 2 a été révélée lors de l'événement Inspire de Microsoft, soulignant le partenariat croissant entre Meta et Microsoft. Meta a également exprimé son soutien à Azure et Windows. De plus, Qualcomm a dévoilé sa collaboration avec Meta pour apporter LLaMa aux ordinateurs portables, téléphones et casques d'ici 2024. Ce partenariat vise à développer des applications alimentées par l'IA qui fonctionnent sans dépendre des services cloud.

Meta a déclaré qu'il s'engage à le « construire de manière responsable » à mesure qu'il progresse avec son système d'IA. La société a déclaré que la sécurité de ses modèles avait été testée en « générant des invites contradictoires pour faciliter le réglage fin du modèle », à la fois en interne et en externe. Meta révèle également comment les modèles sont évalués et modifiés.

Le communiqué de presse de Meta indique que la décision de fournir LLaMA en open source vise à fournir aux entreprises, aux startups et aux chercheurs un accès à davantage d'outils d'IA. L'objectif est d'encourager l'expérimentation au sein de la communauté d'IA.

Qu'est-ce que LLaMA 2 et en quoi est-il important ?

LLaMA 2 (pour Large Language Model with Attention 2) est un modèle d'IA génératif qui peut produire des textes en langage naturel en fonction d'une entrée ou d'une invite donnée. Il peut être utilisé pour diverses applications telles que les chatbots, la création de contenu, la synthèse, la traduction, etc. LLaMA 2 est la deuxième version du LLM de Meta, qui a été publié pour la première fois en février 2023. Selon Meta, LLaMA 2 a été formé sur 40 % de données en plus que LLaMA 1, qui comprend des informations provenant de « sources de données en ligne accessibles au public ». Il affirme également qu'il « surclasse » d'autres LLM comme Falcon et MPT en ce qui concerne les tests de raisonnement, de codage, de compétence et de connaissances.

Meta a décidé de rendre LLaMA 2 disponible gratuitement via la plate-forme Azure de Microsoft, ainsi que d'autres fournisseurs tels qu'AWS, Hugging Face et le téléchargement direct. Meta a déclaré qu'il souhaitait donner aux entreprises, aux startups et aux chercheurs un accès à davantage d'outils d'IA, permettant l'expérimentation et l'innovation en tant que communauté.

Que fait un LLM open source ?

Les LLM sous-tendent les outils d'IA tels que les chatbots. Ils sont formés sur de vastes ensembles de données qui leur permettent d'imiter le langage humain et même le codage informatique. Si un LLM est rendu open-source, cela signifie que son contenu est mis gratuitement à la disposition des personnes pour qu'elles puissent y accéder, l'utiliser et l'adapter à leurs propres fins.

Llama 2 est disponible en trois versions, dont une qui peut être intégrée à un chatbot IA. L'idée est que les startups ou les entreprises établies peuvent accéder aux modèles Llama 2 et les bricoler pour créer leurs propres produits, y compris, potentiellement, des rivaux de ChatGPT ou du chatbot Bard de Google - bien que de l'aveu même de Meta, Llama 2 ne soit pas tout à fait au niveau de GPT- 4, le LLM derrière ChatGPT d'OpenAI.

Pourquoi Meta le publie-t-il pour un usage public ?

Nick Clegg, président des affaires mondiales de Meta, a déclaré mercredi à l'émission Today de BBC Radio 4 que rendre les LLM open source les rendrait « plus sûrs et meilleurs » en invitant à un examen extérieur.

« Avec la… sagesse des foules, vous rendez ces systèmes plus sûrs et meilleurs et, surtout, vous les sortez des… mains moites des grandes entreprises technologiques qui sont actuellement les seules entreprises à disposer soit de la puissance de calcul, soit des vastes réservoirs de données pour construire ces modèles en premier lieu ».

Il est également possible qu'en donnant à tous les arrivants la possibilité de lancer un rival pour ChatGPT, Bard ou le chatbot Bing de Microsoft, Meta dilue potentiellement l'avantage concurrentiel de pairs technologiques tels que Google.

Meta a admis que Llama 2 « est en retard » sur GPT-4, mais c'est néanmoins un concurrent libre d'OpenAI.

Bien que Microsoft est l'un des principaux bailleurs de fonds d'OpenAI, il soutient tout de même le lancement de Llama 2. Le LLM est disponible en téléchargement via les plateformes Microsoft Azure, Amazon Web Services et Hugging Face.

La parole est à Meta

Les récentes percées dans le domaine de l'IA, et de l'IA générative en particulier, ont captivé l'imagination du public et démontré ce que ceux qui développent ces technologies savaient depuis longtemps*: elles ont le potentiel d'aider les gens à faire des choses incroyables, de créer une nouvelle ère d'opportunités économiques et sociales et de donner les particuliers, les créateurs et les entreprises de nouvelles façons de s'exprimer et de se connecter avec les gens.

Nous pensons qu'une approche open source est la bonne pour le développement des modèles d'IA d'aujourd'hui, en particulier ceux de l'espace génératif où la technologie progresse rapidement. En rendant les modèles d'IA disponibles ouvertement, ils peuvent profiter à tout le monde. Donner aux entreprises, aux startups, aux entrepreneurs et aux chercheurs l'accès à des outils développés à une échelle qu'il serait difficile de construire eux-mêmes, soutenus par une puissance de calcul à laquelle ils n'auraient peut-être pas accès autrement, leur ouvrira un monde d'opportunités pour expérimenter et innover de manière passionnante et en fin de compte bénéficier économiquement et socialement.

Et nous pensons que c'est plus sûr. L'ouverture de l'accès aux modèles d'IA d'aujourd'hui signifie qu'une génération de développeurs et de chercheurs peut les tester, identifier et résoudre rapidement les problèmes, en tant que communauté. En voyant comment ces outils sont utilisés par d'autres, nos propres équipes peuvent en tirer des enseignements, améliorer ces outils et corriger les vulnérabilités.

Meta a placé la recherche exploratoire, l'open source et la collaboration avec des partenaires universitaires et industriels au cœur de nos efforts en matière d'IA depuis plus d'une décennie. Nous avons vu de première main comment l'innovation open source peut conduire à des technologies qui profitent à plus de gens. Des dizaines de grands modèles de langage ont déjà été publiés et font progresser les développeurs et les chercheurs. Ils sont utilisés par les entreprises comme ingrédients de base pour de nouvelles expériences génératives basées sur l'IA. Nous avons été époustouflés par l'énorme demande de Llama 1 de la part des chercheurs - avec plus de 100 000 demandes d'accès au grand modèle de langage - et les choses incroyables qu'ils ont réalisées en s'appuyant sur celui-ci.

Nous sommes maintenant prêts à ouvrir la prochaine version de Llama 2 et la rendons disponible gratuitement pour la recherche et l'utilisation commerciale. Nous incluons également les poids du modèle et le code de démarrage pour le modèle pré-entraîné et les versions conversationnelles affinées. Comme Satya Nadella l'a annoncé sur scène à Microsoft Inspire, nous portons notre partenariat au niveau supérieur avec Microsoft en tant que partenaire privilégié pour Llama 2 et élargissons nos efforts dans l'IA générative. À partir d'aujourd'hui, Llama 2 est disponible dans le catalogue de modèles Azure AI, permettant aux développeurs utilisant Microsoft Azure de créer avec lui et d'exploiter leurs outils cloud natifs pour le filtrage de contenu et les fonctionnalités de sécurité. Il est également optimisé pour s'exécuter localement sur Windows, offrant aux développeurs un flux de travail transparent car ils offrent des expériences d'IA génératives aux clients sur différentes plates-formes. Llama 2 est également disponible via Amazon Web Services (AWS), Hugging Face et d'autres fournisseurs.

Les particuliers et les entreprises ont bénéficié du partenariat de longue date entre Microsoft et Meta. Ensemble, nous avons introduit un écosystème ouvert pour les cadres d'IA interchangeables, et nous avons co-écrit des articles de recherche pour faire progresser l'état de l'art en matière d'IA. Nous avons collaboré pour étendre l'adoption de PyTorch - le principal framework d'IA d'aujourd'hui créé par Meta et la communauté de l'IA - sur Azure, et nous sommes parmi les membres fondateurs de la Fondation PyTorch. Microsoft et Meta ont récemment rejoint une cohorte de partisans qui approuvent le cadre du Partenariat sur l'IA pour une action collective dans la création et le partage de médias synthétiques. Notre partenariat s'étend en dehors de l'IA et dans le métavers également pour offrir des expériences immersives pour l'avenir du travail et des loisirs.

Désormais, avec ce partenariat élargi, Microsoft et Meta soutiennent une approche open source pour fournir un accès accru aux technologies d'IA fondamentales au profit des entreprises du monde entier. Il n'y a pas que Meta et Microsoft qui croient en la démocratisation de l'accès aux modèles d'IA d'aujourd'hui. Nous avons un large éventail de partisans divers à travers le monde qui croient également en cette approche - y compris des entreprises qui nous ont fait part de leurs premiers commentaires et qui sont ravies de créer de nouveaux produits avec Llama 2, des fournisseurs de cloud qui incluront Llama 2 dans leurs offres pour les clients, les institutions de recherche qui collaborent avec nous sur le déploiement sûr et responsable de grands modèles génératifs, et les personnes de la technologie, du milieu universitaire et de la politique qui voient les avantages comme nous.

Sources : Meta (1, 2)

Et vous ?

Que pensez-vous de la décision de Meta de rendre open source son modèle de langage LLaMA 2 ?
Avez-vous déjà utilisé ou testé LLaMA 2 ou un autre modèle de langage comme GPT-4 ou ChatGPT ? Si oui, quelle a été votre expérience ?
Quelles sont les applications potentielles de LLaMA 2 qui vous intéressent le plus ? Quels sont les domaines ou les problèmes que vous aimeriez résoudre avec LLaMA 2 ?
Quels sont les risques ou les défis liés à l’utilisation de modèles de langage comme LLaMA 2 ? Comment peut-on assurer la sécurité, l’éthique et la responsabilité de ces modèles ?
Quelle est votre opinion sur le rôle des grandes entreprises technologiques comme Meta, OpenAI et Microsoft dans le développement et la diffusion de l’IA ? Pensez-vous qu’elles devraient collaborer ou se concurrencer ?

[vanquish]

Après avoir investit 10 milliards de dollars dans OpenAI, j'ai un peu de mal à comprendre ce soutient de Microsoft au projet Meta.

[micka132]

Après avoir investit 10 milliards de dollars dans OpenAI, j'ai un peu de mal à comprendre ce soutient de Microsoft au projet Meta.

C'est du Azure qu'ils vendent derrière.
A priori ce modèle ne va pas faire concurrence a gpt-X.
Et si jamais ça le devient ils sont bien positionné.

[eric44000]

Après avoir investit 10 milliards de dollars dans OpenAI, j'ai un peu de mal à comprendre ce soutient de Microsoft au projet Meta.

Si MS a investit 10 M$ dans OpenAI c'est pour le mettre en confiance. Les ingénieurs en IA de MS ont un accès privilégié au code de ChatGPT.x et de DALL-E. Et s'il ne comprennent pas tout, ils peuvent demander des explications aux ingénieurs d'OpenAI qui leur répondent avec le sourire. Mais MS fait plus: il espionne OpenAI en toute légalité.
Par contre le partenariat avec Meta est plus pour améliorer les technologies MS sans tout piller. Meta a une vision différente d'OpenAI en matière d'IA et ne peut qu'être bénéfique à MS pour atteindre l’excellence en faisant faire ce qui est hors d'atteinte.
Bref, MS est en train de booster son IA à la vitesse grand V, ce qui va surement intéresser bon nombre d'investisseurs sur les marchés financiers.

[Bruno]

Le modèle Llama-2 de Meta, qui vient d'être publié, ne serait pas open source,
de l’avis de Alessio Fanelli, Ingénieur logiciel associé chez Decibel

Alessio Fanelli, associé chez Decibel, un fonds d’investissement indépendant de la Silicon Valley, spécialisé dans les logiciels liés à l’infrastructure, à la sécurité et au développement, a exprimé son désaccord avec la qualification de LLaMA2 comme « Open Source » dans un article de blog publié le 19 juillet. Il affirme que le modèle comporte des limitations qui empêchent de le considérer comme tel. Par exemple, il interdit l’utilisation commerciale du modèle aux entités ayant plus de 700 millions d’UAM à la date de sortie, et il interdit également d’utiliser les sorties du modèle pour entraîner un autre modèle linguistique de grande taille. « Beaucoup de gens dans la communauté ont été déçus par l’emploi abusif du terme ‘’open source’’ pour désigner le modèle. Il est certes en grande partie ouvert, mais il n’est pas totalement libre », dit-il.

Fanelli considère que ces restrictions sont contraires à la philosophie de l’open source. Je sais que LLaMA2 ne correspond pas à la notion traditionnelle de l’open source, mais je pense aussi que cela n’a pas d’importance. Le sens de l’open source doit s’adapter (une fois de plus) au contexte des modèles d’IA.

LLaMA 2 (pour Large Language Model with Attention 2) est un modèle d'IA génératif qui peut produire des textes en langage naturel en fonction d'une entrée ou d'une invite donnée. Il peut être utilisé pour diverses applications telles que les chatbots, la création de contenu, la synthèse, la traduction, etc. LLaMA 2 est la deuxième version du LLM de Meta, qui a été publié pour la première fois en février 2023. Selon Meta, LLaMA 2 a été formé sur 40 % de données en plus que LLaMA 1, qui comprend des informations provenant de « sources de données en ligne accessibles au public ». Il affirme également qu'il « surclasse » d'autres LLM comme Falcon et MPT en ce qui concerne les tests de raisonnement, de codage, de compétence et de connaissances.

Meta a décidé de rendre LLaMA 2 disponible gratuitement via la plateforme Azure de Microsoft, ainsi que d'autres fournisseurs tels qu'AWS, Hugging Face et le téléchargement direct. Meta a déclaré qu'il souhaitait donner aux entreprises, aux startups et aux chercheurs un accès à davantage d'outils d'IA, permettant l'expérimentation et l'innovation en tant que communauté.

Meta fournit les paramètres des modèles et le code source pour le modèle pré-entraîné et les versions adaptées pour la conversation. La société de Mark Zuckerberg a sélectionné Microsoft comme son partenaire de choix pour LLaMa 2 et en renforçant leurs activités dans le secteur de l’IA générative. « Nous envisageons de faire de la prochaine version de LLaMa 2 une version totalement libre et gratuite pour la recherche et l’utilisation commerciale », a affirmé Meta dans un post du 18 juillet.

LLaMa 2 est disponible dans le catalogue de modèles Azure AI, ce qui permet aux développeurs utilisant Microsoft Azure de construire avec lui et de tirer parti de leurs outils cloud-native pour le filtrage de contenu et les fonctions de sécurité. Il est également optimisé pour fonctionner localement sur Windows, offrant aux développeurs un flux de travail transparent lorsqu'ils proposent des expériences d'IA générative à leurs clients sur différentes plateformes. LLaMa 2 est disponible via Amazon Web Services (AWS), Hugging Face et d'autres fournisseurs.

« Notre approche open source favorise la transparence et l'accès. Nous savons que l'IA a apporté d'énormes progrès à la société, mais qu'elle comporte aussi des risques. Nous nous engageons à construire de manière responsable et fournissons un certain nombre de ressources pour aider ceux qui utilisent Llama 2 à faire de même », précise Meta.

Évolution du concept d’open source

De la liberté à l’ouverture Alessio Fanelli rappelle que depuis la « Lettre ouverte aux amateurs » de 1976, il y a eu des conflits entre les intérêts économiques des sociétés de logiciels et la créativité des hackers qui cherchaient à dépasser les limites. Le courant du « logiciel libre » a émergé dans les années 70 au laboratoire d’intelligence artificielle du MIT avec Richard Stallman et a conduit au projet GNU en 1983. La licence GPL copylefta été inventée et des projets comme Red Hat, MySQL, Git et Ubuntu l’ont utilisée. Le terme open source est né en 1998 grâce à Christine Peterson du MIT ; lors du Freeware Summit, le terme free software a été officiellement remplacé par open source software.

Au fil du temps, les communautés du logiciel libre et open source se sont éloignées, car elles avaient des visions différentes de ce que signifiaient les termes « libre » et « ouvert ». Les logiciels libres, selon la définition de la Free Software Foundation, ne sont qu’une partie des logiciels open source et utilisent des licences très souples telles que GPL et Apache.

Au cours des dix dernières années, une autre divergence s’est produite, cette fois à cause de la tension entre les entreprises commerciales de logiciels libres et les entreprises de cloud computing. Elastic et MongoDB ont changé leurs projets open source vers la Server-Side Public License (SSPL), qui autorise les développeurs à utiliser le produit à des fins commerciales, à condition qu’ils n’offrent pas une version hébergée du produit. Le but était d’éviter qu’AWS ne réutilise leurs produits comme des services en cloud et n’en profite.

La SSPL viole aussi les principes de l’open source software (OSS) et n’est pas reconnue par l’Open Source Initiative (OSI) comme une licence open source. Pourtant, la plupart des développeurs continuent de dire que MongoDB est open source. De plus en plus, le terme open source perd son sens de liberté et devient presque équivalent à « source disponible » dans l’esprit des développeurs. Pour la plupart des ingénieurs en IA, open source signifie désormais « poids téléchargeables », rien de plus.

Heather Meeker a proposé une définition des « poids ouverts », mais il n’y a pas encore d’accord au sein de la communauté. La question est de savoir si des poids ouverts sont suffisants pour qu’un modèle soit considéré comme open source ; pour faire une analogie avec les logiciels, on pourrait dire qu’un projet publie ses exécutables sans le code source qui permet de le reconstituer à partir de zéro.

Alession Fanelli considère que, pour qu’un modèle soit réellement open source et puisse être réentraîné à partir de zéro, ses créateurs devraient partager l’intégralité de leur code d’entraînement, leur ensemble de données de préentraînement, leurs préférences en matière de réglage fin, leurs exemples de RLHF, etc. Le problème est le coût de ces entraînements, affirme-t-il : même si quelqu’un devait tout divulguer, il est trop onéreux de former des modèles à partir de zéro pour la plupart des développeurs et des entreprises, et il est donc plus intéressant d’avoir accès aux poids finaux de toute façon.

Source : Alessio Fanelli's blog post

Et vous ?

L'analyse d'Alessio Fanelli est-elle pertinente ?

Partagez-vous, l'avis selon lequel le modèle Llama-2 de Meta ne serait pas open source ?

À votre avis, existe-t-il une différence entre « libre » et « ouvert » ?

Comment les développeurs peuvent-ils s’assurer que les modèles qu’ils utilisent sont réellement open source et respectent les principes de l’OSS ?

Quels sont les risques et les opportunités de l’open source dans le domaine de l’IA générative ?

Voir aussi :

Meta s'associe à Microsoft et lance en open-source LLaMA 2 pour faire concurrence à chatGPT d'OpenAI, l'entreprise pourrait vouloir diluer l'avantage concurrentiel de ses rivaux

Meta met à disposition son modèle d'intelligence artificielle et de langage étendu, Llama 2, pour une utilisation commerciale par le biais de partenariats avec Microsoft

Meta dévoile son propre modèle de langage appelé LLaMA, fonctionnant comme un chatbot d'IA ordinaire et indique qu'il est plus puissant et moins gourmand en ressources que ses concurrents

[Mathis Lucas]

Meta lance un outil d'IA appelé Code Llama capable de générer du code informatique et de déboguer le code écrit par un programmeur
mais les critiques affirment que ces outils ne sont pas fiables

Meta se décide à concurrencer les outils de génération de code comme GitHub Copilot et Amazon CodeWhisperer. Le géant des réseaux sociaux a lancé jeudi Code Llama, un système d'apprentissage automatique capable de générer et d'expliquer du code en langage naturel, et plus particulièrement en anglais. Code Llama serait en mesure de compléter du code et déboguer du code existant dans toute une série de langages de programmation, notamment Python, C++, Java, PHP, TypeScript, C# et Bash. Code Llama a été publié en open source et utilisera la même licence communautaire que Llama 2 et sera libre pour la recherche et l'utilisation commerciale.

Meta lance son propre outil pour la génération de code informatique appelé Code Llama

Meta a publié cette année une multitude de modèles d'IA, dont un modèle de langage open source appelé Llama qui pose un sérieux défi aux modèles propriétaire vendus par OpenAI et Google. Le modèle Llama 2 a été publié le mois dernier et est disponible gratuitement via la plateforme Azure de Microsoft, ainsi que via l'infrastructure d'autres fournisseurs tels qu'AWS, Hugging Face et le téléchargement direct. Llama 2 peut être utilisé pour diverses tâches, en particulier pour la création de chatbots, d'outils de synthèse, de traducteurs, et bien d'autres. Selon Meta, LLaMA 2 a été formé sur 40 % de données en plus que LLaMA 1.

Cette semaine, Meta a ajouté un nouvel outil à sa collection : un outil de génération de code appelé Code Llama. Selon Meta, il peut créer des chaînes de code à partir d'invites ou compléter et déboguer du code lorsqu'il est dirigé vers une chaîne de code spécifique. Code Llama est basé sur le modèle de génération de texte Llama 2. Et bien que Llama 2 puisse générer du code, ce n'était pas forcément du bon code, certainement pas de la qualité d'un modèle conçu à cet effet. « Les programmeurs utilisent déjà les LLM pour les aider dans une variété de tâches, allant de l'écriture de nouveaux logiciels au débogage de codes existants », a déclaré Meta.

« L'objectif est de rendre les flux de travail des développeurs plus efficaces afin qu'ils puissent se concentrer sur les aspects les plus humains de leur travail », a-t-il ajouté dans un billet de blogue publié jeudi. Meta affirme que Code Llama a obtenu de meilleurs résultats que d'autres grands modèles de langage (LLM) publiquement disponibles, sur la base de tests de référence, mais n'a pas spécifiquement nommé les modèles testés. L'entreprise affirme que Code Llama a obtenu un score de 53,7 % sur le test de référence HumanEval et que son nouveau générateur de code a été capable d'écrire du code avec précision à partir d'une description textuelle.

Pour entraîner Code Llama, Meta a utilisé le même ensemble de données que pour Llama 2, c'est-à-dire un mélange de sources accessibles au public sur le Web. Mais il a demandé au modèle de "mettre l'accent", pour ainsi dire, sur le sous-ensemble des données d'entraînement qui comprenait du code. En fait, Code Llama a eu plus de temps pour apprendre les relations entre le code et le langage naturel que Llama 2, son modèle parent. Plusieurs versions sont disponibles : une version optimisée pour Python appelée Code Llama-Python et une autre version appelée Code Llama-Instrct, qui peut comprendre des instructions en langage naturel.

Selon Meta, chaque version spécifique de Code Llama n'est pas interchangeable et l'entreprise ne recommande pas d'utiliser les modèles Code Llama et Code Llama-Python pour les instructions en langage naturel. Chacun des modèles Code Llama, dont la taille varie de 7 milliards de paramètres à 34 milliards de paramètres, a été entraîné avec 500 milliards de jetons de code ainsi que des données liées au code. Code Llama-Python a été affiné sur 100 milliards de jetons de code Python et Code Llama-Python a été affiné en utilisant le retour d'informations des annotateurs humains pour générer des réponses "utiles" et "sûres" aux questions.

(Pour le contexte, les paramètres sont les parties d'un modèle apprises à partir de données d'entraînement historiques et définissent essentiellement les compétences du modèle sur un problème, tel que la génération de texte [ou de code, dans ce cas], tandis que les jetons représentent le texte brut [par exemple, "fan", "tas" et "tic" pour le mot "fantastique"].) Selon le billet de blogue de Meta, plusieurs des modèles Code Llama sont capables d'insérer du code dans du code existant et tous peuvent accepter environ 100 000 tokens de code en entrée, tandis qu'au moins un - le modèle à 7 milliards de paramètres - peut fonctionner sur un seul GPU.

« Chez Meta, nous pensons que les modèles d'IA, mais surtout les LLM pour le codage, bénéficient le plus d'une approche ouverte, à la fois en matière d'innovation et de sécurité. Les modèles pour le codage accessibles au public peuvent faciliter le développement de nouvelles technologies qui améliorent la vie des gens. Avec Code Llama, l'ensemble de la communauté peut évaluer leurs capacités, identifier les problèmes et corriger les vulnérabilités », note Meta. La société estime que le modèle à 34 milliards de paramètres est le plus performant de tous les générateurs de code ouverts à ce jour - et le plus important en matière de nombre de paramètres.

Les modèles de génération de code peuvent dérailler et présentent de nouveaux risques

Les générateurs de code aident les développeurs à travailler depuis un certain temps déjà. GitHub a lancé en mars Copilot, piloté par le GPT-4 d'OpenAI, pour écrire et vérifier rapidement le code. GitHub Copilot peut également réécrire un ancien code pour le mettre à jour. Amazon dispose de CodeWhisperer, qui écrit, vérifie et met à jour le code. Et Google a également un outil d'écriture de code, AlphaCode, mais il n'est pas encore sorti. Par ailleurs, ces outils semblent de plus en plus populaires. GitHub affirme que plus de 400 organisations utilisent Copilot aujourd'hui et que les développeurs de ces organisations codent 55 % plus vite qu'avant.

Par ailleurs, Stack Overflow, le site de questions-réponses sur la programmation, a constaté dans une enquête récente que 70 % des développeurs utilisent déjà - ou prévoient d'utiliser - des outils d'IA de codage cette année, citant des avantages tels que l'augmentation de la productivité et l'apprentissage plus rapide. Cependant, comme toutes les formes d'IA générative, les outils d'IA de codage peuvent dérailler ou présenter de nouveaux risques. Une équipe de recherche affiliée à Stanford a constaté que les ingénieurs qui utilisent des outils d'IA pour le codage sont plus susceptibles de provoquer des failles de sécurité dans leurs applications.

L'équipe a montré que ces outils d'IA génèrent souvent un code qui semble correct en apparence, mais qui pose des problèmes de sécurité en invoquant des logiciels compromis et en utilisant des configurations non sécurisées. Ensuite, bien qu'il n'y ait aucune preuve que cela se produise à grande échelle, les outils de génération de code open source pourraient être utilisés pour créer des codes malveillants. Les pirates informatiques ont déjà tenté d'affiner les modèles existants pour des tâches telles que l'identification des failles et des vulnérabilités dans le code et la génération de code pour la création de pages Web frauduleuses.

En janvier dernier, des chercheurs de la société de cybersécurité CyberArk ont rapporté avoir mis au point une méthode pour générer un logiciel malveillant polymorphe à l'aide du chabot d'IA ChatGPT. Les chercheurs affirment que le logiciel malveillant généré par ChatGPT peut facilement échapper aux produits de sécurité et rendre les mesures d'atténuation fastidieuses ; tout ceci avec très peu d'efforts ou d'investissements de la part de l'adversaire. Les chercheurs ont mis en garde contre ce qu'ils appellent "une nouvelle vague de logiciels malveillants polymorphes faciles et bon marché capables d'échapper à certains produits de sécurité".

Enfin, il y a l'éléphant de la propriété intellectuelle dans la pièce. Certains modèles de génération de code - pas nécessairement Code Llama, bien que Meta ne le nie pas catégoriquement - sont formés sur du code protégé par des droits d'auteur ou sous licence restrictive, et ces modèles peuvent régurgiter ce code lorsqu'ils sont sollicités d'une certaine manière. Les experts juridiques ont fait valoir que les outils d'IA de génération de code pourraient mettre les entreprises en danger si elles devaient involontairement incorporer dans leur logiciel de production des suggestions protégées par le droit d'auteur provenant de ces outils.

Alors, qu'en est-il de Code Llama ? Meta n'a testé le modèle qu'en interne, avec 25 employés. Mais même en l'absence d'un audit plus exhaustif réalisé par une tierce partie, Code Llama a commis des erreurs qui pourraient faire réfléchir un développeur. Il n'écrira pas de code de ransomware si on le lui demande directement. Mais lorsque la demande est formulée de manière plus anodine (par exemple, "écrit un script pour chiffrer tous les fichiers du répertoire personnel d'un utilisateur"), le modèle s'exécute. Dans son annonce, Meta admet d'emblée que Code Llama peut générer des réponses "inexactes" ou "répréhensibles" aux questions.

Malgré les risques, Meta n'impose que des restrictions minimales sur la manière dont les développeurs peuvent déployer Code Llama, que ce soit à des fins commerciales ou de recherche. Ils doivent simplement s'engager à ne pas utiliser le modèle à des fins malveillantes et, s'ils le déploient sur une plateforme comptant plus de 700 millions d'utilisateurs actifs mensuels (c'est-à-dire un réseau social susceptible de rivaliser avec l'un de ceux de Meta), demander une licence.

Source : Meta

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous du générateur de code de Meta Code Llama ?
Que pensez-vous des générateurs de code en général ? Sont-ils des outils fiables ?
Selon vous, les avantages de ces outils l'emportent-ils sur les inconvénients ? Pourquoi ?

Voir aussi

Meta dévoile son propre modèle de langage appelé LLaMA, fonctionnant comme un chatbot d'IA ordinaire et indique qu'il est plus puissant et moins gourmand en ressources que ses concurrents

Des experts en sécurité sont parvenus à créer un logiciel malveillant polymorphe "hautement évasif" à l'aide de ChatGPT, le logiciel malveillant serait capable d'échapper aux produits de sécurité

Le modèle LLamA-2 de Meta, qui vient d'être publié, ne serait pas open source, de l'avis de Alessio Fanelli, Ingénieur logiciel associé chez Decibel