Discussion :

[Mathis Lucas]

Apple aurait développé une technique qui permet d'exécuter les modèles d'IA localement sur l'iPhone plutôt que sur le cloud
selon une étude

Les grands modèles de langages (LLM) sont incroyablement gourmands en mémoires et cela constitue un défi majeur à surmonter pour les entreprises. Mais une étude publiée récemment par les chercheurs d'Apple évoque des pistes de solution pour une inférence efficace des modèles d'IA sur les appareils à mémoire limitée, dont les smartphones. Elle suggère qu'Apple a l'intention d'offrir la possibilité aux utilisateurs d'exécuter les modèles d'IA directement sur leurs appareils iOS plutôt que sur le cloud. Apple est en retard par rapport à ses rivaux dans le domaine de l'IA générative, mais les analystes considèrent cette trouvaille comme une percée qui pourrait l'aider à réduire l'écart.

Les chatbots basés sur de grands modèles de langage, comme ChatGPT et Claude, nécessitent généralement de grandes quantités de mémoire pour fonctionner, ce qui représente un défi pour les appareils avec une capacité de mémoire limitée. Les chercheurs en tentent depuis quelques années de relever le défi, mais peu de progrès ont été réalisés, du moins jusque-là. Pour résoudre ce problème, les chercheurs d'Apple ont mis au point une nouvelle technique qui utilise la mémoire flash - la même mémoire que celle où se trouvent vos applications et vos photos - pour stocker les données du modèle d'IA. Ils ont publié un rapport d'étude au début du mois.

L'article a été publié le 12 décembre, mais il a attiré l'attention après avoir été mis en évidence mercredi en fin de journée sur Hugging Face, une plateforme populaire sur laquelle les chercheurs en IA présentent leurs travaux pour des discussions. Il s'agit du deuxième article d'Apple sur l'IA générative ce mois-ci, et il fait suite à des initiatives antérieures visant à permettre à des modèles de génération d'images tels que Stable Diffusion de fonctionner sur ses processeurs personnalisés. Apple, tout comme les autres fabricants d'équipements et de processeurs, espère que les nouvelles fonctions d'IA contribueront à relancer le marché des smartphones.

L'article de recherche est intitulé "LLM in a flash : Efficient Large Language Model Inference with Limited Memory". Dedans, les auteurs notent que la mémoire flash est plus abondante dans les appareils mobiles que la mémoire vive traditionnellement utilisée pour l'exécution des modèles. Ainsi, leur méthode contourne astucieusement cette limitation en utilisant deux techniques clés qui minimisent le transfert de données et maximisent le débit de la mémoire flash :

1. le fenêtrage : il s'agit d'une méthode de recyclage. Au lieu de charger de nouvelles données chaque fois, le modèle d'IA réutilise une partie des données qu'il a déjà traitées. Cela réduit la nécessité d'aller constamment chercher des données en mémoire, ce qui rend le processus plus rapide et plus fluide ;
2. regroupement lignes-colonnes : cette technique revient à lire un livre par morceaux plutôt qu'un mot à la fois. En regroupant les données plus efficacement, elles peuvent être lues plus rapidement à partir de la mémoire flash, ce qui accélère la capacité de l'IA à comprendre et à générer du langage.

Selon l'article, la combinaison de ces méthodes permet aux modèles d'IA de fonctionner jusqu'à deux fois la taille de la mémoire disponible de l'iPhone. Cela se traduit par une augmentation de la vitesse de 4 à 5 fois sur les processeurs standard (CPU) et de 20 à 25 fois sur les processeurs graphiques (GPU). Les auteurs ont écrit : « cette avancée est particulièrement cruciale pour le déploiement de modèles avancés dans des environnements à ressources limitées, ce qui élargit leur applicabilité et leur accessibilité ». Les analystes affirment qu'il s'agit d'une avancée majeure qui ouvre la voie à de nouvelles possibilités pour les futurs appareils d'Apple.

Les travaux d'Apple sur l'IA générative pourraient éventuellement être intégrés à son assistant vocal Siri. Les possibilités comprennent de nouvelles fonctionnalités plus avancées sur Siri, la traduction en temps réel et des fonctions sophistiquées basées sur l'IA dans les domaines de la photographie, de la réalité virtuelle et de la réalité augmentée. Cela ouvre également la voie à l'utilisation d'assistants d'IA complexes et de chatbots sur les iPhone, ce que la firme de Cupertino serait déjà en train de faire. Selon certaines sources, Apple a organisé en février un sommet sur l'IA et a informé les employés de ses travaux sur les grands modèles de langage.

Selon les analystes, Apple vise une version plus intelligente de Siri, profondément intégrée à l'IA. Apple prévoit d'actualiser la façon dont Siri interagit avec l'application iMessage, afin de permettre aux utilisateurs de répondre à des questions complexes et de compléter automatiquement des phrases de manière plus efficace. En outre, Apple aurait l'intention d'ajouter l'IA à autant d'applications que possible sur ses plateformes. Apple a été largement écartée de la vague d'enthousiasme pour l'IA générative qui a déferlé sur la Silicon Valley au cours des derniers mois, notamment après le lancement par OpenAI de son chatbot révolutionnaire ChatGPT.

Plusieurs analystes estiment qu'Apple est à la traîne par rapport à ses rivaux, bien qu'il ait embauché le plus haut responsable de l'IA de Google, John Giannandrea, en 2018. Alors que Microsoft et Google se sont largement concentrés sur la fourniture de chatbots et d'autres services d'IA générative sur Internet à partir de leurs vastes plateformes de cloud, les recherches d'Apple suggèrent qu'elle se concentrera plutôt sur une IA qui peut fonctionner directement sur un iPhone. Une initiative qui peut faire une grande différence. Certains rivaux d'Apple, tels que Samsung, se prépareraient à lancer un nouveau type de smartphone à IA l'année prochaine.

Counterpoint Research s'attend à ce que plus de 100 millions de smartphones axés sur l'IA soient livrés en 2024, et que 40 % des nouveaux appareils offrent de telles capacités d'ici à 2027. De son côté, Cristiano Amon, PDG de Qualcomm, le plus grand fabricant de puces mobiles au monde, note que l'introduction de l'IA dans les smartphones créerait de nouvelles expériences pour les consommateurs et inverserait la tendance baissière des ventes de téléphones portables. « Vous verrez des appareils lancés au début de 2024 avec un certain nombre de cas d'utilisation de l'IA générative », a déclaré Amon lors d'une récente interview.

Il a ajouté : « au fur et à mesure que ces choses se développent, elles apportent un changement significatif dans l'expérience de l'utilisateur et permettent une innovation qui a le potentiel de créer un nouveau cycle de mise à niveau dans les smartphones ». Les chercheurs d'Apple ont testé leur approche sur des modèles tels que Falcon 7B, une version plus petite d'un modèle open source développé à l'origine par l'Institut d'innovation technologique d'Abou Dhabi. Bien sûr, les divers articles de recherche publiés par Apple ne sont pas un indicateur direct de la manière dont l'entreprise entend ajouter de nouvelles fonctionnalités à ses produits.

Mais ils offrent un rare aperçu de ses laboratoires de recherche secrets et de ses dernières percées techniques. « Notre travail apporte non seulement une solution à un goulot d'étranglement informatique actuel, mais crée également un précédent pour les recherches futures. Nous pensons qu'à mesure que la taille et la complexité des modèles augmentent, des approches comme celle-ci seront essentielles pour exploiter tout leur potentiel dans une large gamme d'appareils et d'applications », indique le rapport de l'étude. Par ailleurs, des rapports signalent qu'Apple serait en train de développer son propre modèle d'IA générative appelé "Ajax".

Conçu pour rivaliser avec les modèles GPT-3 et GPT-4 d'OpenAI, Ajax aurait 200 milliards de paramètres, ce qui suggère un niveau élevé de complexité et de capacité en matière de compréhension et de génération de langage. Appelé "Apple GPT" en interne, Ajax viserait à unifier le développement de l'apprentissage automatique au sein d'Apple, ce qui suggère une stratégie plus large visant à intégrer plus profondément l'IA dans l'écosystème d'Apple. Ajax serait plus performant que la génération précédente GPT 3.5. Cependant, les modèles plus récents d'OpenAI pourraient avoir progressé au-delà des capacités d'Ajax à partir de septembre 2023.

L'analyste Jeff Pu affirme qu'Apple proposera une sorte de fonction d'IA générative sur l'iPhone et l'iPad vers la fin de l'année 2024, date à laquelle iOS 18 sortira. Il a déclaré en octobre qu'Apple a construit quelques centaines de serveurs d'IA en 2023, et en construira probablement plus en 2024. Apple proposerait une combinaison d'IA basée sur le cloud et d'IA avec traitement sur l'appareil. Enfin, la firme de Cupertino a lancé discrètement au début du mois une série de nouveaux outils d'apprentissage automatique.

Source : rapport d'étude (PDF)

Et vous ?

Quel est votre avis sur le sujet ?
Que pensez-vous de l'inférence des modèles d'IA directement sur l'iPhone plutôt que sur le cloud ?
Quels impacts les recherches d'Apple pourraient-elles avoir sur l'entreprise et sur le domaine de l'IA en général ?
Selon vous, quels sont les cas d'utilisation possibles avec l'inférence des modèles d'IA directement sur les smartphones ?

Voir aussi

Apple testerait en interne un modèle de langage appelé "Apple GPT" et développerait des outils d'IA générative pour concurrencer OpenAI, ces outils pourraient servir à renforcer Siri à l'avenir

Apple dépenserait "des millions de dollars par jour" pour l'IA, Apple a pris le train de l'IA comme tout le monde, selon le rapport de The Information

Surpris par le boom de l'IA générative, Apple envisagerait de dépenser 1 milliard de dollars par an pour rattraper son retard, selon un rapport

[Bruno]

Apple, sous le feu des critiques pour ses prix élevés et des accusations de pratiques monopolistiques, projette de lancer l'iPhone AI en 2024,
selon les prévisions de Morgan Stanley

Selon une note de recherche récente de Morgan Stanley, près de la moitié des offres d'emploi d'Apple dans le domaine de l'intelligence artificielle (IA) comprennent désormais le terme Deep Learning, qui se rapporte aux algorithmes alimentant les modèles d'IA générative qui peuvent produire du texte, de l'audio et du code semblables à ceux d'un humain en quelques secondes. L'entreprise a embauché le plus haut responsable de l'IA de Google, John Giannandrea, en 2018. Alors que le monde se concentre sur la course à l'armement en matière d'IA, alimentée par des mastodontes basés sur le cloud comme ChatGPT et PaLM, Apple pourrait être en train de préparer une révolution plus silencieuse pour ses produits. De récentes recherches menées par ses experts laissent entrevoir un changement potentiel : un puissant modèle de langage (LLM) qui ne fonctionne pas dans un centre de données éthéré, mais directement sur les iPhone ou iPad.

Apple renforce ses capacités en intelligence artificielle de manière discrète, en effectuant des acquisitions, des embauches et des mises à jour matérielles. La société californienne a acquis 21 startups spécialisées dans l'IA depuis 2017, mettant l'accent sur la résolution des défis technologiques liés à l'utilisation de l'IA sur les appareils mobiles, notamment les iPhones. Apple semble se concentrer sur l'exploitation de l'IA générative directement sur ses appareils, permettant aux chatbots et aux applications d'IA de fonctionner localement plutôt que d'être alimentés par des services en nuage. Pour atteindre cet objectif, la société travaille sur la réduction de la taille des grands modèles de langage alimentant l'IA et sur le développement de processeurs plus performants.

Morgan Stanley considère les services comme l'un des bénéficiaires potentiels de la production par Apple d'un iPhone doté de l'IA. « Nous pensons que les mises à jour logicielles Gen-AI d'Apple peuvent également accélérer les dépenses de services par utilisateur, qui s'élèvent à seulement 8 dollars par mois aujourd'hui, grâce à de nouveaux paiements de coûts d'acquisition de trafic, à une meilleure attache des services, à l'accélération des achats sur l'App Store et à un éventuel abonnement premium à Siri ». Mais ce sont les ventes de matériel qui, selon Morgan Stanley, seront les plus améliorées par le passage à l'IA.

« Depuis le lancement de l'iPhone 12 5G en octobre 2020, nous estimons que les cycles de remplacement de l'iPhone se sont allongés de près de 12 mois, pour atteindre un record de 4,5 ans, indique Morgan Stanley, un produit de la courbe d'innovation qui se stabilise, de la meilleure qualité des appareils et des vents contraires aux dépenses en biens de consommation. »

Les grands modèles de langage jouent un rôle central dans le traitement moderne du langage naturel, excelling dans diverses tâches. Toutefois, en raison de leurs importantes exigences en calcul et en mémoire, ils posent des défis, surtout pour les appareils dotés d'une capacité de mémoire vive limitée. L’approche vise à créer un modèle de coût d'inférence qui prend en considération les caractéristiques de la mémoire flash, guidant ainsi l'optimisation dans deux domaines critiques : la réduction du volume de données transférées depuis la mémoire flash et la lecture de données en morceaux plus grands et contigus.

La prochaine Worldwide Developers Conference d'Apple pourrait révéler des avancées majeures dans ce domaine, avec des spéculations sur l'intégration de l'IA générative dans iOS 18. Apple a également embauché des experts en IA, dont John Giannandrea de Google, et a dévoilé de nouvelles puces orientées vers l'IA, renforçant ainsi sa position dans la course à l'armement en matière d'IA parmi les grandes entreprises technologiques. Bien que d'autres fabricants aient déjà lancé des appareils avec des fonctionnalités d'IA générative, Apple semble se concentrer sur l'innovation responsable et sur la création de solutions intégrées dans son écosystème. Les analystes estiment que les futures mises à niveau des iPhones seront stimulées par des fonctionnalités d'IA générative, renforçant ainsi la position d'Apple sur le marché.

Intégration et amélioration de l'IA dans l'écosystème Apple

Apple a jeté les bases d'un solide cadre d'IA dans son écosystème. Les applications actuelles de l'entreprise en matière d'IA et d'apprentissage automatique comprennent l'amélioration des capacités des appareils photo, des fonctions de recherche et de l'expérience utilisateur grâce à des suggestions intelligentes. Avec des moteurs neuronaux dédiés, les appareils Apple sont bien équipés pour le traitement de l'IA sur l'appareil. L'entreprise prévoit de lancer des fonctionnalités d'IA générative vers la fin de l'année 2024, en mettant l'accent sur un mélange de traitement de l'IA basé sur le cloud et sur l'appareil.

Les implémentations existantes de l'IA et de l'apprentissage automatique d'Apple couvrent un large éventail de fonctions, des améliorations de l'appareil photo aux fonctions de recherche intuitives à l'échelle du système. Ses appareils sont équipés de moteurs neuronaux, ce qui souligne l'engagement d'Apple en faveur du traitement de l'IA sur l'appareil. L'introduction de fonctions d'IA générative, attendue pour fin 2024, représente un bond en avant significatif, combinant l'IA basée sur le cloud et l'IA sur l'appareil pour créer des systèmes plus puissants et plus efficaces.

Les chercheurs d'Apple ont publié une étude stimulante intitulée "LLM in a Flash", qui remet en question le discours dominant sur les LLM basés sur le cloud. Leur principale idée est de reconnaître le potentiel inexploité du stockage flash, abondamment présent dans les appareils mobiles, en tant qu'alternative viable à la mémoire vive (RAM), le cheval de bataille traditionnel des LLM. Ce changement ouvre la voie à des solutions innovantes qui permettent de surmonter les contraintes de ressources des appareils mobiles.

Au cours des dernières années, les grands modèles de langage (LLM) tels que GPT-3 ont démontré des performances exceptionnelles dans diverses tâches liées au langage naturel. Cependant, malgré leurs capacités sans précédent, ces modèles imposent des exigences significatives en termes de puissance de calcul et de mémoire lors de l'inférence. Les LLM peuvent comporter des centaines de milliards, voire des milliards de paramètres, les rendant difficiles à interpréter et à analyser efficacement, surtout sur des dispositifs aux ressources limitées.

Actuellement, la méthode conventionnelle implique le chargement du modèle de référence dans la mémoire RAM (mémoire dynamique à accès aléatoire) pour l'inférence. Cependant, cette approche restreint considérablement la taille maximale du modèle pouvant être utilisé. Par exemple, un modèle de 7 milliards de paramètres nécessite plus de 14 Go de mémoire uniquement pour lire les paramètres en format de demi-précision à virgule flottante, dépassant ainsi les capacités de la plupart des appareils à écran plat.

Pour remédier à cette limitation, Apple propose de stocker les paramètres du modèle dans la mémoire flash, qui est au moins un ordre de grandeur plus grande que la mémoire RAM. Pendant l'inférence, les ingénieurs changent directement le sous-ensemble de paramètres requis depuis la mémoire flash, évitant ainsi la nécessité de placer l'intégralité du modèle dans la DRAM. La méthode s'appuie sur des recherches récentes démontrant que les MLL présentent une forte parité dans les couches du réseau d'alimentation en amont (FFN).

• La mémoire flash offre une capacité nettement plus élevée, mais souffre d'une largeur de bande nettement inférieure à celle de la mémoire RAM, des caches et des registres de l'unité centrale ou du processeur graphique ;
• Le débit des lectures aléatoires en mémoire flash augmente avec la taille des morceaux séquentiels et le nombre de threads.

Pour libérer ce potentiel, l'étude propose deux techniques ingénieuses :

1. Le fenêtrage : cette méthode permet au LLM de réutiliser des données précédemment traitées au lieu de rechercher de nouvelles informations à chaque étape. C'est un peu comme revisiter les pages clés d'un manuel au lieu de relire l'ensemble du volume pour chaque nouvelle question.
2. Regroupement lignes-colonnes : cette technique réorganise les données en vue d'un traitement plus efficace, un peu comme si l'on réorganisait les livres de bibliothèque par catégorie pour en faciliter l'accès et la compréhension.

L'effet combiné de ces techniques n'est pas seulement théorique. Les chercheurs font état d'une accélération potentielle de 4 à 5 fois du traitement par le CPU mobile et d'une augmentation stupéfiante de 20 à 25 fois pour le GPU lors de l'exécution des LLM. Cela se traduit par un saut tangible dans les capacités d'IA sur l'appareil, ouvrant la voie à des possibilités jusqu'alors inimaginables.

Latence d'inférence d'un jeton lorsque la moitié de la mémoire du modèle est disponible. La méthode charge sélectivement les paramètres à la demande par étape de génération de jetons. Le temps de latence est le temps nécessaire pour charger à partir de la mémoire flash plusieurs fois dans les deux sens pendant la génération de tous les jetons et le temps nécessaire pour les calculs, en moyenne sur tous les jetons générés.

Apple utilise l'apprentissage automatique pour apprendre à ses produits à mieux comprendre le monde, comme le font les humains. L'apprentissage automatique peut aider les produits Apple à être suffisamment intelligents et intuitifs pour améliorer le quotidien des personnes handicapées. Les ingénieurs Apple peuvent créer des fonctions d'apprentissage automatique qui prennent en charge un large éventail d'utilisateurs, notamment les personnes aveugles ou malvoyantes, les personnes sourdes ou malentendantes, les personnes souffrant de limitations physiques motrices et les personnes souffrant de handicaps cognitifs. Les appareils mobiles et leurs applications sont devenus omniprésents. Or, pour les quelque 15 % de la population mondiale souffrant d'un handicap, de nombreuses fonctionnalités et de nombreux services offerts par les applications restent inaccessibles.

Pour être utiles aux utilisateurs, les fonctions d'accessibilité des plateformes mobiles exigent que les applications fournissent des informations complètes et précises décrivant les composants de l'interface utilisateur (IU). Or, de nombreuses applications ne fournissent pas suffisamment de descriptions pour que les fonctions d'accessibilité fonctionnent comme prévu. Lorsque les développeurs ne fournissent pas d'informations précises sur les différents éléments de l'interface utilisateur, certaines parties de l'application ne sont pas accessibles. Ainsi, VoiceOver ne peut pas lire un paragraphe, ou Switch Control ne peut pas activer un bouton. Dans certains cas, une application entière n'est pas accessible aux utilisateurs handicapés.

Apple a mené une étude sur l'inférence de l'accessibilité des applications mobiles à partir de leurs pixels à l'écran. « Nous avons entraîné un modèle robuste, rapide, efficace en termes de mémoire et installé sur l'appareil pour détecter les éléments de l'interface utilisateur à l'aide d'un ensemble de données d'écrans d'applications iPhone collectées et annotées manuellement.

Pour améliorer encore la détection des interfaces utilisateur et ajouter des informations sémantiques, nous avons introduit des heuristiques et des modèles supplémentaires. Par exemple, nous avons regroupé les éléments d'interface utilisateur pertinents afin de réduire le temps de navigation pour les utilisateurs de lecteurs d'écran, et nous avons déterminé si un élément d'interface utilisateur était cliquable », Apple. C'est à partir de cette étude que les chercheurs Apple ont développé la fonction de reconnaissance d'écran, qu’ils ont mise à la disposition du public dans l'iOS 14. La reconnaissance d'écran utilise l'apprentissage automatique et la vision par ordinateur pour détecter et fournir automatiquement du contenu.

Au-delà d'Apple : implications pour l'avenir de l'IA

La décision du géant technologique intervient alors que l'intégration de l'IA devient de plus en plus courante dans l'industrie technologique, avec des entreprises comme Google, Microsoft et Amazon qui intègrent l'IA générative dans leurs produits. En cherchant à faire fonctionner des modèles d'IA sur des appareils tels que les iPhones, Apple se positionne comme un acteur majeur dans la course à l'IA.

Les avancées d'Apple en matière d'IA la placent à l'avant-garde d'une évolution mondiale vers l'intégration de l'IA dans les technologies courantes. D'autres géants de la technologie, dont Google, Microsoft et Amazon, sont également actifs dans ce domaine, faisant de l'IA un champ de bataille clé pour l'innovation et la domination du marché.

L'incursion d'Apple dans les LLM sur appareil a des implications considérables pour l'avenir de l'IA. Elle montre que des appareils aux ressources limitées peuvent héberger une intelligence puissante, remettant en cause le modèle établi de domination de l'IA centrée sur les nuages. Cela pourrait inciter d'autres géants de la technologie à explorer des solutions similaires sur les appareils, ce qui conduirait à un paysage de l'IA plus diversifié et distribué.

En outre, l'engagement d'Apple en faveur de la protection de la vie privée grâce au traitement sur l'appareil pourrait établir une nouvelle norme pour le développement responsable de l'IA. Alors que les inquiétudes concernant la sécurité des données et les biais algorithmiques augmentent, l'approche d'Apple offre une alternative convaincante, qui pourrait influencer la façon dont nous concevons et déployons l'IA dans les années à venir.

L'intégration de l'IA dans les appareils Apple devrait redéfinir l'interaction avec l'utilisateur, en offrant des assistants virtuels plus intelligents, des fonctionnalités adaptatives et des fonctions uniques pilotées par l'IA qui seront probablement exclusives à la gamme de produits Apple. Le fait qu'Apple se lance dans l'exécution de modèles d'IA directement sur les iPhones et d'autres appareils marque une évolution majeure vers des écosystèmes technologiques plus intelligents et plus autonomes. En exploitant les capacités avancées de l'IA, Apple s'apprête à redéfinir l'expérience utilisateur et à renforcer sa position sur le marché concurrentiel de la technologie.

L'ambition d'Apple de faire fonctionner des modèles d'IA sur les iPhones suscite des critiques, associées à ses prix élevés et à des accusations de pratiques monopolistiques

L'ambition d'Apple de faire fonctionner des modèles d'IA directement sur les iPhones est critiquée pour ses limites matérielles évidentes, pouvant compromettre l'expérience utilisateur. Intégrer des modèles d'IA sur des appareils mobiles avec des capacités de stockage limitées soulève des préoccupations d'espace pour les utilisateurs.

Apple est souvent critiqué pour ses prix élevés, tant pour ses produits que pour ses services. Son approche tarifaire peut exclure certains consommateurs et donner l'impression que la société privilégie la rentabilité au détriment de l'accessibilité. La marque à la pomme a également été accusé de favoriser des pratiques monopolistiques en limitant le choix des consommateurs et en décourageant la concurrence.

Apple est également critiqué pour ses politiques de réparation restrictives, notamment l'opposition aux réparations effectuées par des tiers et la conception des produits rendant difficile l'auto-réparation. Cela entraîne des coûts élevés pour les utilisateurs et génère des déchets électroniques.

Certains critiques estiment qu'Apple dépend trop des acquisitions pour stimuler l'innovation. Plutôt que de développer en interne, la société a tendance à acquérir des startups technologiques, soulevant des questions sur sa capacité à innover de manière autonome. Bien que des progrès aient été réalisés, Apple a encore des défis en matière d'impact environnemental, notamment en ce qui concerne l'extraction de minéraux pour la fabrication des appareils et la gestion des déchets électroniques. Des critiques estiment que la durabilité devrait être une priorité plus élevée.

L'ambition d'Apple de faire fonctionner des modèles d'IA directement sur les iPhones est confrontée à des limites matérielles évidentes. Les capacités de calcul et de mémoire des smartphones sont notoirement restreintes par rapport aux serveurs en nuage. Cette démarche risque de sacrifier la performance globale des iPhones au profit de fonctionnalités d'IA locales, compromettant ainsi l'expérience utilisateur.

Les modèles d'IA, en particulier ceux nécessaires pour des tâches avancées, sont volumineux. L'idée d'intégrer ces modèles sur des appareils mobiles avec des capacités de stockage limitées soulève des préoccupations sérieuses. Les utilisateurs pourraient être confrontés à des problèmes d'espace, ce qui pourrait rendre cette fonctionnalité peu pratique pour un grand nombre d'utilisateurs.

La gestion des mises à jour de modèles d'IA sur les iPhones pourrait s'avérer un défi majeur. Les utilisateurs devraient télécharger des mises à jour fréquentes, potentiellement volumineuses, ce qui pourrait entraîner des complications en termes de gestion de la compatibilité et de l'expérience utilisateur. Cette complexité pourrait décourager les utilisateurs moins techniques.

L'exécution d'algorithmes d'IA complexes directement sur les iPhones pourrait avoir des conséquences néfastes sur la durée de vie de la batterie. Les tâches d'IA intensives peuvent drainer la batterie plus rapidement, compromettant ainsi la principale exigence des utilisateurs : une autonomie prolongée. Apple semble adopter une approche en concurrence directe avec les services en nuage qui offrent une puissance de calcul extensible. Cette décision apparaît comme un choix stratégique malavisé, car elle va à l'encontre de la tendance actuelle qui privilégie l'accès à la puissance de calcul sans contraintes matérielles via le cloud.

Bien qu'Apple soit largement admiré pour son design innovant et ses performances technologiques, ces critiques soulignent des domaines où l'entreprise pourrait améliorer ses pratiques pour répondre aux attentes changeantes des consommateurs et des défis sociétaux. L'exécution d'algorithmes d'IA complexes directement sur les iPhones pourrait affecter la durée de vie de la batterie, compromettant l'autonomie des utilisateurs. Apple semble aller à l'encontre de la tendance en concurrençant les services cloud, suscitant des critiques quant à la sagesse de ce choix stratégique.

Source : Apple

Et vous ?

Quel est votre avis sur le sujet ?

Que pensez-vous de la décision d'Apple de faire fonctionner des modèles d'IA directement sur les iPhones plutôt que d'utiliser des services cloud, qui offrent une puissance de calcul extensible ?

Quels sont les avantages potentiels et les inconvénients de l'approche d'Apple par rapport à d'autres solutions sur le marché qui optent pour le traitement en cloud pour les tâches d'IA ?

Voir aussi :

Apple dépenserait "des millions de dollars par jour" pour l'IA, Apple a pris le train de l'IA comme tout le monde, selon le rapport de The Information

Apple testerait en interne un modèle de langage appelé "Apple GPT" et développerait des outils d'IA générative pour concurrencer OpenAI, ces outils pourraient servir à renforcer Siri à l'avenir

Apple aurait développé une technique qui permet d'exécuter les modèles d'IA localement sur l'iPhone plutôt que sur le cloud, selon une étude

[Jade Emy]

L'IA d'Apple dans iOS 18 sera sur l'appareil et non sur le serveur, ce qui préservera la vie privée, ces fonctions d'IA fonctionneraient sans connexion Internet ni aucune forme de traitement basé sur le cloud.

Les efforts d'Apple en matière d'IA dans iOS 18 incluront des éléments sur l'appareil pour aider à préserver la vie privée.

iOS 18 est en cours d'élaboration et, selon les rumeurs, il comportera des fonctions d'intelligence artificielle axées sur la protection de la vie privée, dont le traitement sera effectué directement sur l'iPhone, sans connexion à des services basés dans le cloud.

Selon Mark Gurman, de Bloomberg, dans l'édition dominicale de sa lettre d'information PowerOn, les fonctions liées à l'IA dans iOS 18 "fonctionneront entièrement sur l'appareil". En pratique, ces fonctions d'intelligence artificielle pourraient fonctionner sans connexion internet ni aucune forme de traitement dans le cloud. Un certain nombre de sources anonymes bien informées ont confirmé l'exactitude des affirmations de M. Gurman. Apple travaille actuellement sur un grand modèle de langage, ou LLM, connu en interne sous le nom d'"Ajax".

Si les fonctions les plus avancées nécessiteront à terme une connexion Internet, les fonctions de base d'analyse de texte et de génération de réponses devraient être disponibles hors ligne.

On pense également que des améliorations basées sur l'IA seront apportées à des applications telles que Messages, Safari, Spotlight Search et Siri. Apple teste depuis un certain temps la génération de réponses textuelles sur l'appareil, ce qui signifie que cette fonctionnalité sera probablement l'une des premières à être présentée en avant-première ou à être lancée.

Les fonctions d'IA les plus avancées nécessiteront toujours une connexion internet, et Apple aurait discuté de l'octroi de licences pour la technologie d'IA de Google et d'OpenAI afin de l'utiliser dans iOS 18, plutôt que de développer son propre LLM en ligne.

Les processus sur l'appareil pourraient contribuer à éliminer certaines controverses liées aux outils d'IA côté serveur. Par exemple, ces outils sont connus pour leurs hallucinations, ce qui signifie qu'ils inventent des informations en toute confiance. Le problème des hallucinations n'a fait qu'empirer, car les modèles d'IA se nourrissent du contenu généré par d'autres modèles d'IA.

Apple dévoilera ses projets en matière d'IA lors de la conférence WWDC, qui débutera le 10 juin.

Source : Mark Gurman dans l'édition dominicale de sa lettre d'information PowerOn

Et vous ?

Quel est votre avis sur le sujet ?
Pensez-vous que ces rumeurs sont crédibles ou pertinentes ?

Voir aussi :

Apple aurait développé une technique qui permet d'exécuter les modèles d'IA localement sur l'iPhone plutôt que sur le cloud, selon une étude

Apple envisage de confier les fonctions d'IA de l'iPhone à Gemini, le moteur d'IA de Google pour la création d'images ou la rédaction d'essais à partir d'invites simples

Il est plus difficile que prévu d'empêcher Apple d'accéder à vos données, les applications par défaut collectent des données même lorsqu'elles sont désactivées et il est difficile d'y mettre fin

[Stéphane le calme]

Apple acquiert Datakalab, une start-up française spécialisée dans l'IA embarquée à faible consommation,
préparant l'intégration d'une série de fonctions d'IA à iOS 18 qui tourneront directement sur l'appareil

Dans un mouvement stratégique visant à renforcer ses capacités en intelligence artificielle (IA) et en vision par ordinateur, Apple a récemment acquis Datakalab, une start-up basée à Paris. Fondée par Xavier et Lucas Fischer en 2016, Datakalab s’est distinguée par son expertise dans la compression d’algorithmes et les systèmes d’IA embarqués. Avant son acquisition, Datakalab comptait entre 10 et 20 employés et avait collaboré avec le gouvernement français et Disney, entre autres. La technologie développée par la start-up permet d’analyser les émotions humaines par reconnaissance faciale et données visuelles, utilisées notamment pour surveiller les réactions du public en temps réel lors de projections cinématographiques.

Les LLM sont des systèmes d’intelligence artificielle capables de comprendre et de générer du langage naturel à partir de grandes quantités de données textuelles. Des exemples de LLM sont GPT-3 et GPT-4 d’OpenAI, qui peuvent produire des textes cohérents et variés sur n’importe quel sujet, allant des articles de presse aux poèmes en passant par les codes informatiques. Ces modèles sont très puissants, mais aussi très gourmands en mémoire et en ressources de calcul, ce qui pose un défi pour les déployer sur des appareils mobiles comme les iPhone, qui ont une capacité de mémoire limitée.

Pour relever ce défi, les chercheurs d’Apple ont développé une technique innovante qui utilise la mémoire flash - la même mémoire où sont stockées vos applications et vos photos - pour stocker les données du modèle de langage. Cette technique permet de réduire le transfert de données entre la mémoire flash et la mémoire vive (RAM), et d’augmenter le débit de la mémoire flash, ce qui accélère le processus d’inférence du modèle de langage. C'est en tout cas ce qu'a suggéré une étude publiée en décembre.

L'article de recherche est intitulé "LLM in a flash : Efficient Large Language Model Inference with Limited Memory". Les auteurs y notent que la mémoire flash est plus abondante dans les appareils mobiles que la mémoire vive traditionnellement utilisée pour l'exécution des modèles. Ainsi, leur méthode contourne astucieusement cette limitation en utilisant deux techniques clés qui minimisent le transfert de données et maximisent le débit de la mémoire flash :

• le fenêtrage : il s'agit d'une méthode de recyclage. Au lieu de charger de nouvelles données chaque fois, le modèle d'IA réutilise une partie des données qu'il a déjà traitées. Cela réduit la nécessité d'aller constamment chercher des données en mémoire, ce qui rend le processus plus rapide et plus fluide ;
• regroupement lignes-colonnes : cette technique revient à lire un livre par morceaux plutôt qu'un mot à la fois. En regroupant les données plus efficacement, elles peuvent être lues plus rapidement à partir de la mémoire flash, ce qui accélère la capacité de l'IA à comprendre et à générer du langage.

Datakalab s'est spécialisé dans les algorithmes qui fonctionnent entièrement sur l'appareil

Apple adopterait donc une approche différente de l'IA générative. Alors que les fonctions d'IA générative sur les appareils sont actuellement soutenues par de grands modèles de langage côté serveur, Apple souhaite exécuter les LLM sur les appareils. Cela l'aidera à garantir la confidentialité des utilisateurs, puisque les données de ces derniers n'ont pas besoin de quitter les iPhone pour atteindre des serveurs, qui peuvent être partagés.

Toutefois, les modèles sur appareil ne peuvent pas tout faire. Apple doit développer un modèle suffisamment performant tout en étant économe en énergie. Mais cela prendra du temps. Et c'est exactement là que l'acquisition de la startup française Datakalab devient pertinente puisqu'elle le propose depuis 2017.

Datakalab s'est spécialisée dans les algorithmes d'apprentissage profond à faible consommation d'énergie, efficaces en termes d'exécution, respectueux de la vie privée et fonctionnant entièrement sur l'appareil (en embarqué donc). Ses travaux de recherche ont donné lieu à des publications dans les meilleures conférences et journaux du domaine (T-PAMI, NeurIPS, ICCV, CVPR, AAAI).

Au départ, Datakalab a d’abord exploré l'usage de l'IA pour lire les émotions du visage humain. La RATP, la ville de Cannes ou encore des salles de concert ont utilisé cette technologie : il était question ces fois-là de déployer ses outils d'IA afin de vérifier si les gens portaient des masques de protection lors de la pandémie. La startup a signé avec Médiamétrie pour mesurer les émotions des spectateurs au cinéma, ainsi qu'avec Disney pour l'aider à améliorer ses bandes-annonces.

Et les choses se sont plutôt bien passées. Médiamétrie par exemple évoquait des résultats concluants :

En filmant les visages des spectateurs consentants, le niveau d’attention et les pics d’émotions positives sont retranscrits sous forme de courbes. Cette solution matérialise les moments forts vécus par le spectateur.

En mai et juin 2019, Médiamétrie a utilisé ce dispositif pour tester en ligne des bandes-annonces de films de différents genres : comédie française, animation et action. Les visages de 900 individus ont été filmés via la webcam de leur ordinateur, afin d’enregistrer les réactions émotionnelles provoquées au cours du visionnage de la bande-annonce.

Médiamétrie s’est également appuyé sur ce procédé pendant la projection test d’une comédie française dans une salle de cinéma parisienne.

Les émotions ressenties pendant le film par les spectateurs, leur cohérence avec le genre du film sont des informations clés permettant aux professionnels du secteur d’optimiser le montage du film et valider le choix d’une bande-annonce efficace, en affiner la stratégie marketing ou encore les leviers de communication.

Marine Boulanger, directrice du pôle Cinéma et Entertainment de Médiamétrie a déclaré : « Ces données émotionnelles viennent appuyer et détailler les données des spectateurs que nous recueillons dans nos études, pour apporter une réponse encore plus concrète sur l’attractivité et le potentiel d’un film, ou l’efficacité d’une bande-annonce. »

Un rachat qui a eu lieu en décembre

Cette entreprise a été fondée en 2016 par deux frères, Xavier et Lucas Fischer. Selon la Commission européenne, l'accord a été signé en décembre de l'année dernière. La nouvelle n'a été révélée que maintenant via nos confrères Challenges. L'entreprise ne compterait que 10 à 20 employés et plusieurs d'entre eux ont également rejoint la nouvelle équipe d'Apple en Californie. En revanche, les deux fondateurs, Xavier et Lucas Fischer, n'auraient pas rejoint Apple.

D'après les informations glanées sur le site web de Datakalab, aujourd'hui disparu, l'activité principale de l'entreprise tournait autour du développement d'algorithmes sophistiqués d'analyse d'images par ordinateur, conçus pour mesurer les flux dans les espaces publics. Grâce à la transformation rapide des images en données statistiques anonymes traitées localement en l'espace de 100 millisecondes, Datakalab a adhéré fermement aux principes de la protection de la vie privée, en veillant à ce que seules les données statistiques soient conservées et en évitant tout stockage d'images ou d'informations personnelles.

L'ambition d'Apple de faire fonctionner des modèles d'IA sur les iPhone a déjà suscité des critiques

Plusieurs analystes estiment qu'Apple est à la traîne par rapport à ses rivaux, bien qu'il ait embauché le plus haut responsable de l'IA de Google, John Giannandrea, en 2018. Alors que Microsoft et Google se sont largement concentrés sur la fourniture de chatbots et d'autres services d'IA générative sur Internet à partir de leurs vastes plateformes de cloud, les recherches d'Apple suggèrent qu'elle se concentrera plutôt sur une IA qui peut fonctionner directement sur un iPhone. Une initiative qui peut faire une grande différence. Certains rivaux d'Apple, tels que Samsung, se prépareraient à lancer un nouveau type de smartphone IA cette année.

Counterpoint Research s'attend à ce que plus de 100 millions de smartphones axés sur l'IA soient livrés en 2024, et que 40 % des nouveaux appareils offrent de telles capacités d'ici à 2027. De son côté, Cristiano Amon, PDG de Qualcomm, le plus grand fabricant de puces mobiles au monde, note que l'introduction de l'IA dans les smartphones créerait de nouvelles expériences pour les consommateurs et inverserait la tendance baissière des ventes de téléphones portables. « Vous verrez des appareils lancés au début de 2024 avec un certain nombre de cas d'utilisation de l'IA générative », a déclaré Amon lors d'une récente interview.

Quoiqu'il en soit, l'ambition d'Apple de faire fonctionner des modèles d'IA directement sur les iPhone est confrontée à des limites matérielles évidentes. Les capacités de calcul et de mémoire des smartphones sont notoirement restreintes par rapport aux serveurs sur le cloud. Certains estimaient alors que cette démarche risque de sacrifier la performance globale des iPhone au profit de fonctionnalités d'IA locales, compromettant ainsi l'expérience utilisateur.

D'ailleurs, les critiques n'ont pas manqué d'indiquer qu'Apple dépend trop des acquisitions pour stimuler l'innovation. Plutôt que de développer en interne, la société a tendance à acquérir des startups technologiques, soulevant des questions sur sa capacité à innover de manière autonome. Il faut dire qu'en janvier 2024 la société californienne avait déjà fait l'acquisition de 21 startups spécialisées dans l'IA depuis 2017, mettant l'accent sur la résolution des défis technologiques liés à l'utilisation de l'IA sur les appareils mobiles, notamment les iPhone.

Conclusion

Cette acquisition intervient alors qu'Apple devrait intégrer une série de fonctions d'intelligence artificielle à iOS 18 dans le courant de l'année. Datakalab a également développé une technologie avancée basée sur la vision, qui pourrait jouer un rôle dans les ambitions Vision Pro d'Apple à l'avenir. La technologie de reconnaissance faciale avancée de l'entreprise pourrait également contribuer à des éléments tels que Photos et Face ID.

Sources : Challenges, Médiamétrie

Et vous ?

Quel impact pensez-vous que l’acquisition de Datakalab aura sur la confidentialité des utilisateurs d’Apple, étant donné l’expertise de la start-up dans l’analyse des émotions par reconnaissance faciale ?
Comment Apple pourrait-il intégrer la technologie de vision par ordinateur de Datakalab dans ses produits existants pour améliorer l’expérience utilisateur ?
La stratégie d’Apple de fonctionner entièrement sur l’appareil avec son LLM est-elle, selon vous, une réponse suffisante aux préoccupations concernant la sécurité des données par rapport aux services basés sur le cloud ?
En quoi la compression des algorithmes d’IA pourrait-elle changer la manière dont nous utilisons nos appareils mobiles au quotidien ?
Quelles innovations espérez-vous voir émerger d’Apple suite à cette acquisition, notamment en termes d’IA et de vision par ordinateur ?

[Stéphane le calme]

Apple lance OpenELM : de petits modèles d'IA open source conçus pour fonctionner directement sur l'appareil,
et effectuer efficacement des tâches de génération de texte

Alors que Google, Samsung et Microsoft poursuivent leurs efforts en matière d'IA générative sur les PC et les appareils mobiles, Apple se joint à la fête avec OpenELM, une nouvelle famille de grands modèles de langage (LLM) open source qui peuvent fonctionner entièrement sur un seul appareil plutôt que de devoir se connecter à des serveurs sur le cloud. Publié sur le site de la communauté de code d'IA Hugging Face, OpenELM se compose de petits modèles conçus pour effectuer efficacement des tâches de génération de texte. Ces modèles sont entraînés sur des ensembles de données accessibles au public à l'aide de la bibliothèque CoreNet. Les données d'entraînement comprennent une variété de sources, totalisant environ 1,8 billion (1 billion étant 1 000 milliards) de jetons.

Le moins que l'on puisse dire, c'est que l'avancée d'Apple en matière d'IA a été lente, surtout si on la compare aux développements rapides qui ont lieu chez ses concurrents, à savoir Microsoft et Google. Alors que Samsung, Google et même Nothing proposent une pléthore de fonctions d'IA sur leurs appareils respectifs, les iPhones sont restés à l'écart, Apple devant rattraper son retard dans la course à l'IA. Toutefois, Apple s'efforce activement de progresser et a récemment discuté avec des sociétés comme Google et OpenAI d'un éventuel accord qui permettrait d'utiliser leurs modèles d'IA sur les iPhones, mais cet accord est encore en cours d'élaboration.

Apple publie quatre modèles d'IA en code source libre

Il y a huit modèles OpenELM au total - quatre pré-entraînés et quatre adaptés aux instructions - couvrant différentes tailles de paramètres entre 270 millions et 3 milliards de paramètres (se référant aux connexions entre les neurones artificiels dans un LLM, et plus de paramètres dénotent généralement une plus grande performance et plus de capacités, bien que ce ne soit pas toujours le cas).

Si le préapprentissage permet à un LLM de produire un texte cohérent et potentiellement utile, il s'agit principalement d'un exercice prédictif, tandis que le réglage des instructions permet d'obtenir des résultats plus pertinents en réponse à des demandes spécifiques d'un utilisateur. Le préapprentissage peut avoir pour conséquence qu'un modèle essaie simplement de compléter l'invite avec du texte supplémentaire, par exemple en répondant à l'invite de l'utilisateur « apprenez-moi à faire du pain » avec le texte « dans un four domestique » plutôt qu'avec de véritables instructions étape par étape, ce qui serait plus facile à réaliser grâce au réglage des instructions.

Selon l'article publié sur HuggingFace, la famille de modèles d'IA est connue sous le nom de « Open-source Efficient Language Models » ou OpenELM. Ces modèles ont été conçus pour effectuer efficacement de petites tâches, telles que la rédaction d'e-mails. Apple indique qu'OpenELM a été entraîné sur des ensembles de données accessibles au public à l'aide de la bibliothèque CoreNet, qui comprend RefinedWeb, PILE dédupliqué, un sous-ensemble de RedPajama et un sous-ensemble de Dolma v1.6, soit un total d'environ 1,8 trillion (1 billion étant 1 000 milliards) de tokens. Il a été publié avec quatre paramètres : 70 millions, 450 millions, 1,1 milliard et 3 milliards.

Les paramètres, qui sont des mesures cruciales dans les modèles d'IA, déterminent l'étendue des variables dont le modèle peut tirer des enseignements au cours des processus de prise de décision. La publication d'OpenELM par Apple vise à contribuer à la communauté de la recherche ouverte en donnant accès à des modèles de langage de pointe et en encourageant l'innovation et la collaboration dans la recherche sur l'IA. L'incursion d'Apple dans l'IA ne se limite pas à la publication d'OpenELM. L'entreprise explore activement les applications de l'IA, comme en témoigne le développement de frameworks tels que MLX pour optimiser les performances de l'IA sur les appareils alimentés au silicium d'Apple.

Ce qu'il faut retenir des caractéristiques d’OpenELM :

• Différentes tailles de paramètres : la famille OpenELM comprend huit modèles au total, répartis en quatre pré-entraînés et quatre ajustés aux instructions. Ils couvrent différentes tailles de paramètres, allant de 270 millions à 3 milliards de paramètres. Plus de paramètres ne signifient pas toujours de meilleures performances, mais dans ce cas, OpenELM parvient à offrir une précision accrue.
• Technique de mise à l’échelle par couche : OpenELM utilise une technique appelée mise à l’échelle par couche pour allouer les paramètres de manière plus efficace dans le modèle de transformation. Contrairement à un modèle où chaque couche possède le même ensemble de paramètres, les couches du transformateur d’OpenELM ont des configurations et des paramètres différents. Le résultat est une meilleure précision, comme le montrent les tests de référence.
• Entraînement sur des ensembles de données variés : OpenELM a été pré-entraîné à l’aide du jeu de données RedPajama provenant de GitHub, ainsi que d’une multitude de livres, d’articles Wikipedia, de publications StackExchange et d’articles ArXiv. Le modèle a également utilisé le jeu de données Dolma provenant de Reddit, Wikibooks et Project Gutenberg.

Une performance respectable, mais pas à la pointe de la technologie

En termes de performances, les résultats d'OpenLLM communiqués par Apple montrent que les modèles sont assez performants, en particulier la variante d'instruction à 450 millions de paramètres.

En outre, la variante OpenELM de 1,1 milliard de paramètres « surpasse OLMo, qui a 1,2 milliard de paramètres, de 2,36 % tout en nécessitant 2 fois moins de jetons de pré-entraînement ». OLMo est le modèle de langage de grande taille de l'Allen Institute for AI (AI2), récemment publié en tant que « modèle de langage de grande taille à code source ouvert ».

Sur le benchmark ARC-C, conçu pour tester les connaissances et les capacités de raisonnement, la variante pré-entraînée d'OpenELM-3B a obtenu une précision de 42,24 %. En revanche, sur MMLU et HellaSwag, elle a obtenu respectivement 26,76 % et 73,28 %.

Un utilisateur qui a commencé à tester la famille de modèles a fait remarquer qu'il s'agissait d'un « modèle solide mais très aligné », ce qui signifie que ses réponses ne sont pas très créatives et qu'elles ne risquent pas de s'aventurer en territoire NSFW. Pour mémoire, NSFW (sigle de l'anglais not safe for work) est un tag utilisé dans les espaces de discussion publics, tels que les forums, les blogues ou les médias sociaux pour identifier les liens pointant vers du contenu (texte, image, vidéo, son) potentiellement choquant, afin de prévenir les internautes qu'ils pourraient ne pas vouloir le consulter s'ils se trouvent dans un environnement inapproprié. Il peut s'agir de la nudité, de la pornographie, de la violence, du gore, des grossièretés, des discours de haine ou toute autre idéologie extrémiste.

La Phi-3 Mini de Microsoft, récemment introduite et dotée de 3,8 milliards de paramètres et d'une longueur de contexte de 4k, est actuellement en tête dans ce domaine.

Selon des statistiques récemment partagées, il a obtenu un score de 84,9 % sur le test ARC-C à 10 essais, de 68,8 % sur le test MMLU à 5 essais et de 76,7 % sur le test HellaSwag à 5 essais.

Il sera intéressant de voir comment la communauté, qui est déjà enthousiasmée par la démarche open-source d'Apple, la mettra en œuvre dans différentes applications.

La poussée d'Apple en matière d'IA

Le fabricant de l'iPhone expérimente l'IA depuis un certain temps déjà. L'année dernière, il a lancé un framework d'apprentissage automatique appelé MLX qui permet aux modèles d'IA de mieux fonctionner sur ses appareils alimentés par Apple Silicon. Il a également lancé un outil d'édition d'images appelé MLLM-Guided Image Editing (MGIE).

Le mois dernier, il a été révélé que les chercheurs d'Apple avaient fait une percée en matière d'entraînement des modèles d'IA sur du texte et des images. Un article de recherche sur ce sujet a été publié le 14 mars. Intitulé « MM1 : Methods, Analysis & Insights from Multimodal LLM Pre-training", il démontre comment l'utilisation de plusieurs architectures pour les données et les modèles d'entraînement peut permettre d'obtenir des résultats de pointe sur plusieurs points de référence.

Apple travaillerait également sur son propre modèle de grand langage (LLM), au cœur duquel se trouve un nouveau framework connu sous le nom d'Ajax, qui pourrait donner naissance à une application de type ChatGPT, surnommée « AppleGPT ». La collaboration entre les différents départements d'Apple, tels que l'ingénierie logicielle, l'apprentissage automatique et l'ingénierie du cloud, serait en cours pour faire de ce projet LLM une réalité.

La publication de la famille de modèles d'IA OpenELM brosse certainement un tableau intriguant du développement de l'IA chez Apple. Toutefois, étant donné qu'aucun modèle fondamental n'a encore été publié, il faudra attendre un certain temps avant que les appareils Apple, tels que l'iPhone et le Mac, puissent enfin en tirer parti.

Si la publication des modèles OpenELM est le signe d'une évolution prometteuse dans le paysage de l'IA d'Apple, la pleine réalisation des capacités d'IA sur des appareils tels que l'iPhone et le Mac pourrait nécessiter un travail de fond supplémentaire. Néanmoins, les efforts continus d'Apple soulignent son engagement à faire progresser la technologie de l'IA et à améliorer les expériences des utilisateurs dans l'ensemble de son écosystème.

Sources : OpenELM Instruct Models, OpenELM:An Efficient Language Model Family with Open-source Training and Inference Framework, quatre modèles OpenELM pré-entraînés, quatre modèles adaptés aux instructions

Et vous ?

Quelle est votre opinion sur l’ouverture d’Apple concernant OpenELM ? Pensez-vous que cela marque un pas significatif pour l’entreprise dans le domaine de l’intelligence artificielle ?
Avez-vous déjà utilisé des modèles d’IA légers sur vos appareils ? Si oui, quels sont vos retours d’expérience ?
Comment voyez-vous l’avenir des modèles d’IA sur les appareils ? Pensez-vous que nous verrons davantage de modèles open source conçus pour fonctionner localement ?
Quelles autres applications aimeriez-vous voir pour des modèles d’IA comme OpenELM ? Y a-t-il des domaines spécifiques où vous pensez que ces modèles pourraient être particulièrement utiles ?