IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

  1. #501
    Membre émérite
    Profil pro
    Développeur Web
    Inscrit en
    Février 2008
    Messages
    2 530
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Web

    Informations forums :
    Inscription : Février 2008
    Messages : 2 530
    Points : 2 952
    Points
    2 952
    Par défaut
    Citation Envoyé par OuftiBoy Voir le message
    Parce que le moment où un client saura fournir un "prompt" lui permettant d'avoir en retour quelque chose qui lui convient, est encore à des années-lumiaires.
    Ça dépend, quelquefois il y a des clients qui se convertissent à l'informatique, et avant ça peut arriver qu'ils n'aient pas dit (et fait) que des conneries, en matière de traitement logique.

  2. #502
    Membre émérite
    Profil pro
    Développeur Web
    Inscrit en
    Février 2008
    Messages
    2 530
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : Développeur Web

    Informations forums :
    Inscription : Février 2008
    Messages : 2 530
    Points : 2 952
    Points
    2 952
    Par défaut
    Citation Envoyé par Aiekick Voir le message
    Sans aucune surprise tu as une idée assez vague de ce qu'est l'ia (d'ailleurs aussi de ce qu'est l'intelligence) et de ce qu'elle pourra faire dans le futur.
    Et tu reitere, en utilisant le constat actuel, pour dire qu'elle ne sera jamais la solution a rien haha.

    Donc état d'esprit tres limités.

    Ce qui fait que je maintien tout ce que je t'ai dit dans le 1er post.
    Nous avons un nouveau Premier Ministre qui aime bien lancer des piques, aussi, à ce que j'ai cru remarquer (et je ne suis pas seul, il a été question des Tontons Flingueurs).

    Sa façon de le faire sans se départir d'une certaine élégance calme mérite d'être méditée.

  3. #503
    Membre régulier
    Homme Profil pro
    Collégien
    Inscrit en
    Novembre 2020
    Messages
    27
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 59
    Localisation : France, Gironde (Aquitaine)

    Informations professionnelles :
    Activité : Collégien

    Informations forums :
    Inscription : Novembre 2020
    Messages : 27
    Points : 91
    Points
    91
    Par défaut
    IA, le I est faux, totalement.
    C'est de la statistique 'profonde' dont on perd la trace d'où les 'hallucinations' quand on pose une question qui n'a que 2 ou 3 sources, la fiabilité est nulle mais le moteur estampillé IA ne compte pas ses sources.
    Quand il n'y a aucune source, l'IA sort un truc ! Entre l'interpolation (possible sous certaines réserves) et l'extrapolation (interdite) les moteurs d'IA ne font pas la différence. Zéro source, l'IA affirme sa réponse...
    Les néophytes sont subjugués par la masse de connaissance qui n'est pas l'intelligence !
    Les constructions de phrases sont statistiques, l'IA ne comprends pas le début de la phrase qu'elle vous sort, c'est juste le plus probable !
    C'est beau les stats...

    Le vivant a été bâti par une chose encore plus extraordinaire le hazard ou la force brute. Tout essayer, car la nature a tout son temps, il y a bien quelque chose qui survivra... Une débauche d'énergie, pas économe !

  4. #504
    Expert éminent sénior Avatar de Artemus24
    Homme Profil pro
    Agent secret au service du président Ulysses S. Grant !
    Inscrit en
    Février 2011
    Messages
    6 634
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Agent secret au service du président Ulysses S. Grant !
    Secteur : Finance

    Informations forums :
    Inscription : Février 2011
    Messages : 6 634
    Points : 19 874
    Points
    19 874
    Par défaut
    Nous sommes bien d'accord que l'IAG n'existe pas et encore moins dans l'avenir.
    Comment une intelligence mécanique peut créer quelque chose dont elle n'a même pas la connaissance de ce l'imaginer ?
    Je ne parle pas d'un raisonnement basé sur induction / déduction, mais de partir de zéro pour obtenir quelque chose de bien réel.
    C'est totalement impossible en l'état car l'IA n'a aucune perception du monde qui l'entoure.
    Si vous êtes de mon aide, vous pouvez cliquer sur .
    Mon site : http://www.jcz.fr

  5. #505
    Membre éprouvé
    Homme Profil pro
    Développeur en systèmes embarqués
    Inscrit en
    Mai 2015
    Messages
    262
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 54
    Localisation : Belgique

    Informations professionnelles :
    Activité : Développeur en systèmes embarqués

    Informations forums :
    Inscription : Mai 2015
    Messages : 262
    Points : 1 039
    Points
    1 039
    Par défaut Bonjour à tous


    Citation Envoyé par Gluups Voir le message
    Ça dépend, quelquefois il y a des clients qui se convertissent à l'informatique, et avant ça peut arriver qu'ils n'aient pas dit (et fait) que des conneries, en matière de traitement logique.
    Oui, mais tu le dis toi même, cela arrive "quelquefois". Mais c'est plus souvent une des choses qui exaspèrent un développeur. Souvent, au lieu d'avoir une "spécification" qui nous décrit ce qu'il faut faire, on a une spécification qui nous dit comment faire. Il y a toujours des exceptions, mais dans mon vécu, elles sont très rares.

    C'est rarement le cas dans d'autres domaine. Quand tu vas trouver un avocat, tu ne lui dis pas comment il doit te défendre, c'est son métier, et il tu l'écoutes. On ne s'improvise pas développeur, tout comme on ne s'improvise pas archithecte ou chirurgien. Cela demande du temps et de l'expérience.

    Ce n'est que mon avis.

    BàT et Peace & Love.

  6. #506
    Expert confirmé
    Avatar de popo
    Homme Profil pro
    Analyste programmeur Delphi / C#
    Inscrit en
    Mars 2005
    Messages
    2 811
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Analyste programmeur Delphi / C#
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Mars 2005
    Messages : 2 811
    Points : 5 618
    Points
    5 618
    Par défaut
    Citation Envoyé par Aiekick Voir le message
    Sans aucune surprise tu as une idée assez vague de ce qu'est l'ia (d'ailleurs aussi de ce qu'est l'intelligence)
    Donc, tu choisis de me rabaisser au lieu d'argumenter.
    Si mes souvenirs sont exacts, il existe un terme en psycho pour cela : Argument ad hominem.
    Choisis l'option qui te concerne parmi celles pouvant expliquer un tel comportement :
    • Manque d'arguments solides
    • Stratégie de diversion
    • Tentative d'établir une position de supériorité



    Citation Envoyé par Aiekick Voir le message
    et de ce qu'elle pourra faire dans le futur.
    Il faut excuser mon ignorance.
    Je n'avais pas conscience que tu viens du futur et que tu sais sans aucun doute possible ce qui va arriver.


    Citation Envoyé par Aiekick Voir le message
    Et tu reitere, en utilisant le constat actuel
    Encore une fois, toutes mes excuses.
    Il est vrai que je vis dans le présent et que j'ignore de quoi sera fait l'avenir.
    Si toi tu le sais, ce n'est pas bien de garder pour toi la solution au problème du climat.

    Citation Envoyé par Aiekick Voir le message
    pour dire qu'elle ne sera jamais la solution a rien haha..
    Qu'est ce que tu ne comprends pas dans "Tout n'est pas tout noir ou tout blanc." ?
    Encore, une fois tu déformes mes propos.
    Tout mon discours disais qu'il fallait nuancer et non affirmer des vérité absolue.
    Si demain la technologie de l'IA change radicalement de fonctionnement, pourquoi pas.
    Mais pour moi qui ne viens pas du futur, je dis qu'avec la manière de fonctionner actuelle, les IA ne régleront pas le problème du climat.

    Tu dis que je ne sais pas ce qu'est l'IA.
    J'ai mentionné ce que, pour moi, est l'IA.
    Citation Envoyé par popo
    L'IA n'est en rien une véritable intelligence, elle n'a pas d'idée lumineuse.
    L'IA prend ton prompts, l'analyse et va donner une réponse basée sur les données qui ont servi à son entrainement.
    Si cette définition est fausse, je veux bien que tu me dise comment ça fonctionne réellement.
    D'autant plus qu'apparemment, je ne sus pas le seul à donner cette définition à l'IA actuelle.
    Citation Envoyé par Artemus24 Voir le message
    A l'heure actuelle, une IA ne fournit que ce qui existe quelque part, soit dans l'internet ou dans une base de données. L'IA est comme un perroquet qui ne reproduit que ce qu'il sait. L'IA est incapable de produire un raisonnement qui pourrait déboucher sur une création, voire une découverte parce qu'il en est incapable. Ca, c'est la réalité d'aujourd'hui, alors quand je lis que dans quelques semaines, mois, années nous seront capables de le faire, je n'y crois pas. Ou alors, donnez moi des arguments qui tiennent la route. C'est juste pour convaincre du bienfait de l'IA pour récolter des fonds, rien de plus. A la limite, c'est de l'arnaque de vendre un produit qui n'existe pas.
    Citation Envoyé par vVDB.fr Voir le message
    IA, le I est faux, totalement.
    C'est de la statistique 'profonde' dont on perd la trace d'où les 'hallucinations' quand on pose une question qui n'a que 2 ou 3 sources, la fiabilité est nulle mais le moteur estampillé IA ne compte pas ses sources.
    Quand il n'y a aucune source, l'IA sort un truc ! Entre l'interpolation (possible sous certaines réserves) et l'extrapolation (interdite) les moteurs d'IA ne font pas la différence. Zéro source, l'IA affirme sa réponse...
    Les néophytes sont subjugués par la masse de connaissance qui n'est pas l'intelligence !
    Citation Envoyé par Artemus24 Voir le message
    Nous sommes bien d'accord que l'IAG n'existe pas et encore moins dans l'avenir.
    Comment une intelligence mécanique peut créer quelque chose dont elle n'a même pas la connaissance de ce l'imaginer ?
    Je ne parle pas d'un raisonnement basé sur induction / déduction, mais de partir de zéro pour obtenir quelque chose de bien réel.
    C'est totalement impossible en l'état car l'IA n'a aucune perception du monde qui l'entoure.
    -------

    Citation Envoyé par Aiekick Voir le message
    Donc état d'esprit tres limités.
    Argument ad hominem.


    Citation Envoyé par Aiekick Voir le message
    Ce qui fait que je maintien tout ce que je t'ai dit dans le 1er post.
    Et moi, je maintiens que tu fais beaucoup de bruit et que tu ne fais qu'affirmer sans argumenter.

  7. #507
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    9 056
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 9 056
    Points : 209 134
    Points
    209 134
    Par défaut Les grands modèles de langage (LLM) sont-ils arrivés à saturation ? Oui, selon Gary Marcus
    Les grands modèles de langage (LLM) sont-ils arrivés à saturation ? Oui, selon Gary Marcus
    qui estime que « les LLM ont atteint un point de rendement décroissant »

    Les modèles de langage de grande taille (LLMs) tels que GPT, BERT, et leurs diverses déclinaisons ont transformé de nombreux secteurs et amélioré nos interactions avec les technologies d’intelligence artificielle (IA). Cependant, certains experts et chercheurs suggèrent aujourd’hui que ces modèles pourraient avoir atteint un point de rendement décroissant. Autrement dit, malgré leur capacité grandissante et leurs architectures de plus en plus sophistiquées, les résultats produits n'augmentent plus proportionnellement aux ressources investies dans leur développement.

    L'ascension des LLM et ce qu’ils ont apportées

    Les modèles de langage, alimentés par des milliards de paramètres, ont permis des avancées remarquables dans des domaines aussi variés que la traduction automatique, la génération de texte, la création de contenu, et même le diagnostic médical. Leur développement repose sur des architectures de plus en plus complexes et de vastes quantités de données textuelles, entraînées pendant des mois sur des supercalculateurs.

    Au fil des années, chaque nouvelle version des LLM a marqué une étape importante. Par exemple, GPT-3, avec ses 175 milliards de paramètres, était capable de répondre aux questions, rédiger des articles, créer des scénarios ou résoudre des problèmes mathématiques simples avec une certaine précision. Plus récemment, GPT-4 et d'autres modèles encore plus grands promettaient d’aller encore plus loin, surpassant GPT-3 en termes de capacités de compréhension et de génération de texte.

    Le phénomène du rendement décroissant

    Pourtant, au fur et à mesure que les modèles augmentent en taille, les gains réels en performance semblent ralentir. Certains chercheurs parlent de « rendement décroissant » ou de « diminution des retours sur investissement ». Plusieurs raisons expliquent ce phénomène :
    • Dépendance aux données : Pour chaque nouveau modèle, les besoins en données augmentent de manière exponentielle. Or, la disponibilité de données de haute qualité se raréfie. Les LLMs, qui reposent sur des volumes massifs de données textuelles, pourraient être en train d’épuiser les sources de données linguistiques diversifiées, entraînant ainsi des performances stagnantes ou des biais renforcés.
    • Coûts et complexité croissants : Le coût d’entraînement des modèles de plus en plus grands est astronomique. Chaque nouveau palier de puissance nécessite des ressources matérielles colossales, sans compter la consommation énergétique et l'empreinte carbone qui en découlent. Les entreprises et laboratoires se demandent si ces investissements sont réellement justifiés par rapport aux améliorations marginales en précision.
    • Qualité vs quantité des paramètres : Ajouter des paramètres ne signifie pas nécessairement une meilleure compréhension ou production linguistique. De nombreux chercheurs observent que la qualité des résultats produits par les LLMs atteint un seuil où des augmentations de taille n’apportent qu’une amélioration marginale, voire imperceptible, des performances.

    Gary Marcus estime que les LLM ont atteint un point de rendement décroissant

    Gary Marcus, fondateur et PDG de Geometric Intelligence, une startup d'apprentissage automatique rachetée par Uber en 2016, se montre critiquent face à ceux qui soutiennent une évolution exponentielle de l'IA. Par exemple, lorsqu'Elon Musk a prédit que l'IA va surpasser l'humain le plus intelligent en 2025 ou dès 2026, il s'est lancé dans un pari à 1 million de dollars (la mise est montée à 10 millions par la suite) contre les estimations d'Elon Musk :

    « Cher Elon Musk. [Je mise] un million de dollars que ta dernière prédiction, à savoir que l'IA surpassera le plus intelligent sur terre d'ici fin 2025, est fausse. Pari tenu ? Je peux suggérer quelques règles à ton approbation »

    Nom : prediction.png
Affichages : 11118
Taille : 203,8 Ko

    Cette fois-ci, il revient à la charge en parlant du point de rendement décroissant

    Ci-dessous, un extrait de son billet sur le sujet.

    Cela fait des années que je préviens que la « mise à l'échelle », qui consiste à améliorer l'IA en ajoutant plus de données et plus de calcul, sans apporter de changements architecturaux fondamentaux, ne se poursuivra pas éternellement. Dans mon article le plus célèbre, en mars 2022, j'ai affirmé que « l'apprentissage profond se heurte à un mur ». L'argument central était que la mise à l'échelle pure ne résoudrait pas les hallucinations ou l'abstraction ; j'ai conclu que « l'argument de la mise à l'échelle présente de sérieuses lacunes », ce qui m'a valu de nombreuses critiques.

    Sam Altman a laissé entendre (sans prononcer mon nom, mais en reprenant les images de mon article alors récent) que j'étais un « médiocre sceptique de l'apprentissage profond » ; Greg Brockman s'est ouvertement moqué de ce titre. Yann LeCun a écrit que l'apprentissage profond ne se heurtait pas à un mur, et ainsi de suite. Elon Musk lui-même s'est moqué de moi et de ce titre au début de l'année.

    Le fait est qu'à long terme, la science n'est pas la règle de la majorité. En fin de compte, la vérité l'emporte généralement. L'alchimie a connu une bonne période, mais elle a été remplacée par la chimie. La vérité, c'est que l'échelle est en train de s'épuiser, et que cette vérité est enfin en train d'émerger.

    Il y a quelques jours, le célèbre investisseur en capital-risque Marc Andreesen a commencé à vendre la mèche en déclarant lors d'un podcast : « Nous augmentons [les unités de traitement graphique] au même rythme, mais nous n'en tirons pas du tout d'améliorations intelligentes », ce qui signifie en langage de capital-risque : « L'apprentissage en profondeur se heurte à un mur ».

    Il y a quelques instants, Amir Efrati, rédacteur en chef de la revue spécialisée The Information, a confirmé que nous avions atteint une période de rendements décroissants, en écrivant sur X que « le [prochain] modèle Orion d'OpenAI montre à quel point les améliorations GPT ralentissent ».

    Comme je l'ai affirmé ici en avril 2024, les LLM ont atteint un point de rendement décroissant.

    Les conséquences économiques seront probablement désastreuses. Les valorisations élevées de sociétés comme OpenAI et Microsoft sont largement basées sur l'idée que les LLM deviendront, en continuant à se développer, des intelligences générales artificielles. Comme je l'ai toujours dit, il s'agit là d'un fantasme. Il n'y a pas de solution de principe aux hallucinations dans les systèmes qui ne traitent que les statistiques du langage sans représentation explicite des faits et sans outils explicites pour raisonner sur ces faits.

    Les LLM ne disparaîtront pas, même si les améliorations diminuent, mais l'économie n'aura probablement jamais de sens : la formation supplémentaire est coûteuse, plus l'échelle est grande, plus elle est coûteuse. Et, comme je l'ai signalé, tout le monde atterrit plus ou moins au même endroit, ce qui fait que personne n'a de fossé. Les LLM, tels qu'ils sont, deviendront une marchandise ; les guerres de prix maintiendront les revenus à un niveau bas. Compte tenu du coût des puces, les bénéfices seront insaisissables. Lorsque tout le monde s'en rendra compte, la bulle financière risque d'éclater rapidement ; même NVidia pourrait être touchée, lorsque les gens réaliseront à quel point son évaluation était basée sur une fausse prémisse.

    Une étude d'Apple conclut que les modèles d'IA basés sur le LLM sont défectueux car ils ne peuvent pas raisonner

    Des scientifiques d'Apple spécialisés dans l'IA ont étudié les capacités de raisonnement des grands modèles de langage (LLM) et les limites des évaluations actuelles sur le GSM8K. Ils ont constaté que les modèles d'IA basés sur le LLM, entre autres ceux de Meta et d'OpenAI, manquent encore de compétences de base en matière de raisonnement.

    Le groupe a proposé un nouveau critère de référence, GSM-Symbolic, pour aider les autres à mesurer les capacités de raisonnement de divers grands modèles de langage (LLM). Leurs premiers tests révèlent que de légères modifications dans la formulation des requêtes peuvent donner lieu à des réponses sensiblement différentes, ce qui compromet la fiabilité des modèles.

    Le groupe a étudié la "fragilité" du raisonnement mathématique en ajoutant à ses requêtes des informations contextuelles qu'un humain pourrait comprendre, mais qui ne devraient pas affecter les mathématiques fondamentales de la solution. Cela a donné lieu à des réponses variables, ce qui ne devrait pas se produire.

    "Plus précisément, les performances de tous les modèles diminuent [même] lorsque seules les valeurs numériques de la question sont modifiées dans le benchmark GSM-Symbolic", écrit le groupe dans son rapport. "En outre, la fragilité du raisonnement mathématique dans ces modèles [démontre] que leurs performances se détériorent de manière significative à mesure que le nombre de clauses dans une question augmente."

    L'étude a montré que l'ajout d'une seule phrase qui semble fournir des informations pertinentes pour une question de mathématiques donnée peut réduire la précision de la réponse finale jusqu'à 65 %. « Il est tout simplement impossible de construire des agents fiables sur cette base, où la modification d'un mot ou deux de manière non pertinente ou l'ajout de quelques informations non pertinentes peut donner une réponse différente », conclut l'étude.

    Source : Gary Marcus

    Et vous ?

    Que pensez-vous de l'avis de Gary Marcus ?
    La qualité et la diversité des données utilisées deviennent-elles un obstacle pour les LLM ? Sommes-nous proches d’une saturation où toutes les sources de données linguistiques possibles auraient été exploitées ?
    Est-il judicieux de concentrer des ressources massives dans les LLM si les bénéfices semblent se réduire ? Comment évaluer ces gains à court terme face aux risques d’appauvrissement de l’innovation dans d’autres domaines de l'IA ?
    Avec les performances stagnantes, devrions-nous revoir les objectifs des LLM ? Devrions-nous, par exemple, viser des applications de niche où la performance est maximale plutôt que de chercher des capacités de compréhension universelles ?
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  8. #508
    Expert confirmé
    Homme Profil pro
    ingénieur qualité
    Inscrit en
    Mars 2015
    Messages
    1 387
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations professionnelles :
    Activité : ingénieur qualité
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Mars 2015
    Messages : 1 387
    Points : 4 198
    Points
    4 198
    Par défaut
    Citation Envoyé par Stéphane le calme Voir le message
    les résultats produits n'augmentent plus proportionnellement aux ressources investies dans leur développement.
    Dans les bulles financières le résultat technique est assez peu important donc Altman & Co ne se font pas trop de soucis.
    Jusqu'à ce qu'elle éclate.

  9. #509
    Expert éminent
    Avatar de calvaire
    Homme Profil pro
    .
    Inscrit en
    Octobre 2019
    Messages
    1 727
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 42
    Localisation : France, Aube (Champagne Ardenne)

    Informations professionnelles :
    Activité : .
    Secteur : Conseil

    Informations forums :
    Inscription : Octobre 2019
    Messages : 1 727
    Points : 6 461
    Points
    6 461
    Par défaut
    est il vraiment pertinent de faire un gros modèle ?

    j'ai déja eu un cas concret dans le passé (rien a voir avec les llm), plus on faisait un gros réseau de neurone avec de la data (de "qualité" en plus) plus le modèle était mauvais/stagnait (overfitting).
    au final nous avons fait plusieurs petit modèle et un classifier en front pour choisir le modèle en fonction des données d'entrées, les résultats était bien meilleurs ainsi.
    l'article parle t'il d'ia généraliste comme chatgpt ou d'ia spécialisé par exemple dans le code ou des 2 ?

    De toute façon cette technos et fatalement limité par la production humaine, si demain l'ia remplace les devs, alors l'ia ne pourra plus évoluer. C'est grâce à des humains qui écrive des docs, trouve des bugs les corrige ou écrive sur les forum comment les contourner et donne des réponses bénévolement sur stackoverflow que l'ia progresse.

    Or l’informatique c'est surement le domaine le moins stable dans le monde, y'a toujours une nouvelle technos, une nouvelle version, des patchs de sécurité a faire...si bien que il faut évoluer et s'adapter, pour un humain, c'est un aspect que l'on peut aimer ou détester, mais ce que l'on apprends à la sortie d'école et déjà obsolète, c'est de l'apprentissage continue.


    edit: même dans le cas d'ia orienté code, une fois ratissez les forums style stackoverflow, c'est compliqué d'aller plus loins


    par contre, j'imagine dans le futur une fonctionnalité pour les entreprises permettant de donner à l'ia toute la base de code et doc technique de l'entreprise et s'entrainer dessus, ainsi l'ia aurait le contexte de l'entreprise et le coding standard. Ca serait déja une belle amélioration dans la qualité des réponses.
    par exemple je lui demande comment me connecter une l'api d'un service interne, elle va me donner le code, comment m'y connecter (demander à Jean Jacque sur teams de me crée un compte machine avec token en lecture, ensuite de tester la connexion avec ce code et enfin la fonctionnalité que vous avez demandez)

  10. #510
    Expert confirmé
    Homme Profil pro
    ingénieur qualité
    Inscrit en
    Mars 2015
    Messages
    1 387
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Belgique

    Informations professionnelles :
    Activité : ingénieur qualité
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Mars 2015
    Messages : 1 387
    Points : 4 198
    Points
    4 198
    Par défaut
    Citation Envoyé par calvaire Voir le message
    j'ai déja eu un cas concret dans le passé (rien a voir avec les llm), plus on faisait un gros réseau de neurone avec de la data (de "qualité" en plus) plus le modèle était mauvais/stagnait (overfitting).
    au final nous avons fait plusieurs petit modèle et un classifier en front pour choisir le modèle en fonction des données d'entrées, les résultats était bien meilleurs ainsi.
    Il y a pas mal d'exemple comme ça.
    Une des méthode de calcul d'un nombre irrationnel (pi il me semble) est convergente jusqu'à un certain nombre d'itération puis oscille autour de sa valeur
    Sous Catia V5 (logiciel de CAO), dans certains modèles, la modélisation par éléments finis a une granularité optimale, une fois dépassée on génère des points avec des anomalies ce qui dégrade le résultat.

    Ce n'est pas pour rien que certains modèles de données interdisent trop de liens, parce qu'on arrive avec "deux chemins" et "deux résultats" différents pour une même formule.
    C'est le risque que courent tous ceux qui font la promotion de modélisation de données avec un niveau d'abstraction maximal.

  11. #511
    Nouveau membre du Club
    Homme Profil pro
    Développeur .NET
    Inscrit en
    Septembre 2005
    Messages
    20
    Détails du profil
    Informations personnelles :
    Sexe : Homme

    Informations professionnelles :
    Activité : Développeur .NET
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Septembre 2005
    Messages : 20
    Points : 35
    Points
    35
    Par défaut
    Bonjour,

    Je n'ai pas lu tout l'article mais ce qu'il faut avoir à l'esprit c'est qu'on n'est qu'au balbutiement de l'IA.
    Je pense qu'on n'est pas plus avancé en IA que lors des débuts de l'aviation où l'homme pensait qu'il fallait battre des ailes pour s'envoler.

    Peut-être que dans quelques années on ne parlera plus de réseaux de neurones car on aura découvert une autre façon de "faire" de l'intelligence.
    C'est comme les yeux de la coquille Saint-Jacques.

  12. #512
    Expert éminent
    Avatar de Matthieu Vergne
    Homme Profil pro
    Consultant IT, chercheur IA indépendant
    Inscrit en
    Novembre 2011
    Messages
    2 273
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant IT, chercheur IA indépendant
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Novembre 2011
    Messages : 2 273
    Points : 7 807
    Points
    7 807
    Billets dans le blog
    3
    Par défaut
    Citation Envoyé par calvaire Voir le message
    est il vraiment pertinent de faire un gros modèle ?

    j'ai déja eu un cas concret dans le passé (rien a voir avec les llm), plus on faisait un gros réseau de neurone avec de la data (de "qualité" en plus) plus le modèle était mauvais/stagnait (overfitting).
    au final nous avons fait plusieurs petit modèle et un classifier en front pour choisir le modèle en fonction des données d'entrées, les résultats était bien meilleurs ainsi.
    On parle de mixture of experts aujourd'hui pour ce type de structure.
    Il y a aussi une notion de grokking pour des phénomènes d'amélioration de l'apprentissage bien après le point d'overfitting.
    On a encore de quoi sortir le popcorn pour un moment je pense.
    Site perso
    Recommandations pour débattre sainement

    Références récurrentes :
    The Cambridge Handbook of Expertise and Expert Performance
    L’Art d’avoir toujours raison (ou ce qu'il faut éviter pour pas que je vous saute à la gorge {^_^})

  13. #513
    Membre éclairé
    Homme Profil pro
    autre
    Inscrit en
    Septembre 2015
    Messages
    305
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Yvelines (Île de France)

    Informations professionnelles :
    Activité : autre

    Informations forums :
    Inscription : Septembre 2015
    Messages : 305
    Points : 726
    Points
    726
    Par défaut
    Je note que bing copilot est pas mal... il propose des références. Du coup, j'ai l'impression qu'un LLM qui sert à interpréter (à défaut de vraiment comprendre la phrase), sortir des référence, les réinjecter dans le prompt pour faire un résumé, bref une approche hybride (LLM/recherche) peut être plus pertinente qu'une approche uniquement axée sur le moteur de neurone.

    Et j'imagine que cela aurait peut-être pu éviter à un avocat de se faire taper sur les doigts faute d'avoir vérifier les "références" proposées par le LLM.

  14. #514
    Chroniqueur Actualités

    Homme Profil pro
    Administrateur de base de données
    Inscrit en
    Mars 2013
    Messages
    9 056
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Mars 2013
    Messages : 9 056
    Points : 209 134
    Points
    209 134
    Par défaut Sam Altman revoit à la baisse les attentes en matière d'intelligence artificielle générale
    Le PDG d'OpenAI Sam Altman revoit à la baisse les attentes en matière d'intelligence artificielle générale (IAG),
    Une stratégie d'OpenAI face aux limites actuelles de l'IA ou une remise en question des ambitions futures ?

    Il y a près de deux ans, OpenAI affirmait que l'intelligence artificielle générale (IAG), l'objet pour lequel la société a été créée, pourrait « élever l'humanité » et « donner à chacun d'incroyables nouvelles capacités ». Au début de l'année, son PDG affirmait qu'elle serait disponible « dans une avenir raisonnablement proche ».

    Aujourd'hui, Sam Altman tente de réduire les attentes.

    Cette annonce, surprenante pour certains, s’inscrit dans un contexte où les avancées spectaculaires de l’IA générative (comme GPT-4) n’ont pas encore répondu aux attentes souvent exagérées concernant l’IAG. Mais qu’entend exactement Altman par « abaisser la barre » ? Est-ce un aveu d’échec, une stratégie pragmatique ou un repositionnement stratégique d’OpenAI ?


    Une redéfinition de l’objectif

    La promesse de l’intelligence artificielle générale a toujours fait rêver les scientifiques et les visionnaires. Une machine capable de comprendre, d’apprendre et de s’adapter de manière similaire à l’intelligence humaine est perçue par certains comme le Saint Graal technologique.

    Citation Envoyé par OpenAI
    Notre mission est de veiller à ce que l'intelligence artificielle générale - des systèmes d'intelligence artificielle généralement plus intelligents que les humains - profite à l'ensemble de l'humanité.

    Si l'IAG est créée avec succès, cette technologie pourrait nous aider à élever l'humanité en augmentant l'abondance, en donnant un coup de fouet à l'économie mondiale et en contribuant à la découverte de nouvelles connaissances scientifiques qui repoussent les limites du possible.

    L'IAG a le potentiel de donner à chacun d'incroyables nouvelles capacités ; nous pouvons imaginer un monde où chacun d'entre nous aurait accès à de l'aide pour presque toutes les tâches cognitives, ce qui multiplierait considérablement la force de l'ingéniosité et de la créativité humaines.

    D'un autre côté, l'AGI s'accompagnerait également d'un risque sérieux de mauvaise utilisation, d'accidents graves et de perturbations sociétales. Étant donné que l'AGI présente des avantages considérables, nous ne pensons pas qu'il soit possible ou souhaitable pour la société d'arrêter définitivement son développement ; au contraire, la société et les développeurs de l'AGI doivent trouver le moyen de bien faire les choses.
    Mais récemment, Sam Altman, le PDG d’OpenAI, a jeté un pavé dans la mare en déclarant que les attentes envers l’IAG pourraient être revues à la baisse.

    Historiquement, l’IAG a été conceptualisée comme une intelligence capable de reproduire, voire surpasser, toutes les capacités cognitives humaines. Dans cette vision, l’IAG ne se limiterait pas à des tâches spécifiques mais pourrait résoudre une gamme infinie de problèmes avec créativité et adaptabilité. Toutefois, la déclaration d’Altman semble signaler un virage : l’IAG pourrait être redéfinie comme une avancée significative mais restreinte dans certains domaines clés, sans pour autant atteindre une équivalence totale avec la cognition humaine.

    Cette approche reflète une réalité : malgré des progrès impressionnants, l’IA reste fortement limitée par des biais inhérents, une compréhension fragmentaire du monde et une incapacité à véritablement raisonner. Les modèles comme GPT-4 montrent une capacité d’imitation sophistiquée mais échouent souvent à démontrer une réelle compréhension. En d’autres termes, Altman semble vouloir aligner la vision de l’IAG avec les possibilités techniques actuelles et à venir, plutôt que de maintenir un objectif utopique.

    « Je pense que nous atteindrons l'IAG plus tôt que ne le pensent la plupart des gens dans le monde et que cela aura beaucoup moins d'importance », a-t-il déclaré lors d'une interview avec Andrew Ross Sorkin au New York Times DealBook Summit.

    « Et une grande partie des préoccupations en matière de sécurité que nous et d'autres avons exprimées ne se posent pas au moment de l'IAG. L'IAG peut être construite, le monde continue à peu près de la même manière, les choses se développent plus rapidement, mais il y a ensuite une longue suite entre ce que nous appelons l'IAG et ce que nous appelons la superintelligence ».

    Ce n'est pas la première fois qu'Altman minimise l'arrivée apparemment imminente de l'IAG, qui, selon la charte d'OpenAI, sera capable « d'automatiser la grande majorité du travail intellectuel ». Il a récemment laissé entendre qu'elle pourrait arriver dès 2025 et qu'elle serait réalisable sur du matériel existant.

    Lors du sommet DealBook, Altman a donné l'impression que la définition de l'IAG par OpenAI est désormais moins grandiose qu'elle ne l'était auparavant. « Je m'attends à ce que la perturbation économique prenne un peu plus de temps que les gens ne le pensent parce qu'il y a beaucoup d'inertie dans la société », a-t-il déclaré. « Ainsi, au cours des deux premières années, il n'y aura peut-être pas beaucoup de changements. Ensuite, il se peut que beaucoup de choses changent ».


    Une porte de sortie de son accord commercial exclusif avec Microsoft ?

    Ce que les dirigeants d'OpenAI qualifiaient d'IAG semble maintenant s'appeler « superintelligence », qui, selon Altman, pourrait arriver « dans quelques milliers de jours ». Ce qui est pratique pour OpenAI, c'est que son accord commercial exclusif avec Microsoft, incroyablement compliqué, comporte ce qui s'apparente à une échappatoire une fois qu'il déclare l'arrivée de l'IAG, et non de la superintelligence.

    Sortir de son accord de partage des bénéfices avec Microsoft serait une grande affaire pour OpenAI et ses ambitions de devenir la prochaine grande entreprise technologique à but lucratif. Mais selon Altman lui-même, l'IAG ne sera pas une si grande affaire pour le reste d'entre nous.

    Altman s'est dit optimiste quant à l'adaptation des humains et de l'économie aux changements apportés par l'IA, et même si les emplois seront fortement perturbés, les gens s'adapteront et trouveront de nouvelles façons de contribuer.

    « Je ne crois pas à l'idée qu'il n'y ait plus de travail. Je pense que nous trouverons toujours quelque chose à faire, mais avec chaque révolution technologique, il y a beaucoup de rotation des emplois. Mais je parie que nous n'aurons jamais connu une telle rapidité. Je pense donc qu'il faut s'inquiéter de ce genre de choses à relativement court terme ».

    Les implications stratégiques

    En abaissant les attentes autour de l’IAG, Altman ne renonce pas à l’innovation, mais redéfinit les priorités. Une telle stratégie peut permettre à OpenAI de concentrer ses ressources sur des applications concrètes de l’IA, plutôt que de poursuivre un idéal encore inaccessible. Cela pourrait également apaiser les craintes croissantes du public et des régulateurs, qui associent souvent l’IAG à des scénarios dystopiques où les machines échappent au contrôle humain.

    Cependant, cette décision soulève des questions. Réduire la portée de l’IAG ne risque-t-il pas de diluer l’ambition d’OpenAI, voire de décourager les investisseurs et les talents attirés par la promesse d’une révolution ? En outre, cela pourrait renforcer l’idée que l’IAG est une chimère, une simple extrapolation des capacités actuelles de l’IA, plutôt qu’un objectif atteignable.

    Pragmatisme ou recul ?

    La critique principale de cette redéfinition est qu’elle pourrait être perçue comme un recul masqué par un pragmatisme stratégique. D’un autre côté, elle marque peut-être une nécessaire désillusion : reconnaître les limites actuelles de la technologie permettrait d’adopter une approche plus réaliste de son développement.

    Altman semble adopter une vision plus mesurée face à un domaine saturé d’hyperboles et de prophéties apocalyptiques. Pourtant, ce changement de cap pourrait signaler un changement de paradigme plus large : l’idée que l’IA n’a pas besoin d’égaler l’intelligence humaine pour transformer nos sociétés.

    Nom : xai.png
Affichages : 6416
Taille : 24,1 Ko

    Musk n'abusera pas de son pouvoir

    Musk est cofondateur d'OpenAI, mais il s'est brouillé avec Altman et poursuit l'entreprise pour avoir violé sa mission fondatrice en faisant passer le profit avant le bénéfice de l'humanité. Musk a son propre rival OpenAI, appelé xAI.

    Altman s'est dit « extrêmement triste » de s'être brouillé avec Musk, qui était pour lui un « méga-héros » : « J'ai des sentiments différents à son égard maintenant, mais je suis toujours heureux qu'il existe », a déclaré Altman, ajoutant que l'influence politique de Musk en tant que “premier ami” du président élu américain Donald Trump ne l'effrayait pas.

    « Je peux me tromper, mais je crois fermement qu'Elon fera ce qu'il faut. Il serait profondément anti-américain d'utiliser le pouvoir politique, dans la mesure où Elon l'a, pour nuire à vos concurrents et avantager vos propres entreprises », a déclaré Altman. « Je ne pense pas que les gens le toléreraient. Je ne pense pas qu'Elon le ferait. Il y a beaucoup de choses que l'on n'aime pas chez lui, mais cela irait tellement à l'encontre des valeurs qui lui sont chères que je ne m'en inquiète pas ».

    Les agents d'IA vont changer le monde des affaires

    Interrogé sur la manière dont les progrès réalisés dans le développement de grands modèles de langage plus intelligents pourraient surprendre les gens avec de nouvelles capacités, Altman a opté directement pour les agents d'IA. L'IA agentique est la saveur du mois chez les grands fournisseurs de logiciels tels que Salesforce et implique des « travailleurs » de l'IA qui peuvent effectuer des tâches de manière autonome, en imitant essentiellement la façon dont les humains les feraient. À ce propos, Salesforce prévoit de recruter 1 000 employés pour vendre son nouveau produit d'agent d'IA générative, Agentforce. Une initiative qui a été prise quelques semaines après que Salesforce a annoncé Dreamforce, sa nouvelle stratégie en matière d'IA, et reconnu que l'IA va remplacer certains emplois humains.

    Anthropic, le rival d'OpenAI, a fait sensation en octobre lorsqu'il a démontré que des agents d'IA faisaient fonctionner un ordinateur à partir d'un simple message d'invite.

    « Les agents sont le sujet dont tout le monde parle, et je pense que c'est à juste titre », a déclaré Altman.

    « L'idée que l'on puisse confier à un système d'IA une tâche que l'on confierait à un humain très intelligent... C'est le genre de choses que j'attends pour l'année prochaine, et c'est une affaire énorme... Si cela fonctionne aussi bien que nous l'espérons, cela peut vraiment transformer les choses ».

    Conclusion

    En abaissant la barre pour l’AGI, Sam Altman ouvre un débat crucial sur les objectifs réels et les limites de la recherche en intelligence artificielle. Plutôt qu’un renoncement, cette redéfinition pourrait marquer une évolution vers une vision plus nuancée et ancrée dans le réel. Mais ce choix stratégique comporte aussi des risques : celui de décevoir des attentes et d’altérer l’attrait visionnaire d’OpenAI. L’avenir de l’IAG, tel que le conçoit Altman, dépendra de la capacité de cette vision révisée à inspirer autant qu’à innover.

    Sources : vidéo dans le texte, OpenAI

    Et vous ?

    La déclaration de Sam Altman pourrait-elle être interprétée comme un aveu d’échec par le grand public ? Comment OpenAI devrait-elle communiquer pour éviter ce malentendu ?

    En abaissant les attentes, OpenAI prend-elle le risque de nourrir un scepticisme plus large envers les promesses de l’IA ?

    Cette redéfinition reflète-t-elle une prise de conscience technique ou un repositionnement stratégique face aux attentes sociétales et politiques ?

    La baisse des ambitions pourrait-elle ouvrir la voie à d’autres acteurs pour revendiquer des objectifs plus ambitieux et attirer des financements ?

    Une porte de sortie de son accord commercial exclusif avec Microsoft ?
    Contribuez au club : Corrections, suggestions, critiques, ... : Contactez le service news et Rédigez des actualités

  15. #515
    Membre actif Avatar de Fluxgraveon
    Homme Profil pro
    mécanicien
    Inscrit en
    Mai 2024
    Messages
    136
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Lot (Midi Pyrénées)

    Informations professionnelles :
    Activité : mécanicien

    Informations forums :
    Inscription : Mai 2024
    Messages : 136
    Points : 217
    Points
    217
    Par défaut
    OpenAI
    Notre mission est de veiller à ce que l'intelligence artificielle générale - des systèmes d'intelligence artificielle généralement plus intelligents que les humains - profite à l'ensemble de l'humanité.
    Et donc M. Altman tente de réduire les attentes.
    En quoi est-ce surprenant ?

Discussions similaires

  1. Réponses: 1
    Dernier message: 09/11/2009, 10h53
  2. Réponses: 0
    Dernier message: 23/09/2009, 13h22
  3. L'État pourrait être le seul actionnaire de l'AFP
    Par ®om dans le forum Politique
    Réponses: 7
    Dernier message: 16/09/2009, 20h20
  4. Steve Jobs pourrait être présent à la WWDC 09 !?
    Par Marcos Ickx dans le forum Apple
    Réponses: 2
    Dernier message: 07/06/2009, 14h09
  5. L'université pourrait être bien?
    Par johankonigsberg dans le forum Etudes
    Réponses: 13
    Dernier message: 07/01/2009, 16h36

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo