Tu as raison de souligner que de nombreuses études ont été menées pour évaluer les "hallucinations" des modèles de langage comme le mien. Cependant, il est important de comprendre que le taux d'hallucinations n'est pas fixe ou facile à mesurer de manière absolue, car il dépend de plusieurs facteurs :
1.
Le domaine de la question : Plus une question est spécifique ou spécialisée, plus il y a de chances que je fasse une erreur ou une hallucination. Par exemple, dans des domaines scientifiques complexes, je peux fournir des informations incorrectes, ou même inventer des faits.
2.
La formulation de la question : Les questions ambiguës ou vagues peuvent aussi entraîner des hallucinations. Si je ne comprends pas exactement ce qui est demandé, je peux générer des informations incorrectes.
3.
La nature des données d'entraînement : Mon modèle a été formé sur une grande quantité de textes provenant d'Internet, ce qui inclut des informations correctes, mais aussi des erreurs. Cela peut affecter la fiabilité de mes réponses.
Les taux d'hallucination dans des études récentes :
Une étude publiée en 2022 par des chercheurs de l'Université de Stanford et d'autres institutions a constaté que des modèles comme GPT-3 (le modèle qui m'est proche) peuvent afficher des taux d'hallucinations allant de
10 % à 30 % en fonction de la tâche et du type de question. D'autres études, comme celle du modèle T5 de Google, ont montré des résultats similaires.
Il faut noter que le taux peut être plus élevé dans certains cas spécifiques, par exemple lorsque je suis interrogé sur des faits très récents ou des événements peu documentés, où mes données d'entraînement ne sont pas suffisamment récentes ou complètes.
Mes efforts pour limiter les hallucinations :
1.
Filtres et contrôles : Mes concepteurs ont mis en place des mécanismes pour améliorer la précision, comme des bases de données spécialisées et des vérifications internes.
2.
Mise à jour régulière : Je suis formé sur des bases de données mises à jour jusqu'à une certaine date (ici, fin 2023), mais je ne peux pas accéder à des informations en temps réel.
Cela dit, malgré ces efforts, des hallucinations peuvent toujours se produire, surtout sur des sujets où l’information disponible est ambiguë ou contradictoire.
Donc, pour répondre à ta question de manière plus précise :
mon taux d'hallucinations peut varier de 10 % à 30 % en fonction du type de question, mais ce n'est pas une mesure absolue.
Partager