Palmarès des assistants vocaux : premier Google Assistant suivi de Cortana puis Alexa et en dernier Siri
selon les résultats d'un test

Dans le cadre d’un test, Stone Temple s’est amusé à poser des questions aux assistants numériques pour comparer la précision de chacun d’eux à répondre aux questions d'information.

Rappelons qu’un assistant personnel numérique est un service logiciel qui réside dans le cloud, conçu pour aider les utilisateurs finaux à effectuer des tâches en ligne. Ses fonctions comprennent la réponse à des questions, la gestion des horaires, les contrôles (par exemple de la domotique) et bien plus encore. Les plus connus (qui sont d’ailleurs ceux qui ont fait l’objet de l’étude) sont Google Assistant, Amazon Alexa, Siri (d'Apple), et Cortana de Microsoft.

Qu’est ce qui a motivé cette orientation ?

Stone Temple s’est fié à une enquête de Comscore qui s’est intéressée aux utilisations faites des assistants numériques. En premier lieu, les utilisateurs préfèrent leur poser des questions d’ordre général (60 %), puis les interroger sur la météo (57 %) et enfin pour faire un stream de musique (54 %). Le reste est réparti entre créer une alarme ou lancer un chronomètre (41 %), un rappel mémoire (39 %), noter un évènement/rendez-vous dans le calendrier (27 %) etc.

Structure du test

Stone Temple a préparé un ensemble de 4 952 questions qui devaient être posées à chaque assistant personnel. Les questions étaient identiques pour chacun des assistants et Stone Temple a noté plusieurs différentes catégories possibles de réponses, parmi lesquelles :
  • l'assistant a répondu verbalement ;
  • la réponse a été reçue d'une base de données (comme le graphe de connaissances) ;
  • la réponse provient d'une source tierce (comme Wikipedia) ;
  • le nombre de fois où l'assistant n'a pas compris la requête ;
  • l’assistant a tenté de répondre à la requête, mais il s'est simplement trompé.

Voici comment les résultats sont définis :

Tentative de réponse signifie que l'assistant personnel pense qu'il comprend la question et fait un effort manifeste pour fournir une réponse. Cela n'a pas inclut pas les résultats où la réponse était « J'apprends toujours » ou « Désolé, je ne sais pas ». Cela n’inclut pas non plus les fois où une réponse a été donnée mais la requête a été mal entendue (ce cas a été classé séparément).

Réponse complète et correcte signifie que la question précise a été répondue directement et complètement. Par exemple, si on demandait à l'assistant personnel quel âge avait Abraham Lincoln, mais qu'il répondait avec sa date de naissance, cela ne serait pas considéré comme une réponse complète et correcte.

Ou, si la question n'a été que partiellement résolue d'une autre manière, elle n'a pas été considérée comme une réponse complète et correcte non plus. En d'autres termes, l'utilisateur a-t-il obtenu 100% des informations qu'il a demandées dans la question, sans avoir besoin de plus de réflexion ou de recherche ?

Nom : assistants_numeriques.png
Affichages : 1095
Taille : 82,4 Ko

L'entreprise avait du reste effectué le même test un an auparavant. Il apparaît à présent que :
  • Google Assistant répond toujours au plus grand nombre de questions et obtient le pourcentage le plus élevé de réponses complètes et correctes ;
  • Cortana a le deuxième plus haut pourcentage de questions répondu entièrement et correctement ;
  • Alexa a réalisé les plus grands gains d'une année sur l'autre, répondant à 2,7 fois plus de questions que l'année dernière ;
  • Chaque assistant personnel concurrent a fait des progrès significatifs dans la réduction de l'écart avec Google.

Source : Stone Temple

Et vous ?

Que pensez-vous de la méthodologie ?
Cette étude vous suffisamment rigoureuse ? Pourquoi ?
Qu'est-ce qui peut, selon vous, expliquer une si grande différence dans le traitement des requêtes ?

Voir aussi :

Google va ajouter 30 nouvelles langues à son assistant numérique et développe des partenariats avec les constructeurs pour une meilleure intégration
CES 2018 : HP, Acer et Asus présentent des PC fonctionnant avec l'assistant virtuel d'Amazon, qui dominera le marché des PC, Alexa ou Cortana ?
Une faille de sécurité dans les assistants vocaux populaires permet de mener des attaques par l'envoi de commandes vocales inaudibles