Discussion :

[Bill Fassinou]

Siri, Alexa, Cortana et Google Assistant : lequel est le meilleur parmi ces assistants numériques ?
Une étude les compare suivant plusieurs critères

Dans le but de mieux comprendre les cas d'utilisation pratiques de l'IA et l'émergence de la voix en tant qu'entrée informatique, l’entreprise texane Loup Ventures teste régulièrement les assistants numériques les plus courants et les haut-parleurs intelligents. L'étude de cette année a permis d’avoir une idée de la qualité globale des résultats fournis par les assistants vocaux les plus populaires. L’étude s’est appesantie uniquement sur les assistants intégrés aux smartphones à savoir Siri, Google Assistant, Alexa et Cortana. 800 questions leur ont été posées. Et les résultats fournis par les quatre assistants ont été jugés sur la base de deux critères : la compréhension de la question et l’exactitude de la réponse. Voici les résultats qui en ont découlé :

• Google Assistant : 85,5 % de réponses correctes contre 74,8 % l’an dernier et 100 % de questions comprises contre 99 % l’an dernier ;
• Siri : 78,5 % de réponses correctes contre 66,1 % l’an dernier et 99 % de questions comprises contre 95 % l’an dernier ;
• Alexa : 61,4 % de réponses correctes et 98 % de questions comprises ;
• Cortana : 52,4 % de réponses correctes contre 48,8 % l’an dernier et 98 % de questions comprises contre 97 % l’an dernier.

Notons que presque toutes les questions que les assistants n’ont pas comprises contenaient des noms propres. Le lot de questions a été scindé en cinq catégories. Voici le pourcentage de bonnes réponses des assistants vocaux par catégorie de questions :

• la localisation (88 % pour Google Assistant, 87 % pour Siri et 63 % pour Alexa et Cortana) ;
• le commerce (77 % pour Google Assistant, 60 % pour Siri, 44 % pour Alexa et 20 % pour Cortana) ;
• la navigation (91 % pour Google Assistant, 83 % pour Siri, 55 % pour Cortana et 53 % pour Alexa) ;
• l’information (93 % pour Google Assistant, 78 % pour Alexa, 70 % pour Siri et 63 % pour Cortana) ;
• la commande (90 % pour Siri, 76 % pour Google Assistant, 54 % pour Alexa et 47 % pour Cortana).

La supériorité de Google Assistant dans la catégorie Information a frappé les chercheurs non seulement à cause du nombre de réponses correctes, mais aussi et surtout à cause de la profondeur et de la réelle utilité des réponses. Les chercheurs attribuent la supériorité de Google Assistant à une fonction de recherche intégrée qui lui permet de lire les résultats de recherches à haute voix. Ils admettent qu’ils s’attendaient à voir Alexa gagner haut la main dans la catégorie Commerce, mais la majorité de leurs questions sur cette catégorie concernaient la recherche de produits et non l’achat de produits. Comme on pouvait s’y attendre, Siri et Google Assistant ont fait très fort dans les catégories Navigation et Localisation.

Source : Loup Ventures

Et vous ?

Que pensez-vous de ces résultats ?
Avez-vous déjà utilisé l'un de ces assistants vocaux ? Partagez avec nous votre expérience.

Voir aussi

Une faille de sécurité dans les assistants vocaux populaires permet de mener des attaques par l'envoi d'instructions audio secrètes

Palmarès des assistants vocaux : premier Google Assistant suivi de Cortana puis Alexa et en dernier Siri selon les résultats d'un test

Une faille de sécurité dans les assistants vocaux populaires permet de mener des attaques par l'envoi de commandes vocales inaudibles

Amazon déploie Alexa dans les hôtels, l'assistant numérique permet de commander le service de chambre ou de contrôler les dispositifs connectés

Marché des haut-parleurs intelligents : Alexa d'Amazon cède du terrain à des acteurs qui n'étaient même pas comptabilisés il y a deux ans

[yann.papouin]

Pour les autres je peux pas dire, mais Alexa c'est vraiment l'intelligence artificielle du pauvre.

Elle ne sait pas ce qu'est un store banne et donc est incapable de reconnaître ce mot.

Quand on demande d'écouter voilà l'été des négresses vertes, on obtient une confirmation avec un beau bip de censure.

Les demandes contextuelles simples, du genre rejoue moi la musique précédente, c'est peine perdue.

Notre prononciation de l'anglais doit être sacrifié sur l'autel de la compréhension.

J'ai une dizaine d'exemple chaque jour plus ou moins consternant.

[Mootookoi]

J'ai testé Google Assistant sur mon smartphone et il est loin des 100% de compréhension.
Pourtant je ne lui parle ni en argot, ni en verlan. Je lui parle même en mode robot.
Il galère à mort. Il est plus proche des 60% de compréhension.
Par contre pour les insultes, là on frise les 100%.

[Sodium]

J'ai testé Google Assistant sur mon smartphone et il est loin des 100% de compréhension.

La compréhension est probablement bien meilleure en anglais.

[Saverok]

Que pensez-vous de ces résultats ?

On a un pôle R&D dans ma boîte où ils ont tous ces assistants pour tenter d'y trouver une quelconque utilité.
J'ai pu m'y rendre et faire mumuse avec chacun et les résultats du post sont assez conforme à ce que j'ai pu observer (Alexa est à la ramasse face à Google et Siri)

Avez-vous déjà utilisé l'un de ces assistants vocaux ? Partagez avec nous votre expérience.

Actuellement, ces assistants sont d'une totale inutilité.
Pour la maison, ils pourraient servir de contrôleur central de l'ensemble des objets connectés mais pour cela, nous seulement il faudrait que la maison soit intégralement équipées (sortez le porte monnaie ) mais en plus, faudrait que le tout soit interfaçable avec ces assistants ce qui n'est pas encore le cas pour la majeur partie car les fabricants sont encore à vouloir imposer leurs interfaces fermées propriétaires.
Va falloir attendre qu'un standard du IoT se mette en place...
Bref, ce n'est pas pour tout de suite.

De plus, côté web, faut que les sites adoptent les normes d'accessibilité pour que ces assistants puissent interagir avec les sites efficacement et y a du travail !
Ne doutons pas que Google va pousser ça en utilisant son moteur de recherche pour faire baisser le rang des sites qui n'implémentent pas correctement ces normes...
C'est cool pour les handicapés qui vont pouvoir accéder plus facilement et efficacement au web même si l'objectif de Google est purement mercantile.

[nirgal76]

J'ai testé Google Assistant sur mon smartphone et il est loin des 100% de compréhension.
Pourtant je ne lui parle ni en argot, ni en verlan. Je lui parle même en mode robot.
Il galère à mort. Il est plus proche des 60% de compréhension.
Par contre pour les insultes, là on frise les 100%.

Il a plus de mal en français c'est sur. MAis parler en robot est une erreur je pense. Moi il me comprends mieux en parlant normalement. Ou alors t'as un accent régional à couper au couteau

[Matthieu76]

Ouais enfin l'assitant Google c'est surtout :

• 10% de réponses pré-enregistrées.
• 20% réponses acceptable.
• 70% il te sort une recherche google.

Et là je parle uniquement dans le cas où on lui pose des questions simples.