Discussion :

[Anselme45]

Bonjour à tous,

Je dois réaliser une app FMX devant indiquer vocalement des instructions donc "vocaliser un texte" et réagir à certains ordres vocaux simples (1 mot clé à la fois).

Pour la partie synthèse, je crois savoir qu'il y a un service Google qui permet de le faire mais on doit proposer le texte à un serveur distant de Google pour obtenir en retour le son.

Avez-vous un composant à conseiller?

J'ajoute à mon problème que mon application devrait être multi-langue et être adaptée à plusieurs langues européennes autres que l'anglais (français, allemand, italien, espagnol)...

[SergioMaster]

Bonjour,

Pour ce qui est de la partie synthèse, j'ai utilisé TextToSpeech (pour mon jeu de Loto/Bingo ) proposé dans un dépôt Git https://github.com/grijjy/JustAddCod...r/TextToSpeech
pas d'internet, portable sur MacOS, IOS et Android, seul Linux manque à l'appel par contre je ne me souviens plus quelles langues sont possibles

par contre, pour la réaction aux ordres, je n'ai rien mais je n'ai pas vraiment cherché.
Note : Python4Delphi proposerait serait peut-être quelconque

[hector94]

Voice Recognition and Text to Speech on Android for Delphi, RAD Studio, C++Builder and Appmethod (C++ or Object Pascal).

https://github.com/jimmckeeth/FireMonkey-Android-Voice

[SergioMaster]

Un petit tour sur GitHub, qui n'avait rien à voir avec le sujet, m'a permis de voir que la blibliothèque Kastri

Speech Recognition

Android and iOS implementations for speech-to-text services. On Android, the actual speech API is used, rather than via Intents

Aucune idée de ce que cela vaut, ce qui me fait tiquer : deux cibles et le terme de services et API qui me font suspecter un passage par le net

[pprem]

Kastri est dédiée à l'utilisation des API des systèmes d'exploitation et aux SDK disponibles. S'il y a besoin d'un appel web, c'est que l'OS le fait.

Dans le cadre de TTS, c'est localisé sur l'appareil et géré par les assistants d'accessibilité.

Pour la reconnaissance vocale, ça dépend de l'OS. Sur Apple par exemple ils ont commencé à migrer ces services localement maintenant que l'appareil sait gérer tout un tas de chose au niveau hardware. Pour Android c'est probablement envoyé à Google, mais à vérifier sur les API utilisées.

[Anselme45]

Pour la reconnaissance vocale, ça dépend de l'OS. Sur Apple par exemple ils ont commencé à migrer ces services localement maintenant que l'appareil sait gérer tout un tas de chose au niveau hardware. Pour Android c'est probablement envoyé à Google, mais à vérifier sur les API utilisées.

Dans le cadre d'un projet sérieux, je prends le parti d'éviter à tout prix les solutions à la mode "probablement envoyé à Google" (ou envoyé à tout autre service dont je n'ai pas le contrôle d'ailleurs). Il est strictement impossible d'être sûr du devenir de ce genre de service: Tu développes ton application et un jour de beau temps, tu reçois l'appel d'un client qui te dit "votre logiciel ne fonctionne plus!" et c'est à ce moment que tu apprends que le Google du coin a décidé il y a 6 mois déjà de supprimer le service!

Et c'est pas le propre de Google... Pensée émue pour une société qui a mis à la poubelle un gros projet développé en Delphi pour le refaire en se basant sur Silverlight de Microsoft... Il n'avait pas fini leur projet "Silverlight" que Microsoft annonçait son abandon après en avoir fait la promotion à marche forcée...

[Anselme45]

Bonjour à tous,

Merci pour vos idées...

Je vais donner un coup d'oeil aux solutions proposées...

PS: Je laisse pour l'instant la discussion ouverte... Des fois qu'il y aurait d'autres propositions...

[pprem]

Le problème de la dépendance technologique est un problème omniprésent de nos jours.

Pour ce qui est de la voix, tant que tu utilises les API fournies par les SE ça devrait rester transparent et durable. contrôle des appareils à la parole et sonorisation de textes sont des fonctionnalités minimales de nos jours. De toute façon il n'y a pas 50 prestataires possibles : Google, Microsoft, Amazon et quelques boites qui ont développé leur techno (ou la leur fournissent en marque blanche). Peu de risque que ça disparaisse du jour au lendemain.

Tout traitement d'enregistrements devra faire l'objet d'une information de l'utilisateur car espionnage possible (et le volet juridique peut devenir kafkaïen selon le prestataire final).

Le Text To Speech existe depuis des décennies. Je jouais déjà avec les "API" des cartes SoundBlaster dans les années 1990.

[Anselme45]

Bonjour,

Pour ce qui est de la partie synthèse, j'ai utilisé TextToSpeech (pour mon jeu de Loto/Bingo ) proposé dans un dépôt Git https://github.com/grijjy/JustAddCod...r/TextToSpeech
pas d'internet, portable sur MacOS, IOS et Android, seul Linux manque à l'appel par contre je ne me souviens plus quelles langues sont possibles

J'ai testé.

Langue supportée: Anglais, Français, Allemand, Italien, chinois simple, coréen. Pour les 4 premières (celles qui m'intéressent), le résultat est bluffant. Par contre, il me manque 2 langues, l'espagnol et le portugais... Il faut que je regarde s'il est possible de les ajouter.

Par contre, j'ai une question pratique que je pose prioritairement à SergioMaster puisqu'il a utilisé TextToSpeech:

Comment peut-on forcer un silence? Exemple: J'ai un texte: "blabla1 blabla2", cela fonctionne bien avec certaines langues mais avec d'autres, j'obtiens un "blabla1blabla2" sans réelle séparation entre les 2 mots et j'aimerai avoir avoir en synthèse vocale un "blabla1 > un silence > blabla2", j'ai essayé de la ponctuation, des espaces, etc, mais j'ai pas vraiment un résultat probant...

Je peux toujours bricoler et séparer les mots en 2 textes distincts en forçant une pause lors de la synthèse des 2 textes, mais si il existait un caractère quelconque à ajouter dans le texte pour indiquer une pause, ce serait plus simple

[Anselme45]

J'offre un début de réponse à ma propre réponse (dès fois que cela pourrait servir à qqn):

"blabla1... blabla2"

Le "..." ajoute un silence. Par contre, je ne sais pas comment configurer la durée de ce silence

[wheel]

Je dois réaliser une app FMX devant indiquer vocalement des instructions donc "vocaliser un texte" et réagir à certains ordres vocaux simples (1 mot clé à la fois).

S'il s'agit de simples mots vous pouvez utiliser le FFT assez simple et répandu pour détecter les fréquences sonores de chaque mot.
ou une autre option un peu avancée https://github.com/SKantar/LPC

[SergioMaster]

Bonjour

Le "..." ajoute un silence. Par contre, je ne sais pas comment configurer la durée de ce silence

Merci de cette astuce, du coup as-tu essayé les autres ponctuations ( ,;. ), espace insécable etc?

Par contre, il me manque 2 langues, l'espagnol et le portugais... Il faut que je regarde s'il est possible de les ajouter.

je n'avais fait qu'une recherche rapide, il me semble que c'est possible pour peu de trouver les fichiers

[Anselme45]

Bonjour

Merci de cette astuce, du coup as-tu essayé les autres ponctuations ( ,;. ), espace insécable etc?

Mouais, mais cela n'a pas été très concluant

Tu as même des surprises: un "_" et la synthèse vocale te dit "sous-ligné", une "," et la synthèse vocale dit et ne fait rien, un ".." (au lieu de "...", histoire d'avoir un silence plus court?) et la synthèse vocale te dit "point", un seul "." et la synthèse vocale dit et ne fait rien. Bref, il doit certainement y avoir des règles claires mais je n'ai pas trouvé de doc qui les décrivent. A noter que j'ai vu une note qui avertit "Le résultat dépend de la version de l'OS équipant l'appareil".


J'ai trouvé 2 ou 3 codes à utiliser en format xml pour configurer la synthèse vocale de Android (entre autre un code qui permettrait de définir en millisecondes la durée d'un silence) mais je n'ai pas testé.

A remarquer qu'il est difficile de savoir ce qui est valide ou non, tu as de la doc Google qui n'est pas datée alors que c'est une problématique en forte évolution. J'ai par exemple trouvé pour la reconnaissance vocale de la doc Google (sans date) qui te dit "il faut faire appel à un serveur distant Google" puis une news révolutionnaire... datant elle de 2019 qui dit Google a introduit dans son OS Android un "service, super, hyper génial, qui doit encore être amélioré et qui n'équipe qu'un seul type de téléphone, qui permet la reconnaissance de la parole en local sur le téléphone mais uniquement en anglais". Nous sommes en 2022, est-ce que ce projet à été amélioré par Google depuis 2019? Mystère...

[Anselme45]

Bonjour

Merci de cette astuce, du coup as-tu essayé les autres ponctuations ( ,;. ), espace insécable etc?


je n'avais fait qu'une recherche rapide, il me semble que c'est possible pour peu de trouver les fichiers

Petite question:

J'ai trouvé la liste des langues supportées par TextToSpeech en regardant le code mais qu'en est-il des langues installées sur l'appareil Android. En faisant le test sur un téléphone européen, l'app a parlé en anglais, français, allemand et italien. Je vais encore faire le test avec un téléphone américain mais je ne serai pas étonné que l'app n'y parle qu'anglais!!!

Est-ce que quelqu'un sait comment vérifier les langues qui sont installés sur un OS Android particulier?

[Anselme45]

S'il s'agit de simples mots vous pouvez utiliser le FFT assez simple et répandu pour détecter les fréquences sonores de chaque mot.
ou une autre option un peu avancée https://github.com/SKantar/LPC

Par FFT, il faut comprendre "Transformée de fourrier rapide (fft)"?

L'idée serait d'enregistrer "l'empreinte" de chaque mots-clé et de les comparer ensuite avec le son collecté par le micro?

Question de néophyte dans le traitement du signal: L'empreinte va dépendre de la personne qui prononce le mot-clé, non?

[Anselme45]

Petite question:

J'ai trouvé la liste des langues supportées par TextToSpeech en regardant le code mais qu'en est-il des langues installées sur l'appareil Android. En faisant le test sur un téléphone européen, l'app a parlé en anglais, français, allemand et italien. Je vais encore faire le test avec un téléphone américain mais je ne serai pas étonné que l'app n'y parle qu'anglais!!!

Je confirme et la situation est même pire que ce que je pensais!!! J'ai essayé sur un terminal mobile lecteur de code-barre vendu en France et... Il ne parle que anglais!!!


Ce qui signifie... Que si on veut faire une app qui parle dans une langue précise, il faut impérativement pouvoir équiper le service de synthèse vocale de l'appareil avec la langue voulue


Reste à savoir s'il est possible de le faire, savoir où trouver le fichier de la langue en question et au final savoir si c'est intégrable dans le fichier .apk (j'en doute puisque l'on touche à l'OS) ou est-ce qu'il faut définir une procédure qui s'adresse qu'à des utilisateurs ayant Bac +100 en nouvelles technologies...

[pprem]

Probablement la raison pour laquelle des sociétés spécialisées comme Acapella https://www.acapela-group.com/fr/ arrivent à vivre : la vente des licences de leurs voix et du moteur vocal avec des kits de développement.

[Anselme45]

Probablement la raison pour laquelle des sociétés spécialisées comme Acapella https://www.acapela-group.com/fr/ arrivent à vivre : la vente des licences de leurs voix et du moteur vocal avec des kits de développement.

L'ajout de voix et de langues au moteur vocal dépend au final du fabricant de l'appareil.

Essai réalisé avec un Samsung américain, équipé de 2 moteurs de synthèse vocale (google et Samsung) et il ne parle que... américain et espagnol... Mais on peut facilement ajouter des voix Homme/femme pour le moteur Samsung pour différentes langues mêmes les plus exotiques... Facile à réaliser!

Essai réalisé avec un terminal mobile pour l'industrie, uniquement avec le moteur google et une voix anglaise... Pas encore trouvé comment ajouter la langue de mon choix

[pprem]

L'ajout de voix et de langues au moteur vocal dépend au final du fabricant de l'appareil.

Il doit quand même y avoir une API quelque part pour ça dans Android. Sinon tu n'y couperas pas : faudra passer par des services en ligne ou faire le tien à partir d'enregistrements existants selon tes besoins.

[SergioMaster]

J'ai pourtant un vieux mobile, mais je peux, malgré tout, ajouter des langues via les paramètres (ardu à trouver !), cela étant je n'ai pas été plus loin dans le test

paramètres/langue et saisie/Synthèse vocale

ensuite ça se Corse dirait Napoléon aussi, je passe en mode bande dessinée car la petite roue dentée n'est pas vraiment explicite


Installer les données vocales


on y est !


De là à trouver une API ...

Mais "un terminal mobile pour l'industrie" ça doit être une autre paire de manches