Discussion :

[youle31]

Bonjour!

Je souhaite utiliser la reconnaissance vocale microsoft pour faire bouger des objects dans le Blender Game Engine (logiciel de modélisation 3D avec un moteur de jeu).

Avec la reconnaissance vocale windows, on peut dicter du texte qui s'écrit directement dans notepad. Je voudrais transmettre ce texte à mon programme python, mais je ne sais pas trop comment m'y prendre.

J'ai essayé quelques trucs avec le module subprocess, mais sans succès. Sinon, j'ai aussi essayé avec fichier = open('test.txt', 'r') puis print(fichier.read()) ou fichier.readline() et ça marche mais il faut auparavant sauvegarder le document test.txt (fichier>enregistrer) pour avoir accès au nouveau contenu de test.txt.

Ce que je voudrais, c'est vraiment qu'à chaque fois qu'un nouveau mot est écrit dans notepad, mon programme python soit immédiatement informé sans qu'il soit besoin de sauvegarder le document notepad (ou trouver un moyen d'automatiser la sauvegarde dans notepad à chaque fois qu'on écrit quelque chose dedans (je suppose qu'il faudrait utiliser l'API de windows mais je ne connais pas du tout...)

Vous avez des idées? Merci!!

[wiztricks]

Salut,

(je suppose qu'il faudrait utiliser l'API de windows mais je ne connais pas du tout...)

Pourquoi ne pas regarder la documentation de Microsoft Speech et/ou poser des questions dans les forums Windows?

- W

[youle31]

Oui je pense que je vais également poser la question sur le forum Windows. Merci! En attendant, si vous avez d'autres idées, pas forcément en utilisant notepad, je suis preneur! (Après avoir jeté un coup d'oeil à la doc de Microsoft speech, il ne semble pas possible de "contrôler" l'output directement. Donc il faudrait trouver un workaround.) Merci!

[YCL-1]

Bonjour,

je ne connais pas bien le logiciel de reconnaissance en question mais quand vous dites « notepad », est-ce lié à certaines applications seulement ou peut-on dicter/écrire sur n'importe quel "input" entrée/zone de texte ?

Un exemple simple qui me vient à l’esprit c'est un lecteur de code barre plug-and-play PS2/USB, pour pouvoir écrire automatiquement le code en scannant une étiquette il se contente d'émuler un clavier sans aucun pilote nécessaire, pour venir écrire sur n'importe quelle zone de texte.

Ici c'est sans doute pareil, il émule l'écriture des touches, comme le fait certains logiciels de macro générique : déplacement souris et séquencement d’appui de touche.

Si c'est le cas, il suffit d'intercepter l'action des touches en input, ou en interface avec tkinter par exemple, lib standard.

Le terme exacte en anglais c'est key (event) handling, le fait de capturer les événements liés aux touches du clavier.

Voici un exemple donné par l’excellent guide pour Tkinter v2: http://effbot.org/tkinterbook/tkinte...d-bindings.htm

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# -*- coding: utf-8 -*-
# Python 2 & 3
 
from __future__ import print_function # Replace print function
 
try: # v2
	from Tkinter import *
except: # v3
	from tkinter import *
 
 
root = Tk()
 
def key(event):
	print("pressed", repr(event.char))
 
def callback(event):
	frame.focus_set()
	print("clicked at", event.x, event.y)
 
frame = Frame(root, width=100, height=100)
frame.bind("<Key>", key)
frame.bind("<Button-1>", callback)
frame.pack()
 
root.mainloop()

Il suffit ensuite de sélectionner la fenêtre/cadre et d'appuyer sur des touches pour qu'il les intercepte.



Pour capturer des mots je suppose qu'il faille utiliser un buffer et de vérifier l’existence dans un dictionnaire pour en exécuter la fonction.

[jurassic pork]

hello,
Youle31 j'ai plusieurs questions à te poser :

1 - Quel genre de texte veux-tu transmettre à ton programme python (donne nous un exemple) ?
2 - Pourquoi ne pas directement faire la reconnaissance vocale avec le programme python ( avec les modules pyspeech ou dragonfly par exemple) ?

Ami calmant, J.P

[youle31]

@YCL-1: Salut! Mon but n'est pas de capturer le clavier. Dans l'idéal je n'aurai pas à m'en servir (tout se ferait par la reconnaissance vocale). Avec la reconnaissance vocale windows, on peut dicter du texte dans plusieurs logiciels. J'ai choisi notepad parce que ça me semblait le plus simple, mais peut-être existe-t-il d'autres logiciels qui me permettraient plus facilement de faire ce que je veux faire.

@jurassik pork: Salut! Voici une vidéo explicative de ce que je voudrais faire:

https://drive.google.com/file/d/0B3G...ew?usp=sharing

Pourquoi je n'utilise pas dragonfly ou pyspeech? Parce qu'ils sont prévus pour fonctionner avec python 2.x. Il faut donc avoir une installation de python 2 pour les faire fonctionner (à moins qu'il existe des versions mises à jour pour python 3 mais je n'en ai pas trouvé). Pourquoi je ne veux pas utiliser une version de python 2? Parce que mon logiciel Blender utilise une version propre à lui de python 3.4 et que dans l'idéal, pour partager mon fichier, j'aimerai soit pouvoir directement me servir de modules extérieurs compatibles avec la version 3.4 intégrée à Blender (je pourrais directement coder dans l'IDE propre à Blender et joindre seulement le module de reconnaissance vocale pour partager mon fichier (sans qu'il soit besoin pour l'utilisateur d'installer une version complète de python 2 + d'installer le module de reconnaissance vocale), soit me passer complètement de modules extérieurs et faire avec notepad (que tous les utilisateurs windows ont par défaut).

Sinon, j'ai essayé avec speech recognition 1.1.4 https://pypi.python.org/pypi/SpeechRecognition/ (qui marche avec l'API google speech) mais la procédure d'installation est vraiment galère (il faut créer un compte et récupérer une clé... pour avoir accès à l'API et la clé n'est valable qu'un jour... Il faut aussi PyAudio) et de toute façon je n'ai pas réussi à le faire fonctionner sur mon PC.

Donc je me suis replié sur cette solution notepad+reconnaissance vocale microsoft. Dans le principe, ça marche, mais il faudrait que je puisse contrôler la sauvegarde du document notepad depuis python. J'ai pas trouvé de version de pywinauto compatible avec python 3.4, alors je suis à cours d'idées...

Donc si vous avez un tuyau, je vous en serais très reconnaissant. Merci!

[YCL-1]

@YCL-1: Salut! Mon but n'est pas de capturer le clavier. Dans l'idéal je n'aurai pas à m'en servir (tout se ferait par la reconnaissance vocale). Avec la reconnaissance vocale windows, on peut dicter du texte dans plusieurs logiciels. J'ai choisi notepad parce que ça me semblait le plus simple, mais peut-être existe-t-il d'autres logiciels qui me permettraient plus facilement de faire ce que je veux faire.

Je n'ai peut-être pas été clair dans mon explication, mais pour que ça puisse écrire automatiquement avec la reconnaissance vocale c'est que soit ça écrit des touches, tout comme le fait un clavier, ou deuxième hypothèse que je vois c'est qu'il colle les mots depuis le presse-papiers/Clip board. Il est possible de vérifier le clip board sous windows en exécutant (Windows + R): Clipbrd

Dans le premier cas il est possible de récupérer l'écriture de ces touches.

[YCL-1]

Pour se faire une idée du principe, avec le clavier virtuel sous windows (Windows + R) ouvrir: osk
Il est possible d'écrire des touches sans passer par un clavier physique, le principe est simple, les boutons vont envoyer l'instruction d'écrire un caractère.

Une macro touches clavier/souris fait de même: on réalise une séquence qui dira par exemple : [Press A key][Press Z key][Press down shift][Press E key][Press up shift]

Le script réalisera l'écriture suivante: azE

Le principe est sans doute le même avec la reconnaissance vocale, il traduit la voix en texte, et le pilote se charge d'envoyer l'instruction des touches, comme le ferait un clavier.

[youle31]

Ok. Merci! J'ai vérifié le clipboard avec ça http://www.thewindowsclub.com/downlo...wer.zip?75a050 (il n'y a plus clipbrd.exe dans windows 8!) et donc le texte capturé par le micro ne transite pas par le clipboard... Hey, c'est cool ce truc avec tkinter! Mais malheureusement il ne se passe rien quand je parle dans mon micro (enfin si il y a une petite fenêtre qui s'ouvre et qui me demande si je veux insérer du texte et quand je l'insère ça apparaît dans la petite fenêtre tkinter). Par contre pour les touches du clavier c'est cool!

[YCL-1]

Ah c'est un environnement python directement intégré dans Bender?

Je suppose qu'il est possible d'y rajouter des modules.

Vous pouvez déjà vérifier si le principe fonctionne en utilisant les fonctions natives input_raw() ou input() pour savoir si ça écrit bien le texte dessus, mais ça nécessite d'envoyer / dire la touche Entrée / 'Return'.

Il est possible que Bender réinterprète ces fonctions en proposant des popup, ce que fait certains IDE comme PyScripter par exemple.

[youle31]

En fait non, on ne peut pas se servir directement de input() à part dans un thread séparé j'imagine et avec une queue pour récupérer l'input j'imagine... On utilise d'autres moyens intégrés au moteur de jeu. Mais je ne crois pas que cette solution puisse fonctionner dans mon cas (enfin, faut voir), et comme vous dites, on aurait de toute façon besoin de se servir de la touche entrée...

Sinon oui, il est possible d'utiliser des modules supplémentaires. Je me suis déjà servi de PyAudio par exemple.

Voilà ce que ça fait quand on se sert de la reconnaissance vocale sans avoir le curseur dans notepad:

https://drive.google.com/file/d/0B3G...ew?usp=sharing

[jurassic pork]

hello,

j'ai réussi à faire fonctionner pyspeech en python 3.4 :

1 - Récupérer le zip de la version pour 3.x de pyspeech ici ( Download zip)

Dézipper le fichier. Apparemment il y a des choses qui ne se compilent pas avec la version 3.4 de python :
Dans le fichier speech.py remplacer import thread par import _thread, le print prompt par print (prompt) et le thread.start_new_thread(loop, ()) par _thread.start_new_thread(loop, ())

Installer le module avec par exemple la commande python3 setup.py install.

Et voici un petit programme de test qui fonctionne chez moi dans winpython spyder sous windows 7 :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
import speech
 
while True:
    # on attend un des mots pour passer à la ligne suivante  
    phrase = speech.input("Dans quelle direction ?",['Haut', 'Bas','Stop'] )
    # la robote essaie de répéter le mot détecté
    speech.say("tu as dit %s" % phrase)
    # Si le mot est stop on arrête
    if phrase == "Stop":
        break

Ami calmant, J.P

[youle31]

Youpi!!!!!!!! Je teste ça et je vous tient au courant. Un grand MERCI! Et bravo!

Aie! : https://drive.google.com/file/d/0B3G...ew?usp=sharing

Euh je vais voir si je peux faire quelque chose mais en tant que débutant...

Yes ça marche! Alors maintenant je vais essayer avec Blender et je vous tiens au jus!

[youle31]

Et voilà!

http://www.mediafire.com/download/ms...ecognition.rar

Merci beaucoup pour votre aide!

Si vous avez envie de tester, il faut télécharger Blender 32 bits: http://www.blender.org/ , ouvrir le fichier speechRecognition.blend, et appuyer sur P avec le curseur de la souris dans le vue 3D pour lancer le moteur de jeu (echap pour quitter).

Donc au final, j'ai utilisé ton pyspeech modifié Jurassik pork (MERCI!) et puis des fichiers de pywin32.

Testé sous Windows 8.1 avec Blender 2.73 32 bits.