Yo,

ça fait des années que jsuis pas venu sur ce forum. j'suis étonné que ça soit encore aussi actif, depuis fin 2022.


est ce qu'il y a des monstres en clonage de voix opensource ?

ça fait 2 semaines que je souffre avec ça.

J'ai appris pas mal de leçons dans ma galère

- Si t'es dans une version postérieure à Python 3.10, ne cherche pas à aller plus loin
- Le seul deboggeur utile - qui se connecte aux tutos en ligne - c'est Grok 4.1
- Ton audio source doit être ultra propre - zéro bruit de fond et zéro intervenant secondaire
- Tu peux laisser le TTS faire la transcription automatiquement pour toi, mais attends-toi à des hallucinations et du repatching sans fin
- Transcription uniquement avec Whisper Large, oublie les version Small ou Medium
- Si t'as un audio source de 30 min très propre, pas obligé de faire du fine-tuning, même en zero shot la fidélité de la voix est bluffante
- Le découpage des chunks- c'est à dire l'endroit où tu décides de découper - est aussi décisif que la transcription
- Pas obligé dte payer un PC avec GPU 16Go VRAM à 2000€, y'a la plateforme Kaggle avec ses deux GPU T4 qui tournent en tandem. Le forfait 30Go est réinitialisé tous les samedi
- Tortoise TTS m'a donné un très bon résultat sur du texte long, mais qu'est ce qu'il est lent ce batard. 1h30 pour 300 mots. Et en plus en mode ultra_fast !!
- C'est des crevards chez Lighting AI. dès que t'as fini ton crédit d'inscription, avec le ralentissement imposé - t'es contraint de payer
- Colab c'est pour les gamins avec des scripts de moins de 100 lignes
- J'ai bien kiffé le parcours d'apprentissage sur Kaggle - hors sujet mais je tenais à le mentionner

Aujourd'hui je suis passé à F5 TTS. La fidélité de la voix est excellente, c'est 10 fois plus rapide que Tortoise TTS, mais purée le respect de la ponctuation c'est une catastrophe. Et en plus petite hallucination, il me rajoute le même mot imaginaire à chaque jointure de chunk. Bref, je suis parti pour plusieurs jours de patching

Du coup, si y'a un gars pour qui le machine learning audio n'a aucun secret, ça me sauverait de ma misère.

Je poste ici car ça me semblait la section la plus judicieuse.