Messages des blogs récents

On lit beaucoup de benchmarks « X tokens par seconde » pour les LLM sur Mac. Dès qu'on passe à l'audio, la métrique change complètement. Ce qui compte n'est pas le débit de tokens, mais le facteur temps réel : combien de secondes de calcul pour produire une seconde de musique. Et quand on instrumente correctement, on s'aperçoit que le GPU n'est presque jamais le limiteur.

Ce billet résume ce que j'ai fini par comprendre en faisant tourner des modèles de génération musicale (famille ...