Diffusiesynthesizer voor efficiënte meertalige spraak-naar-spraakvertaling
Author
Venue
Interspeech 2024
Abstract
We introduceren DiffuseST, een direct spraak-naar-spraakvertaalsysteem met lage latentie dat in staat is om de stem van de invoerspreker zero-shot te behouden tijdens het vertalen van meerdere brontalen naar het Engels. We experimenteren met de synthesizercomponent van de architectuur en vergelijken een op Tacotron gebaseerde synthesizer met een nieuwe, op diffusie gebaseerde synthesizer. We constateren dat de op diffusie gebaseerde synthesizer de MOS- en PESQ-audiokwaliteitsmetriek met elk 23% en de sprekerovereenkomst met 5% verbetert, terwijl vergelijkbare BLEU-scores behouden blijven. Ondanks dat het aantal parameters meer dan verdubbeld is, heeft de diffusiesynthesizer een lagere latentie, waardoor het gehele model meer dan 5× sneller dan in realtime kan draaien.
