సమర్థవంతమైన బహుభాషా స్పీచ్-టు-స్పీచ్ అనువాదం కోసం డిఫ్యూజన్ సింథెసైజర్
Author
Venue
ఇంటర్స్పీచ్ 2024
Abstract
మేము డిఫ్యూజ్ఎస్టి (DiffuseST)ని పరిచయం చేస్తున్నాము, ఇది తక్కువ-ల్యాటెన్సీ, డైరెక్ట్ స్పీచ్-టు-స్పీచ్ అనువాద వ్యవస్థ. ఇది బహుళ మూల భాషల నుండి ఇంగ్లీషులోకి అనువదించేటప్పుడు, ఇన్పుట్ స్పీకర్ యొక్క వాయిస్ జెరో-షాట్ను (zero-shot) పరిరక్షించగలదు. మేము ఈ నిర్మాణం యొక్క సింథెసైజర్ భాగంతో ప్రయోగాలు చేసాము, టాకోట్రాన్-ఆధారిత సింథెసైజర్ను ఒక కొత్త డిఫ్యూజన్-ఆధారిత సింథెసైజర్తో పోల్చాము. డిఫ్యూజన్-ఆధారిత సింథసైజర్, పోల్చదగిన BLEU స్కోర్లను నిలుపుకుంటూనే, MOS మరియు PESQ ఆడియో నాణ్యత కొలమానాలను ఒక్కొక్కటి 23% చొప్పున మరియు స్పీకర్ సారూప్యతను 5% మెరుగుపరిచినట్లు మేము కనుగొన్నాము. రెట్టింపు కంటే ఎక్కువ పారామితులు ఉన్నప్పటికీ, డిఫ్యూజన్ సింథసైజర్ తక్కువ లేటెన్సీని కలిగి ఉంది, ఇది మొత్తం మోడల్ను నిజ-సమయం కంటే 5× కంటే ఎక్కువ వేగంగా నడపడానికి అనుమతిస్తుంది.
