Natural Language Processing
Speech & Audio
효율적인 다국어 음성-음성 번역을 위한 확산 합성기
Author
Venue
Interspeech 2024
Abstract
본 논문에서는 여러 소스 언어를 영어로 번역하는 과정에서 입력 화자의 목소리를 제로샷(zero-shot) 방식으로 보존할 수 있는 저지연 직접 음성-음성 번역 시스템인 DiffuseST를 소개합니다. 우리는 아키텍처의 합성기 구성 요소를 대상으로 실험을 수행하여, Tacotron 기반 합성기와 새로운 확산 기반 합성기를 비교했습니다. 그 결과, 확산 기반 합성기는 BLEU 점수를 비슷한 수준으로 유지하면서도 MOS 및 PESQ 오디오 품질 지표를 각각 23% 향상시키고 화자 유사도를 5% 높이는 것으로 나타났다. 매개변수 수가 두 배 이상 많음에도 불구하고, 확산 합성기는 지연 시간이 더 짧아 전체 모델이 실시간보다 5배 이상 빠르게 실행될 수 있다.
