Thích ứng thông tin entropy chuẩn hóa với mạng nhận thức thời gian cho dịch thuật giọng nói đồng thời
Author
Venue
Interspeech 2026
Abstract
Dịch thuật giọng nói đồng thời (SimulST) đòi hỏi phải cân bằng giữa chất lượng dịch cao và độ trễ thấp. Các nghiên cứu gần đây đã giới thiệu REINA, một phương pháp huấn luyện chính sách Đọc/Viết dựa trên việc ước tính mức độ thu được thông tin khi đọc thêm âm thanh. Tuy nhiên, chúng tôi nhận thấy rằng các chính sách dựa trên thông tin thường thiếu bối cảnh thời gian, dẫn đến việc chính sách có xu hướng thiên về việc đọc hầu hết âm thanh trước khi bắt đầu viết. Chúng tôi cải tiến REINA bằng hai chiến lược riêng biệt: mạng đối chiếu có giám sát (REINA-SAN) và mạng mở rộng theo bước thời gian (REINA-TAN). Kết quả của chúng tôi cho thấy rằng trong khi cả hai phương pháp đều vượt trội đáng kể so với mô hình cơ sở và giải quyết các vấn đề về độ ổn định, REINA-TAN cung cấp một đường biên Pareto tốt hơn một chút về hiệu quả truyền phát, trong khi REINA-SAN mang lại độ bền vững cao hơn trước các "vòng lặp đọc". Khi áp dụng vào Whisper, cả hai phương pháp đều cải thiện đường biên Pareto về hiệu quả truyền phát, được đo bằng điểm số Hiệu quả Truyền phát Chuẩn hóa (NoSE), lên đến 7,1% so với các mô hình cơ sở cạnh tranh hiện có.
