Speech & Audio
運用時序感知網路進行正則化熵資訊適應以實現同步語音翻譯
Author
Venue
Interspeech 2026
Abstract
即時語音翻譯（SimulST）需要在高翻譯品質與低延遲之間取得平衡。近期研究提出了一種名為 REINA 的方法，該方法透過估算讀取更多音訊所獲得的資訊增益，來訓練讀寫策略。然而，我們發現基於資訊的策略往往缺乏時間脈絡，導致策略傾向於在開始寫入之前先讀取大部分的音訊。 我們透過兩種截然不同的策略來改進 REINA：監督式對齊網路（REINA-SAN）與時間步增強網路（REINA-TAN）。 實驗結果顯示，雖然兩種方法均顯著超越基準模型並解決了穩定性問題，但 REINA-TAN 在串流效率方面提供了略為優異的帕累托前沿，而 REINA-SAN 則對「讀取迴圈」展現出更強的抗干擾能力。應用於 Whisper 模型時，兩種方法均提升了串流效率的帕累托前沿，以正規化串流效率 (NoSE) 分數衡量，相較於現有競爭基準模型，提升幅度最高可達 7.1%。
