Speech & Audio
基于时序感知网络的正则化熵信息适应在同步语音翻译中的应用
Author
Venue
Interspeech 2026
Abstract
同步语音翻译（SimulST）需要在高质量翻译与低延迟之间取得平衡。近期研究提出了一种名为 REINA 的方法，该方法基于对读取更多音频所获信息增益的估计来训练读写策略。然而，我们发现基于信息的策略往往缺乏时间上下文，导致策略倾向于在开始写入之前读取大部分音频。 我们通过两种不同的策略改进 REINA：监督对齐网络（REINA-SAN）和时间步增强网络（REINA-TAN）。 实验结果表明，虽然两种方法均显著优于基线模型并解决了稳定性问题，但REINA-TAN在流式处理效率方面提供了略胜一筹的帕累托前沿，而REINA-SAN则在应对“读取循环”方面更具鲁棒性。应用于Whisper模型时，两种方法均提升了流式处理效率的帕累托前沿，以归一化流式处理效率（NoSE）分数衡量，相较于现有竞争性基线模型，提升幅度高达7.1%。
