Adattamento delle informazioni di entropia regolarizzata con reti temporali per la traduzione simultanea del parlato
Author
Venue
Interspeech 2026
Abstract
La traduzione simultanea del parlato (SimulST) richiede un equilibrio tra alta qualità di traduzione e bassa latenza. Un recente lavoro ha introdotto REINA, un metodo che addestra una politica di lettura/scrittura basata sulla stima del guadagno di informazione derivante dalla lettura di una maggiore quantità di audio. Tuttavia, abbiamo riscontrato che le politiche basate sull'informazione spesso mancano di contesto temporale, portando la politica a privilegiare la lettura della maggior parte dell'audio prima di iniziare a scrivere. Miglioriamo REINA utilizzando due strategie distinte: una rete di allineamento supervisionata (REINA-SAN) e una rete potenziata con intervalli di tempo (REINA-TAN). I nostri risultati dimostrano che, mentre entrambi i metodi superano significativamente la linea di base e risolvono i problemi di stabilità, REINA-TAN fornisce una frontiera di Pareto leggermente superiore per l'efficienza di streaming, mentre REINA-SAN offre una maggiore robustezza contro i "cicli di lettura". Applicati a Whisper, entrambi i metodi migliorano la frontiera di Pareto dell'efficienza di streaming, misurata dai punteggi di Normalized Streaming Efficiency (NoSE), fino al 7,1% rispetto alle linee di base competitive esistenti.
