Gereguleerde entropie-informatieaanpassing met tijdbewuste netwerken voor gelijktijdige spraakvertaling
Author
Venue
Interspeech 2026
Abstract
Simultane spraakvertaling (SimulST) vereist een evenwicht tussen hoge vertaalkwaliteit en lage latentie. In recent onderzoek werd REINA geïntroduceerd, een methode die een lees-/schrijfbeleid traint op basis van het schatten van de informatiewinst van het lezen van meer audio. We hebben echter vastgesteld dat op informatie gebaseerde beleidsregels vaak geen temporele context hebben, waardoor het beleid de neiging heeft om het grootste deel van de audio te lezen voordat het begint met schrijven. We verbeteren REINA met behulp van twee verschillende strategieën: een supervised alignment network (REINA-SAN) en een timestep-augmented network (REINA-TAN). Onze resultaten tonen aan dat, hoewel beide methoden aanzienlijk beter presteren dan de baseline en stabiliteitsproblemen oplossen, REINA-TAN een iets superieure Pareto-grens biedt voor streaming-efficiëntie, terwijl REINA-SAN meer robuustheid biedt tegen 'leeslussen'. Toegepast op Whisper verbeteren beide methoden de Pareto-grens van streaming-efficiëntie, gemeten aan de hand van Normalized Streaming Efficiency (NoSE)-scores, tot 7,1% ten opzichte van bestaande concurrerende baselines.
