Adaptation de l'entropie régularisée à l'aide de réseaux temporels pour la traduction simultanée de la parole
Author
Venue
Interspeech 2026
Abstract
La traduction simultanée de la parole (SimulST) nécessite de trouver un équilibre entre une qualité de traduction élevée et une faible latence. Des travaux récents ont présenté REINA, une méthode qui entraîne une politique de lecture/écriture basée sur l'estimation du gain d'information obtenu en lisant davantage d'audio. Cependant, nous constatons que les politiques basées sur l'information manquent souvent de contexte temporel, ce qui conduit la politique à privilégier la lecture de la majeure partie de l'audio avant de commencer à écrire. Nous améliorons REINA à l'aide de deux stratégies distinctes : un réseau d'alignement supervisé (REINA-SAN) et un réseau à pas de temps augmentés (REINA-TAN). Nos résultats démontrent que, si les deux méthodes surpassent largement la référence et résolvent les problèmes de stabilité, REINA-TAN offre une frontière de Pareto légèrement supérieure en termes d'efficacité de streaming, tandis que REINA-SAN offre une plus grande robustesse face aux « boucles de lecture ». Appliquées à Whisper, les deux méthodes améliorent la frontière de Pareto de l'efficacité de streaming, telle que mesurée par les scores d'efficacité de streaming normalisée (NoSE), jusqu'à 7,1 % par rapport aux références concurrentes existantes.
