การปรับตัวของข้อมูลเอนโทรปีแบบปกติด้วยเครือข่ายที่มีความตระหนักในเชิงเวลาสำหรับการแปลเสียงพร้อมกัน
Author
Venue
Interspeech 2026
Abstract
การแปลคำพูดแบบเรียลไทม์ (SimulST) จำเป็นต้องบาลานซ์ระหว่างคุณภาพการแปลที่สูงกับความหน่วงต่ำ งานวิจัยล่าสุดได้แนะนำ REINA ซึ่งเป็นวิธีการที่ฝึกฝนนโยบายการอ่าน/เขียนโดยอาศัยการประมาณการเพิ่มข้อมูลจากการอ่านเสียงเพิ่มเติม อย่างไรก็ตาม เราพบว่านโยบายที่อาศัยข้อมูลมักขาดบริบททางเวลา ซึ่งทำให้นโยบายมีอคติต่อการอ่านเสียงส่วนใหญ่ก่อนที่จะเริ่มการเขียน เราปรับปรุง REINA โดยใช้กลยุทธ์ที่แตกต่างกันสองแบบ: เครือข่ายการจัดแนวแบบมีผู้สอน (REINA-SAN) และเครือข่ายที่เพิ่มช่วงเวลา (REINA-TAN) ผลลัพธ์ของเราแสดงให้เห็นว่าในขณะที่ทั้งสองวิธีมีประสิทธิภาพเหนือกว่าวิธีพื้นฐานอย่างมีนัยสำคัญและแก้ไขปัญหาความเสถียรได้ REINA-TAN ให้ขอบเขตพาราโตที่ดีกว่าเล็กน้อยสำหรับประสิทธิภาพการสตรีม ในขณะที่ REINA-SAN มีความทนทานต่อ 'การอ่านซ้ำ' ได้ดีกว่า เมื่อนำไปใช้กับ Whisper ทั้งสองวิธีปรับปรุงขอบเขตพาราโตของประสิทธิภาพการสตรีมตามคะแนนประสิทธิภาพการสตรีมนอร์มัลไลซ์ (NoSE) ได้สูงสุดถึง 7.1% เหนือกว่าวิธีพื้นฐานที่มีการแข่งขันอยู่เดิม
