Safety & Civility
Artificial Intelligence
Speech & Audio
การเพิ่มประสิทธิภาพการตรวจจับความเป็นพิษของเสียงหลายภาษาด้วยการจัดแนวเสียงและข้อความ
Author
Venue
Interspeech 2024
Abstract
การจำแนกความเป็นพิษของเสียงอาศัยเนื้อหาเชิงความหมายของคำพูดเป็นอย่างมาก เราเสนอเฟรมเวิร์กใหม่ที่ใช้วิธีการเรียนรู้ข้ามรูปแบบเพื่อผสานการฝังความหมายของข้อความเข้ากับตัวจำแนกความเป็นพิษของเสียงแบบหลายป้ายกำกับในระหว่างการฝึกฝน ซึ่งช่วยให้เราสามารถรวมข้อมูลข้อความในระหว่างการฝึกฝนได้ ในขณะที่ยังคงต้องการข้อมูลเสียงเพียงอย่างเดียวในระหว่างการอนุมาน เราประเมินตัวจำแนกนี้บนชุดข้อมูลขนาดใหญ่ที่มีลักษณะเหมือนจริงเพื่อยืนยันประสิทธิภาพของกรอบงานนี้ ผ่านการศึกษาการตัดส่วนประกอบออก เราแสดงให้เห็นว่าการฝังข้อความเชิงความหมายทั่วไปมีความหลากหลายและสอดคล้องกับการพูดสำหรับการจำแนกความเป็นพิษ การดำเนินการทดลองในหลายภาษาในระดับใหญ่ เราแสดงให้เห็นถึงการปรับปรุงในการจำแนกความเป็นพิษของเสียงในห้าภาษาและหมวดหมู่ความเป็นพิษที่แตกต่างกัน
