Konuşma-Metin Eşleştirme ile Çok Dilli Ses Toksisite Algılamasının Geliştirilmesi
Author
Venue
Interspeech 2024
Abstract
Sesin toksisite sınıflandırması, büyük ölçüde konuşmanın anlamsal içeriğine dayanır. Eğitim sırasında metnin anlamsal gömülmesini çok etiketli bir konuşma toksisite sınıflandırıcısına entegre etmek için çapraz modal öğrenmeyi kullanan yeni bir çerçeve öneriyoruz. Bu, eğitim sırasında metinsel bilgileri dahil etmemizi sağlarken, çıkarım sırasında yine de yalnızca ses gerektirir. Bu çerçevenin etkinliğini doğrulamak için, bu sınıflandırıcıyı gerçek dünya özelliklerine sahip büyük ölçekli veri kümeleri üzerinde değerlendiriyoruz. Ablasyon çalışmalarıyla, genel amaçlı anlamsal metin gömmelerinin zengin olduğunu ve toksisite sınıflandırması amaçları için konuşma ile uyumlu olduğunu gösteriyoruz. Birden fazla dilde büyük ölçekli deneyler gerçekleştirerek, beş dil ve farklı toksisite kategorilerinde ses toksisitesi sınıflandırmasında iyileşmeler olduğunu gösteriyoruz.
