Aprimorando a detecção de toxicidade de voz multilíngue com alinhamento de fala e texto
Author
Venue
Interspeech 2024
Abstract
A classificação de toxicidade da voz depende fortemente do conteúdo semântico da fala. Propomos uma nova estrutura que utiliza o aprendizado multimodal para integrar a incorporação semântica do texto a um classificador de toxicidade da fala com múltiplas etiquetas durante o treinamento. Isso nos permite incorporar informações textuais durante o treinamento, mas ainda assim exigir apenas áudio durante a inferência. Avaliamos esse classificador em conjuntos de dados de grande escala com características do mundo real para validar a eficácia dessa estrutura. Por meio de estudos de ablação, demonstramos que as incorporações semânticas de texto de uso geral são ricas e alinhadas com a fala para fins de classificação de toxicidade. Realizando experimentos em vários idiomas em grande escala, mostramos melhorias na classificação de toxicidade de voz em cinco idiomas e diferentes categorias de toxicidade.
