Açık Kaynaklı Ses Güvenliği Modelimiz için Daha Fazla Dil Ekleniyor

• Açık kaynaklı ses güvenliği sınıflandırıcımızı, parametrelerini 94,6 milyondan 120,2 milyona çıkararak ve yedi yeni dil ile genişleterek güncelliyoruz.
• Sınıflandırıcının ilk sürümünden bu yana, İngilizce sesli sohbet verilerinde doğruluğu %1 yanlış pozitif oranında %59,1'e çıkardık. Bu, önceki sürümün %30,9'luk doğruluğuna göre %92'lik bir iyileşmedir.

Güvenlik ve nezaketi teşvik etmek, Roblox'ta yaptığımız her şeyin temelini oluşturmuştur. Neredeyse yirmi yıldır güçlü güvenlik sistemleri kurmak için çalışıyoruz ve yeni teknolojiler ortaya çıktıkça bu sistemleri sürekli olarak büyütüp geliştiriyoruz. 2024 yılında, bugün yeniden güncellediğimiz Ebeveyn Denetimleri'nin yenilenmesi de dahil olmak üzere 40'tan fazla güvenlik iyileştirmesi yayınladık. Ayrıca, sektörün ilk açık kaynaklı sesli güvenlik sınıflandırıcılarından birini piyasaya sürdük ve bu sınıflandırıcı 23.000'den fazla kez indirildi. Bugün, daha da doğru ve daha fazla dilde çalışan güncellenmiş bir sürümü yayınlıyoruz.

Bu sınıflandırıcı da dahil olmak üzere kullanıcılarımızı korumaya yardımcı olan birçok güvenlik sistemi, yapay zeka modelleriyle desteklenmektedir. Yapay zeka güvenlik alanındaki ilerlemeleri paylaşmanın tüm sektörümüze fayda sağlayacağını bildiğimiz için bunların bir kısmını açık kaynak olarak sunuyoruz. Bu nedenle, açık kaynaklı güvenlik araçlarını teşvik ederek dijital güvenlikteki önemli alanları ele almaya adanmış yeni bir kar amacı gütmeyen kuruluş olan ROOST'a kurucu ortak olarak katıldık.

Dünya çapında platformumuzda her gün gerçekleşen içerik ve etkileşim hacmini yönetirken, yapay zeka kullanıcıların güvenliğini sağlamak için vazgeçilmez bir unsurdur. Geliştirdiğimiz modellerin ihtiyaçlarımızı karşılamaya yardımcı olduğuna eminiz. Örneğin, 2024'ün dördüncü çeyreğinde Roblox kullanıcıları 300 milyar adet içerik yükledi. Bu milyarlarca video, ses, metin, sesli sohbet, avatar ve 3D deneyimin sadece %0,01'i politikalarımızı ihlal ettiği tespit edildi. Ve bu politika ihlali içeren içeriğin neredeyse tamamı, kullanıcılar tarafından görülmeden önce otomatik olarak önceden taranarak kaldırıldı.  

Ses güvenliği sınıflandırıcımızın açık kaynak sürümünü, daha doğru hale getirmek ve daha fazla dilde içerik denetimi yapabilmemiz için güncelledik. Yeni model:

• Çok dilli verilerle eğitilmesi sayesinde İspanyolca, Almanca, Fransızca, Portekizce, İtalyanca, Korece ve Japonca olmak üzere yedi yeni dilde ihlalleri tespit ediyor.
• Genel geri çağırma oranı %59,1'e yükseldi; bu, önceki sürümdeki %30,9'luk geri çağırma oranına göre %92'lik bir artış anlamına geliyor ve yanlış pozitif oranları da düşük.
• Büyük ölçekte hizmet verecek şekilde optimize edilmiştir ve en yoğun anlarda saniyede 8.300'e kadar istek (bunların çoğu ihlal içermez) işleyebilir.

İlk modelin piyasaya sürülmesinden bu yana, ABD'deki kullanıcılar arasında konuşma saati başına kötüye kullanım bildirim oranlarında %50'den fazla bir azalma gördük. Ayrıca, insan moderatörlerden daha doğru bir şekilde günde milyonlarca dakikalık sesli sohbeti denetlememize yardımcı oldu. Güvenlik sistemlerimizi geliştirmeye hiç ara vermiyoruz ve açık kaynak sürümünü de güncellemeye devam edeceğiz.

Verimli Çok Dilli Ses Güvenliği Sınıflandırıcısı

İlk açık kaynaklı ses güvenliği sınıflandırıcımız, makine tarafından etiketlenmiş İngilizce sesli sohbet ses örnekleriyle ince ayarlanmış bir WavLM base+ modeline dayanıyordu. Bu uçtan uca mimarinin cesaret verici sonuçları, özelleştirilmiş bir mimariyle daha ileri deneylere yol açtı. Modelin karmaşıklığını ve doğruluğunu optimize etmek için bilgi damıtma kullandık; bu, büyük ölçekli çıkarım hizmetleri için caziptir. Yeni sınıflandırıcımız bu temel yapı taşlarını kullanıyor ve veri kullanımı ile mimari iyileştirmeleri konusunda çalışmaları genişletiyor ve ölçeğini artırıyor.

Çok dilli verilerle eğitilen tek sınıflandırıcı modelimiz, desteklediğimiz en iyi sekiz dilden herhangi birinde sorunsuz bir şekilde çalışabilir. Ayrıca, eğitimdeki iyileştirmelerimiz sayesinde model, tipik bir çıkarım senaryosunda ilk versiyona göre hem daha doğru hem de %20 ila %30 daha hızlı çalışmaktadır.

Yeni ses güvenliği sınıflandırıcısı hala WavLM mimarisine dayanmaktadır, ancak katman yapılandırması önceki sürümden ve WavLM önceden eğitilmiş modellerinden farklıdır. Özellikle, dönüştürücü katmanlarının iç zaman çözünürlüğünü azaltmak için ek bir evrişimli katman ekledik. Toplamda, yeni model mimarimiz 120,2 milyon parametreye sahiptir; bu, önceki sürümdeki 94,6 milyona kıyasla %27'lik bir artışa tekabül eder. Bu artışa rağmen, yeni model 4 ila 15 saniyelik giriş segmentleriyle kullanıldığında %20 ila %30 daha az hesaplama süresi tüketir. Bu, modelin giriş sinyalini eskisinden daha kısa bir temsile sıkıştırması sayesinde mümkündür.

Çeşitli Etiketleme Stratejilerinden Yararlanma

Uçtan uca bir modelin denetimli eğitimi, özenle seçilmiş ses ve sınıf etiket çiftlerini gerektirir. Etiketli verilerin istikrarlı bir akışını sağlayan veri boru hattımızda önemli iyileştirmeler yaptık. Eğitim materyalinin temeli, desteklenen dilleri içeren 100.000 saatten fazla konuşmadan oluşan, makine tarafından etiketlenmiş büyük bir veri setidir. Konuşmaları otomatik olarak transkribe ettik ve istenen politika ve toksisite kategorilerini paylaşan şirket içi metin tabanlı toksisite sınıflandırıcımızdan geçirdik. Veri toplama, sınır durumlarını ve daha az yaygın politika ihlallerini daha iyi yakalamak için, zararsız konuşmalara göre küfürlü içeriği daha yüksek bir olasılıkla örneklemektedir.

Konuşma transkriptlerine ve metin tabanlı sınıflandırmaya dayalı etiketler, sesli sohbet içeriğinde gözlemlenen nüansları tam olarak yakalayamaz. Bu nedenle, önceki eğitim aşamasından itibaren modeli ince ayarlamak için insan tarafından etiketlenmiş verileri kullandık. Sınıflandırma görevi aynı olsa da, ikinci eğitim aşaması karar sınırlarını iyileştirmeye ve sesli sohbete özgü ifadelere duyarlılığı artırmaya yardımcı olur. Bu, değerli insan tarafından etiketlenmiş örneklerden en fazla faydayı sağlamamıza yardımcı olan bir tür müfredat öğrenmesidir.

Uçtan uca model eğitiminin bir zorluğu, etiketleme politikası zamanla değişirse hedef etiketlerin geçerliliğini yitirebilmesidir. Bu nedenle, kabul edilebilir ses politikamızı iyileştirirken, eski etiketleme standartlarını kullanan veriler için özel bir işlem yapmamız gerekir. Bunun için, modelin mevcut sesli sohbet politikasına uymayan veri kümelerinden öğrenmesini sağlayan çok görevli bir yaklaşım kullandık. Bu, eski politika için ayrı bir sınıflandırma başlığı ayırmayı içerir ve model gövdesinin, hedef etiketleri veya birincil başlığı etkilemeden eski veri kümesinden öğrenmesini sağlar.

Daha Kolay Dağıtım için Kalibre Edilmiş Model

Sınıflandırma modelini kullanmak, çalışma noktasını belirlemeyi ve sınıflandırıcının hassasiyetini görev gereksinimlerine göre ayarlamayı gerektirir. Model dağıtımını kolaylaştırmak için, sesli sohbet denetimine göre ayarlanmış model çıktılarını kalibre ettik. Ayrılmış bir veri setinden parça parça doğrusal dönüşümler tahmin ettik ve bunu her çıktı başlığı ve desteklenen dil için ayrı ayrı yaptık. Bu dönüşümler, model damıtma sırasında uygulandı ve bu da nihai modelin yerel olarak kalibre edilmesini sağladı. Bu, çıkarım sırasında sonradan işleme ihtiyacını ortadan kaldırdı.

Bu yeni açık kaynaklı modeli toplulukla paylaşmaktan heyecan duyuyoruz ve gelecekteki güncellemeleri de hazır oldukça paylaşmayı sabırsızlıkla bekliyoruz.