เปิดตัวภาษาเพิ่มเติมสำหรับโมเดลความปลอดภัยเสียงแบบโอเพนซอร์สของเรา

• เรากำลังอัปเดตตัวจำแนกความปลอดภัยเสียงแบบโอเพนซอร์สของเราโดยการเพิ่มพารามิเตอร์จาก 94.6 ล้านเป็น 120.2 ล้าน และขยายให้ครอบคลุมอีกเจ็ดภาษา
• ตั้งแต่เวอร์ชันแรกของตัวจำแนก เราได้เพิ่มความแม่นยำเป็นอัตราการเรียกคืน 59.1% บนข้อมูลการสนทนาด้วยเสียงภาษาอังกฤษ โดยมีอัตราความผิดพลาดบวก (false-positive) อยู่ที่ 1% ซึ่งเป็นการปรับปรุงเพิ่มขึ้น 92% เมื่อเทียบกับการเรียกคืน 30.9% ในเวอร์ชันก่อนหน้า

การส่งเสริมความปลอดภัยและความมีน้ำใจต่อกันเป็นสิ่งที่เราให้ความสำคัญเป็นอันดับแรกในทุกสิ่งที่เราทำที่ Roblox ตลอดเกือบสองทศวรรษที่ผ่านมา เราได้ทุ่มเทสร้างระบบความปลอดภัยที่แข็งแกร่ง และเรากำลังพัฒนาและปรับปรุงระบบเหล่านี้อย่างต่อเนื่องเพื่อให้ทันกับเทคโนโลยีใหม่ ๆ ที่เกิดขึ้น ในปี 2024 เราได้ส่งมอบการปรับปรุงความปลอดภัยมากกว่า 40 อย่าง รวมถึงการปรับปรุงระบบควบคุมของผู้ปกครอง ซึ่งเราได้ทำการอัปเดตอีกครั้งในวันนี้ เราได้เปิดตัวหนึ่งในระบบจำแนกเสียงเพื่อความปลอดภัยแบบโอเพนซอร์สตัวแรกในอุตสาหกรรม ซึ่งได้รับการดาวน์โหลดมากกว่า 23,000 ครั้งแล้ว วันนี้เราได้ปล่อยเวอร์ชันอัปเดตซึ่งมีความแม่นยำมากขึ้นและสามารถทำงานได้ในหลายภาษา

ระบบความปลอดภัยหลายระบบที่ช่วยปกป้องผู้ใช้ของเรา รวมถึงตัวจำแนกประเภทนี้ ได้รับการขับเคลื่อนโดยแบบจำลอง AI เราเปิดเผยโค้ดบางส่วนของระบบเหล่านี้เป็นโอเพนซอร์ส เพราะเราทราบดีว่าการแบ่งปันความก้าวหน้าด้านความปลอดภัยของ AI จะเป็นประโยชน์ต่อทั้งอุตสาหกรรมของเรา นั่นจึงเป็นเหตุผลที่เราได้เข้าร่วมกับ ROOST ซึ่งเป็นองค์กรไม่แสวงหากำไรแห่งใหม่ที่มุ่งเน้นการแก้ไขประเด็นสำคัญด้านความปลอดภัยดิจิทัลผ่านการส่งเสริมเครื่องมือความปลอดภัยแบบโอเพนซอร์ส ในฐานะพันธมิตรผู้ก่อตั้ง

เมื่อต้องจัดการปริมาณเนื้อหาและการโต้ตอบที่เกิดขึ้นบนแพลตฟอร์มของเราทุกวันทั่วโลก AI เป็นองค์ประกอบสำคัญในการรักษาความปลอดภัยให้กับผู้ใช้ เรามั่นใจว่ารูปแบบที่เราสร้างขึ้นกำลังช่วยสนับสนุนความต้องการของเราได้ ตัวอย่างเช่น ในไตรมาสที่สี่ของปี 2024 ผู้ใช้ Roblox ได้อัปโหลดเนื้อหาจำนวน 300 พันล้านชิ้น เพียง 0.01% ของวิดีโอ, เสียง, ข้อความ, แชทเสียง, อวตาร, และประสบการณ์ 3D จำนวนหลายพันล้านรายการที่ถูกตรวจพบว่ามีนโยบายของเราถูกฝ่าฝืน และเกือบทั้งหมดของเนื้อหาที่ฝ่าฝืนนโยบายนี้ถูกคัดกรองและลบออกโดยอัตโนมัติก่อนที่ผู้ใช้จะได้เห็นมัน  

เราได้อัปเดตเวอร์ชันโอเพนซอร์สของตัวจำแนกความปลอดภัยเสียงของเราเพื่อให้มีความแม่นยำมากขึ้น และช่วยให้เราสามารถตรวจสอบเนื้อหาในหลายภาษาได้มากขึ้น โมเดลใหม่:

• ตรวจจับการละเมิดในอีกเจ็ดภาษา ได้แก่ สเปน เยอรมัน ฝรั่งเศส โปรตุเกส อิตาลี เกาหลี และญี่ปุ่น ด้วยการฝึกฝนบนข้อมูลหลายภาษา
• มีอัตราการเรียกคืนโดยรวมเพิ่มขึ้น 59.1% ซึ่งเป็นการปรับปรุงเพิ่มขึ้น 92% จากอัตราการเรียกคืน 30.9% ในรุ่นก่อนหน้า โดยมีอัตราการตรวจพบผิดพลาดต่ำ
• ได้รับการปรับให้เหมาะสมเพื่อให้บริการในระดับขนาดใหญ่ โดยสามารถรองรับคำขอได้สูงสุดถึง 8,300 คำขอ (ซึ่งส่วนใหญ่ไม่มีความผิดพลาด) ต่อวินาทีในช่วงเวลาที่มีการใช้งานสูงสุด

ตั้งแต่การเปิดตัวรุ่นแรก เราได้เห็นการลดลงของอัตราการรายงานการละเมิดจากผู้ใช้ในสหรัฐอเมริกาเกินกว่า 50% ต่อชั่วโมงของเสียงที่ใช้งาน นอกจากนี้ยังช่วยให้เราสามารถตรวจสอบการสนทนาด้วยเสียงหลายล้านนาทีต่อวันได้อย่างแม่นยำมากกว่าผู้ตรวจสอบที่เป็นมนุษย์ เราไม่เคยหยุดพัฒนาความปลอดภัยของเราและจะยังคงอัปเดตเวอร์ชันโอเพนซอร์สต่อไปเช่นกัน

ตัวจำแนกเสียงเพื่อความปลอดภัยหลายภาษาที่มีประสิทธิภาพ

ตัวจำแนกเสียงเพื่อความปลอดภัยแบบโอเพนซอร์สเริ่มต้นของเราพัฒนาขึ้นบนโมเดล WavLM base+ ที่ได้รับการปรับแต่งเพิ่มเติมด้วยตัวอย่างเสียงสนทนาภาษาอังกฤษซึ่งได้รับการติดป้ายกำกับโดยเครื่อง ผลลัพธ์ที่น่าพอใจจากสถาปัตยกรรมแบบครบวงจรนี้ได้นำไปสู่การทดลองเพิ่มเติมด้วยสถาปัตยกรรมที่ปรับแต่งเฉพาะ เราใช้เทคนิคการกลั่นความรู้เพื่อเพิ่มประสิทธิภาพความซับซ้อนและความแม่นยำของโมเดล ซึ่งเหมาะสำหรับการให้บริการการอนุมานขนาดใหญ่ ตัวจำแนกประเภทใหม่ของเราใช้โครงสร้างพื้นฐานเหล่านี้เป็นรากฐาน และขยายขอบเขตการทำงานในด้านการใช้งานข้อมูลและการปรับปรุงสถาปัตยกรรมให้ครอบคลุมยิ่งขึ้น

ด้วยการฝึกอบรมบนข้อมูลหลายภาษา โมเดลจำแนกประเภทเดียวของเราสามารถทำงานได้อย่างราบรื่นกับภาษาที่รองรับสูงสุดแปดภาษาของเรา และด้วยการปรับปรุงการฝึกอบรมของเรา ทำให้โมเดลมีความแม่นยำมากขึ้นและทำงานได้เร็วขึ้น 20% ถึง 30% ในสถานการณ์การอนุมานทั่วไปเมื่อเทียบกับเวอร์ชันแรก

ตัวจำแนกเสียงเพื่อความปลอดภัยรุ่นใหม่ยังคงใช้สถาปัตยกรรม WavLM เป็นพื้นฐาน แต่การกำหนดค่าของเลเยอร์ได้เปลี่ยนแปลงไปจากรุ่นก่อนหน้าและจากโมเดล WavLM ที่ผ่านการฝึกมาแล้ว โดยเฉพาะอย่างยิ่ง เราได้เพิ่มเลเยอร์คอนโวลูชัน (convolutional layer) เข้าไปอีกหนึ่งเลเยอร์เพื่อลดความละเอียดของเวลาภายในของเลเยอร์ทรานส์ฟอร์มเมอร์ โดยรวมแล้ว สถาปัตยกรรมโมเดลใหม่ของเรามีพารามิเตอร์ทั้งหมด 120.2 ล้านพารามิเตอร์ เพิ่มขึ้น 27% เมื่อเทียบกับ 94.6 ล้านพารามิเตอร์ในเวอร์ชันก่อนหน้า แม้จะมีการเพิ่มขึ้นนี้ แต่โมเดลใหม่ใช้เวลาน้อยลง 20% ถึง 30% เมื่อใช้กับข้อมูลอินพุตที่มีความยาว 4 ถึง 15 วินาที สิ่งนี้เป็นไปได้เพราะโมเดลบีบอัดสัญญาณอินพุตให้อยู่ในรูปแบบที่สั้นกว่าเดิม

การใช้กลยุทธ์การติดฉลากที่หลากหลาย

การฝึกอบรมแบบมีผู้ควบคุมสำหรับโมเดลครบวงจรจำเป็นต้องใช้คู่ข้อมูลเสียงและป้ายกำกับประเภทข้อมูลที่ได้รับการคัดสรรอย่างดี เราได้ปรับปรุงกระบวนการจัดการข้อมูลอย่างมีนัยสำคัญ เพื่อให้มั่นใจว่ามีข้อมูลที่มีป้ายกำกับอย่างสม่ำเสมอ วัสดุพื้นฐานสำหรับการฝึกอบรมคือชุดข้อมูลขนาดใหญ่ที่ได้รับการป้ายกำกับโดยเครื่องจักร ซึ่งประกอบด้วยข้อมูลเสียงมากกว่า 100,000 ชั่วโมงในภาษาที่รองรับ เราได้ทำการถอดเสียงคำพูดโดยอัตโนมัติและนำเข้าสู่ระบบจำแนกเนื้อหาที่เป็นพิษซึ่งพัฒนาขึ้นภายในองค์กรของเรา โดยระบบดังกล่าวใช้เกณฑ์นโยบายและหมวดหมู่เนื้อหาที่เป็นพิษเดียวกันกับที่ต้องการ ข้อมูลที่เก็บรวบรวมจะเน้นตัวอย่างเนื้อหาที่มีลักษณะล่วงละเมิดซึ่งมีโอกาสเกิดขึ้นสูงกว่าคำพูดทั่วไป เพื่อให้สามารถครอบคลุมกรณีขอบเขตและกรณีละเมิดนโยบายที่พบไม่บ่อยได้ดียิ่งขึ้น

ป้ายกำกับที่อิงตามการถอดเสียงและการจำแนกประเภทจากข้อความไม่สามารถจับความละเอียดอ่อนที่สังเกตได้ในเนื้อหาการแชทด้วยเสียงได้อย่างเต็มที่ ดังนั้นเราจึงใช้ข้อมูลที่มีป้ายกำกับโดยมนุษย์เพื่อปรับแต่งโมเดลจากขั้นตอนการฝึกอบรมก่อนหน้านี้ แม้ว่างานจำแนกประเภทจะเหมือนกัน แต่ขั้นตอนการฝึกอบรมในภายหลังจะช่วยปรับปรุงขอบเขตการตัดสินใจและเน้นการตอบสนองต่อลักษณะเฉพาะของการแชทด้วยเสียง นี่เป็นรูปแบบหนึ่งของการเรียนรู้ตามหลักสูตรที่ช่วยให้เราได้รับประโยชน์สูงสุดจากตัวอย่างที่มีป้ายกำกับโดยมนุษย์ที่มีคุณค่า

หนึ่งในความท้าทายของการฝึกอบรมโมเดลแบบครบวงจรคือป้ายกำกับเป้าหมายอาจล้าสมัยได้หากนโยบายการติดป้ายกำกับมีการเปลี่ยนแปลงไปตามกาลเวลา ดังนั้นเมื่อเราปรับปรุงนโยบายเสียงที่ยอมรับได้ของเรา เราจำเป็นต้องมีการจัดการพิเศษสำหรับข้อมูลที่ใช้มาตรฐานการติดป้ายกำกับเก่า สำหรับสิ่งนี้ เราได้ใช้วิธีการหลายภารกิจที่ช่วยให้แบบจำลองสามารถเรียนรู้จากชุดข้อมูลที่ไม่ตรงกับนโยบายการแชทเสียงปัจจุบันได้ ซึ่งเกี่ยวข้องกับการจัดสรรหัวการจำแนกประเภทแยกต่างหากสำหรับนโยบายเก่า ช่วยให้ลำตัวแบบจำลองสามารถเรียนรู้จากชุดข้อมูลเก่าได้โดยไม่กระทบต่อป้ายกำกับเป้าหมายหรือหัวหลัก

แบบจำลองที่ปรับเทียบแล้วเพื่อการนำไปใช้ที่ง่ายขึ้น

การใช้แบบจำลองการจำแนกประเภทจำเป็นต้องตัดสินใจเลือกจุดปฏิบัติการและปรับความไวของตัวจำแนกให้เหมาะสมตามข้อกำหนดของงาน เพื่ออำนวยความสะดวกในการปรับใช้แบบจำลองได้ง่ายขึ้น เราได้ทำการปรับเทียบผลลัพธ์ของแบบจำลองให้เหมาะสมสำหรับการกลั่นกรองการสนทนาด้วยเสียง เราประมาณการการเปลี่ยนแปลงเชิงเส้นแบบแบ่งส่วนจากชุดข้อมูลที่แยกไว้ โดยทำแยกกันสำหรับแต่ละหัวผลลัพธ์และภาษาที่รองรับ การเปลี่ยนแปลงเหล่านี้ถูกนำไปใช้ในระหว่างการกลั่นแบบจำลอง ซึ่งทำให้มั่นใจได้ว่าแบบจำลองสุดท้ายได้รับการปรับเทียบโดยธรรมชาติ ซึ่งขจัดความจำเป็นในการประมวลผลหลังในระหว่างการอนุมาน

เรารู้สึกตื่นเต้นที่จะได้แบ่งปันโมเดลโอเพนซอร์สใหม่นี้กับชุมชน และหวังว่าจะได้แบ่งปันการอัปเดตในอนาคตเมื่อเรามี