Data Science
Artificial Intelligence
วิธีที่เราขยายระบบ Bert ให้รองรับคำขอมากกว่า 1 พันล้านครั้งต่อวันบน CPU
Author
Venue
การประชุมสุดยอดข้อมูล + ปัญญาประดิษฐ์ 2021
Abstract
การเรียนรู้ของเครื่องเป็นส่วนสำคัญในการขยายบริการที่สำคัญของเราไปยังชุมชนขนาดใหญ่ของเรา ในการพูดคุยครั้งนี้ เราจะแบ่งปันการเดินทางของเราในการขยายตัวจำแนกข้อความด้วย deep learning ของเราให้สามารถประมวลผลคำขอได้มากกว่า 50,000 ครั้งต่อวินาที ด้วยเวลาแฝงต่ำกว่า 20 มิลลิวินาที เราจะแบ่งปันวิธีที่เราไม่เพียงแต่ทำให้ BERT รวดเร็วพอสำหรับผู้ใช้ของเรา แต่ยังประหยัดพอที่จะใช้งานในสภาพแวดล้อมการผลิตด้วยต้นทุนที่จัดการได้บน CPU
