Data Science
Artificial Intelligence
Bagaimana Kami Mengoptimalkan Bert untuk Melayani Lebih dari 1 Miliar Permintaan Harian di CPU
Author
Venue
Data + AI Summit 2021
Abstract
Pembelajaran mesin merupakan bagian penting dari kemampuan kami untuk menskalakan layanan penting bagi komunitas besar kami. Dalam presentasi ini, kami berbagi perjalanan kami dalam menskalakan klasifikasi teks berbasis deep learning untuk memproses lebih dari 50.000 permintaan per detik dengan latensi di bawah 20 milidetik. Kami akan menjelaskan bagaimana kami tidak hanya berhasil membuat BERT cukup cepat untuk pengguna kami, tetapi juga cukup efisien untuk dijalankan di lingkungan produksi dengan biaya yang terjangkau pada CPU.
