Data Science
Artificial Intelligence
हमने CPU पर 1+ अरब दैनिक अनुरोधों को पूरा करने के लिए बर्ट को कैसे स्केल किया
Author
Venue
डेटा + एआई समिट 2021
Abstract
मशीन लर्निंग हमारे विशाल समुदाय के लिए महत्वपूर्ण सेवाओं को स्केल करने की हमारी क्षमता का एक प्रमुख हिस्सा है। इस टॉक में, हम अपने डीप लर्निंग टेक्स्ट क्लासिफायरों को 20ms से कम लेटेंसी पर प्रति सेकंड 50k+ अनुरोधों को प्रोसेस करने के लिए स्केल करने की अपनी यात्रा साझा कर रहे हैं। हम साझा करेंगे कि कैसे हम न केवल अपने उपयोगकर्ताओं के लिए BERT को पर्याप्त तेज़ बनाने में सक्षम हुए, बल्कि इसे CPU पर प्रबंधनीय लागत पर प्रोडक्शन में चलाने के लिए पर्याप्त किफायती भी बनाया।
