Data Science
Artificial Intelligence
CPU वर दररोज 1 अब्जाहून अधिक विनंत्या पूर्ण करण्यासाठी आम्ही बर्टचे प्रमाण कसे वाढवले
Author
Venue
डेटा + एआय समिट २०२१
Abstract
मशीन लर्निंग हे आमच्या प्रचंड समुदायासाठी महत्त्वाच्या सेवांना स्केल करण्याच्या क्षमतेचा एक मुख्य भाग आहे. या टॉकमध्ये, आम्ही आमच्या डीप लर्निंग टेक्स्ट वर्गीकरण प्रणालीचे स्केलिंग करून प्रति सेकंद 50 हजाराहून अधिक विनंत्या 20 मिलीसेकंदांपेक्षा कमी विलंबात प्रक्रिया करण्याच्या प्रवासाची माहिती देणार आहोत. आम्ही कसे BERT केवळ आमच्या वापरकर्त्यांसाठी पुरेसे वेगवान बनवले नाही, तर CPU वर व्यवस्थापनक्षम खर्चात उत्पादनात चालवण्यासाठीही आर्थिकदृष्ट्या परवडणारे केले, हेही आम्ही सांगणार आहोत.
