Data Science
Artificial Intelligence
Bert'i CPU üzerinde günlük 1 milyardan fazla isteği karşılayacak şekilde nasıl ölçeklendirdik
Author
Venue
Veri + Yapay Zeka Zirvesi 2021
Abstract
Makine öğrenimi, önemli hizmetleri geniş topluluğumuza ölçeklendirebilmemizin temel bir parçasıdır. Bu konuşmada, derin öğrenme metin sınıflandırıcılarımızı saniyede 50.000'den fazla isteği 20 milisaniyenin altında gecikme süresiyle işleyecek şekilde ölçeklendirme yolculuğumuzu paylaşacağız. BERT'i kullanıcılarımız için yeterince hızlı hale getirmekle kalmayıp, aynı zamanda CPU üzerinde yönetilebilir bir maliyetle üretim ortamında çalıştırılabilecek kadar ekonomik hale getirmeyi nasıl başardığımızı paylaşacağız.
