Data Science
Artificial Intelligence
CPUపై రోజుకు 1+ బిలియన్ అభ్యర్థనలను సేవించడానికి మేము బెర్ట్ను ఎలా స్కేల్ చేసాము
Author
Venue
డేటా + AI సమ్మిట్ 2021
Abstract
మా భారీ సమాజంలో ముఖ్యమైన సేవలను విస్తరించే మా సామర్థ్యంలో మెషిన్ లెర్నింగ్ ఒక కీలక భాగం. ఈ ప్రసంగంలో, మా డీప్ లెర్నింగ్ టెక్స్ట్ క్లాసిఫైయర్లను సెకనుకు 50k+ అభ్యర్థనలను 20ms కంటే తక్కువ లేటెన్సీతో ప్రాసెస్ చేసేలా విస్తరించిన మా ప్రయాణాన్ని పంచుకుంటాము. మా వినియోగదారుల కోసం BERTను తగినంత వేగంగా చేయడమే కాకుండా, CPUపై నిర్వహించదగిన ఖర్చుతో ప్రొడక్షన్లో నడపడానికి కూడా ఎలా తగినంత పొదుపుగా మార్చగలిగామో పంచుకుంటాము.
