Data Science
Artificial Intelligence
CPU 환경에서 일일 10억 건 이상의 요청을 처리하기 위해 BERT를 확장한 방법
Author
Venue
데이터 + AI 서밋 2021
Abstract
머신러닝은 방대한 커뮤니티에 중요한 서비스를 확장하는 데 있어 핵심적인 요소입니다. 이번 발표에서는 딥러닝 텍스트 분류기를 확장하여 초당 5만 건 이상의 요청을 20ms 미만의 지연 시간으로 처리하게 된 과정을 소개합니다. 또한 BERT를 사용자에게 충분히 빠르게 제공할 뿐만 아니라, CPU에서 관리 가능한 비용으로 프로덕션 환경에서 운영할 수 있을 만큼 경제적으로 구현한 방법을 공유하겠습니다.
