Data Science
Artificial Intelligence
CPU上で1日10億件以上のリクエストに対応するためにBertをどのようにスケールアップしたか
Author
Venue
Data + AI Summit 2021
Abstract
機械学習は、膨大なコミュニティに向けて重要なサービスをスケールさせる上で不可欠な要素です。本講演では、ディープラーニングを用いたテキスト分類システムをスケールさせ、1秒あたり5万件以上のリクエストを20ミリ秒未満のレイテンシで処理できるようにした取り組みについてご紹介します。BERTをユーザーにとって十分な速度で動作させるだけでなく、CPU上で管理可能なコストで本番環境を運用できるほど経済的なシステムを実現した手法についても解説します。
