Data Science
Artificial Intelligence
我们如何将Bert扩展以在CPU上处理每日超过10亿次请求
Author
Venue
2021年数据与人工智能峰会
Abstract
机器学习是我们向庞大用户群体扩展关键服务能力的核心组成部分。在本演讲中，我们将分享我们如何将深度学习文本分类器扩展至每秒处理 5 万余次请求，同时将延迟控制在 20 毫秒以内。我们将阐述如何不仅让 BERT 具备满足用户需求的运行速度，还使其在 CPU 上以可控成本投入生产环境，实现经济高效运行。
