Data Science
Artificial Intelligence
Come abbiamo scalato Bert per gestire oltre 1 miliardo di richieste giornaliere su CPU
Author
Venue
Data + AI Summit 2021
Abstract
L'apprendimento automatico è fondamentale per la nostra capacità di scalare servizi importanti per la nostra vasta comunità. In questo intervento, condividiamo il nostro percorso di scalabilità dei nostri classificatori di testo basati sul deep learning per elaborare oltre 50.000 richieste al secondo con latenze inferiori a 20 ms. Spiegheremo come siamo riusciti non solo a rendere BERT abbastanza veloce per i nostri utenti, ma anche abbastanza economico da poter essere eseguito in produzione a un costo gestibile in termini di CPU.
