Artificial Intelligence
SmoothCache：一種適用於擴散變換器的通用推論加速技術
Author
Venue
CVPR eLVM 研討會 2025
Abstract
擴散變換器（DiT）已成為多種任務（包括圖像、影片及語音合成）中強大的生成式模型。然而，由於需反覆評估資源密集型的注意力機制與前饋模組，其推論過程仍需耗費大量運算資源。為解決此問題，我們提出 SmoothCache，這是一種適用於 DiT 架構的、與模型無關的推論加速技術。SmoothCache 利用相鄰擴散時間步間各層輸出之間的高相似性。 透過分析來自小型校準資料集的各層表徵誤差，SmoothCache 能在推論過程中自適應地快取並重複利用關鍵特徵。 實驗結果顯示，SmoothCache 在維持甚至提升多模態生成品質的同時，能實現 8% 至 71% 的加速效果。我們透過 DiT-XL（圖像生成）、Open-Sora（文字轉影片）及 Stable Audio Open（文字轉音訊）等模型展示其效能，凸顯其推動即時應用及擴大強大 DiT 模型普及性的潛力。
