Artificial Intelligence
SmoothCache：一种适用于扩散变压器的通用推理加速技术
Author
Venue
CVPR eLVM 研讨会 2025
Abstract
扩散变换器（DiT）已发展成为适用于图像、视频和语音合成等多种任务的强大生成模型。然而，由于需要反复评估资源密集型的注意力机制和前馈模块，其推理过程仍存在较高的计算开销。为解决这一问题，我们提出了一种适用于 DiT 架构的、与模型无关的推理加速技术——SmoothCache。SmoothCache 利用了相邻扩散时间步之间层输出之间的高相似性。 通过分析来自小型校准集的逐层表示误差，SmoothCache 能在推理过程中自适应地缓存并复用关键特征。 实验表明，SmoothCache 在保持甚至提升多种模态生成质量的同时，实现了 8% 至 71% 的加速效果。我们在图像生成的 DiT-XL、文本转视频的 Open-Sora 以及文本转音频的 Stable Audio Open 上展示了其有效性，突显了该技术在实现实时应用以及扩大强大 DiT 模型可及性方面的潜力。
