Artificial Intelligence
目录原生大语言模型：采用低纠缠的“项目ID方言”进行推荐
Author
Venue
ICLR 2026
Abstract
尽管协同过滤技术具备预测准确性和高效性，而大型语言模型（LLMs）能够实现富有表现力且具有泛化能力的推理，但现代推荐系统必须将这两者的优势结合起来。用户期望的不断提升，例如自然语言查询和透明的解释，进一步凸显了统一方法的必要性。然而，实现这一目标并非易事。 协同过滤信号通常在词元效率上表现优异，但在语义上却不透明；而LLMs虽语义丰富，但在仅基于文本输入训练时，难以建模隐含的用户偏好。本文提出“项目ID + 自然语言专家混合语言模型”（IDIOMoE），该模型将项目交互历史视为语言空间中的原生方言，从而使协同信号能够像自然语言一样被理解。 通过将预训练大语言模型（LLM）中每个模块的前馈网络拆分为独立的文本专家和商品专家，并采用基于令牌类型的门控机制，我们的方法避免了文本与商品模态之间的破坏性干扰。IDIOMoE在公开数据集和专有数据集上均展现出强大的推荐性能，同时保留了预训练模型对文本的理解能力。
