Catalog-Native LLM: Sử dụng ID mục để giao tiếp với ít sự rối rắm hơn cho việc đề xuất
Author
Venue
ICLR 2026
Abstract
Mặc dù lọc cộng tác mang lại độ chính xác và hiệu quả dự đoán, và các Mô hình Ngôn ngữ Lớn (LLMs) cho phép suy luận biểu cảm và có khả năng tổng quát hóa, các hệ thống đề xuất hiện đại phải kết hợp những thế mạnh này lại với nhau. Những kỳ vọng ngày càng cao của người dùng, chẳng hạn như các truy vấn bằng ngôn ngữ tự nhiên và các giải thích minh bạch, càng nhấn mạnh sự cần thiết của một phương pháp tiếp cận thống nhất. Tuy nhiên, việc thực hiện điều này không hề đơn giản. Các tín hiệu hợp tác thường hiệu quả về mặt token nhưng thiếu minh bạch về mặt ngữ nghĩa, trong khi LLMs giàu ngữ nghĩa nhưng gặp khó khăn trong việc mô hình hóa sở thích ngầm của người dùng khi chỉ được đào tạo trên dữ liệu văn bản. Bài báo này giới thiệu mô hình Item-ID + Natural-language Mixture-of-Experts Language Model (IDIOMoE), coi lịch sử tương tác với mục hàng như một phương ngữ bản địa trong không gian ngôn ngữ, cho phép các tín hiệu hợp tác được hiểu theo cách tương tự như ngôn ngữ tự nhiên. Bằng cách chia mạng truyền thẳng (Feed Forward Network) của mỗi khối trong mô hình ngôn ngữ lớn (LLM) đã được huấn luyện trước thành một chuyên gia văn bản và một chuyên gia mục riêng biệt với cơ chế gating dựa trên loại token, phương pháp của chúng tôi tránh được sự can thiệp tiêu cực giữa các mô-đun văn bản và danh mục. IDIOMoE thể hiện hiệu suất đề xuất mạnh mẽ trên cả các bộ dữ liệu công khai và độc quyền, đồng thời duy trì khả năng hiểu văn bản của mô hình đã được huấn luyện trước.
