Katalogowy model LLM: Mówienie w dialekcie identyfikatorów elementów z mniejszym stopniem splątania w celu rekomendacji
Author
Venue
ICLR 2026
Abstract
Chociaż filtrowanie oparte na współpracy zapewnia dokładność i wydajność prognozowania, a duże modele językowe (LLM) umożliwiają ekspresyjne i uogólnialne wnioskowanie, nowoczesne systemy rekomendacji muszą łączyć te mocne strony. Rosnące oczekiwania użytkowników, takie jak zapytania w języku naturalnym i przejrzyste wyjaśnienia, dodatkowo podkreślają potrzebę ujednoliconego podejścia. Jednak nie jest to łatwe. Sygnały oparte na współpracy są często wydajne pod względem tokenów, ale niejasne semantycznie, podczas gdy LLM są bogate semantycznie, ale mają trudności z modelowaniem ukrytych preferencji użytkowników, gdy są szkolone wyłącznie na danych tekstowych. W niniejszym artykule przedstawiono model IDIOMoE (Item-ID + Natural-language Mixture-of-Experts Language Model), który traktuje historię interakcji z elementami jako natywny dialekt w przestrzeni językowej, umożliwiając rozumienie sygnałów opartych na współpracy w taki sam sposób, jak języka naturalnego. Dzięki podziałowi sieci typu feed-forward każdego bloku wstępnie wytrenowanego modelu LLM na oddzielnego eksperta tekstowego i eksperta produktowego z bramkowaniem typu tokenowego, nasza metoda pozwala uniknąć destrukcyjnych zakłóceń między modalnościami tekstowymi i katalogowymi. Model IDIOMoE wykazuje wysoką skuteczność rekomendacji zarówno w publicznych, jak i zastrzeżonych zbiorach danych, zachowując jednocześnie zdolność rozumienia tekstu przez wstępnie wytrenowany model.
