Katalog-native LLM: Ein Item-ID-Dialekt mit geringerer Verflechtung für Empfehlungen
Author
Venue
ICLR 2026
Abstract
Während kollaboratives Filtern Vorhersagegenauigkeit und Effizienz bietet und große Sprachmodelle (LLMs) ausdrucksstarkes und verallgemeinerbares Schlussfolgern ermöglichen, müssen moderne Empfehlungssysteme diese Stärken vereinen. Wachsende Nutzererwartungen, wie beispielsweise Abfragen in natürlicher Sprache und transparente Erklärungen, unterstreichen die Notwendigkeit eines einheitlichen Ansatzes zusätzlich. Dies ist jedoch keine triviale Aufgabe. Kollaborative Signale sind oft token-effizient, aber semantisch undurchsichtig, während LLMs zwar semantisch reichhaltig sind, aber Schwierigkeiten haben, implizite Nutzerpräferenzen zu modellieren, wenn sie nur auf textuelle Eingaben trainiert werden. Dieser Artikel stellt das Item-ID + Natural-language Mixture-of-Experts Language Model (IDIOMoE) vor, das die Interaktionshistorien von Artikeln als einen nativen Dialekt innerhalb des Sprachraums behandelt und es ermöglicht, kollaborative Signale auf die gleiche Weise zu verstehen wie natürliche Sprache. Durch die Aufteilung des Feed-Forward-Netzwerks jedes Blocks eines vortrainierten LLM in einen separaten Text-Experten und einen Artikel-Experten mit Token-Typ-Gating vermeidet unsere Methode destruktive Interferenzen zwischen Text- und Katalogmodalitäten. IDIOMoE zeigt eine starke Empfehlungsleistung sowohl bei öffentlichen als auch bei proprietären Datensätzen und bewahrt gleichzeitig das Textverständnis des vortrainierten Modells.
