Catalog-Native LLM : un modèle de dialogue avec moins d'enchevêtrements pour la recommandation
Author
Venue
ICLR 2026
Abstract
Si le filtrage collaboratif offre précision prédictive et efficacité, et si les grands modèles linguistiques (LLM) permettent un raisonnement expressif et généralisable, les systèmes de recommandation modernes doivent combiner ces atouts. Les attentes croissantes des utilisateurs, telles que les requêtes en langage naturel et les explications transparentes, soulignent encore davantage la nécessité d’une approche unifiée. Cependant, cela n’est pas une mince affaire. Les signaux collaboratifs sont souvent efficaces en termes de tokens mais opaques sur le plan sémantique, tandis que les LLM sont riches sur le plan sémantique mais peinent à modéliser les préférences implicites des utilisateurs lorsqu'ils sont entraînés uniquement sur des entrées textuelles. Cet article présente le modèle IDIOMoE (Item-ID + Natural-language Mixture-of-Experts Language Model), qui traite les historiques d'interaction avec les éléments comme un dialecte natif au sein de l'espace linguistique, permettant ainsi de comprendre les signaux collaboratifs de la même manière que le langage naturel. En scindant le réseau de projection directe de chaque bloc d'un LLM pré-entraîné en un expert textuel et un expert d'éléments distincts avec un filtrage par type de token, notre méthode évite les interférences destructrices entre les modalités textuelles et celles du catalogue. IDIOMoE démontre de solides performances de recommandation sur des ensembles de données tant publics que propriétaires, tout en préservant la compréhension textuelle du modèle pré-entraîné.
