Catalog-Native LLM: การพูดภาษาถิ่นของรหัสไอเท็มด้วยการพันกันน้อยลงเพื่อการแนะนำ
Author
Venue
ICLR 2026
Abstract
ในขณะที่การกรองแบบร่วมมือกันให้ความแม่นยำในการทำนายและประสิทธิภาพ และแบบจำลองภาษาขนาดใหญ่ (LLMs) ช่วยให้สามารถให้เหตุผลที่แสดงออกได้และสามารถนำไปใช้ทั่วไปได้ ระบบแนะนำสมัยใหม่จำเป็นต้องนำจุดแข็งเหล่านี้มารวมกัน ความคาดหวังที่เพิ่มขึ้นของผู้ใช้ เช่น การค้นหาด้วยภาษาธรรมชาติและการอธิบายที่โปร่งใส ยิ่งเน้นย้ำถึงความจำเป็นในการใช้วิธีการที่เป็นหนึ่งเดียว อย่างไรก็ตาม การทำเช่นนี้ไม่ใช่เรื่องง่าย สัญญาณการทำงานร่วมกันมักมีประสิทธิภาพในการใช้โทเค็นแต่มีความคลุมเครือทางความหมาย ในขณะที่ LLM มีความหมายที่อุดมสมบูรณ์แต่มีปัญหาในการสร้างแบบจำลองความชอบของผู้ใช้โดยนัยเมื่อฝึกฝนด้วยข้อมูลอินพุตที่เป็นข้อความเท่านั้น บทความนี้นำเสนอแบบจำลองภาษาแบบผสมผสานผู้เชี่ยวชาญตามไอเท็ม-ID + ภาษาธรรมชาติ (IDIOMoE) ซึ่งปฏิบัติต่อประวัติการโต้ตอบของไอเท็มเป็นภาษาถิ่นภายในพื้นที่ภาษา ทำให้สัญญาณการทำงานร่วมกันสามารถเข้าใจได้ในลักษณะเดียวกับภาษาธรรมชาติ โดยการแยกเครือข่ายการส่งข้อมูลไปข้างหน้า (Feed Forward Network) ของแต่ละบล็อกใน LLM ที่ผ่านการฝึกฝนล่วงหน้าออกเป็นผู้เชี่ยวชาญด้านข้อความและผู้เชี่ยวชาญด้านรายการ โดยใช้การควบคุมด้วยประเภทโทเค็น วิธีการของเราหลีกเลี่ยงการรบกวนระหว่างโหมดข้อความและแคตตาล็อกได้อย่างมีประสิทธิภาพ IDIOMoE แสดงให้เห็นถึงประสิทธิภาพในการแนะนำที่แข็งแกร่งทั้งในชุดข้อมูลสาธารณะและชุดข้อมูลที่เป็นกรรมสิทธิ์ ในขณะที่ยังคงรักษาความเข้าใจข้อความของโมเดลที่ผ่านการฝึกฝนล่วงหน้าไว้ได้
