క్యాటలాగ్-నేటివ్ LLM: సిఫార్సు కోసం తక్కువ పెనవేతతో స్పీకింగ్ ఐటెమ్-ఐడి డయాలెక్ట్
Author
Venue
ఐసిఎల్ఆర్ 2026
Abstract
కాలబరేటివ్ ఫిల్టరింగ్ అంచనా ఖచ్చితత్వం మరియు సామర్థ్యాన్ని అందించినప్పటికీ, మరియు లార్జ్ లాంగ్వేజ్ మోడల్స్ (LLMs) భావవ్యక్తీకరణ మరియు సాధారణీకరించదగిన తర్కాన్ని సాధ్యం చేసినప్పటికీ, ఆధునిక సిఫార్సు వ్యవస్థలు ఈ బలాలను కలిపి తీసుకురావాలి. సహజ-భాషా ప్రశ్నలు మరియు పారదర్శక వివరణల వంటి పెరుగుతున్న వినియోగదారు అంచనాలు, ఏకీకృత విధానం యొక్క అవసరాన్ని మరింత నొక్కి చెబుతున్నాయి. అయితే, అలా చేయడం అంత సులభం కాదు. సహకార సంకేతాలు తరచుగా టోకెన్-సమర్థవంతంగా ఉంటాయి కానీ భాషాపరంగా అస్పష్టంగా ఉంటాయి, అయితే LLMలు భాషాపరంగా సంపన్నంగా ఉన్నప్పటికీ, కేవలం పాఠ్య ఇన్పుట్లపై శిక్షణ పొందినప్పుడు సూచ్య వినియోగదారు ప్రాధాన్యతలను మోడల్ చేయడానికి ఇబ్బంది పడతాయి. ఈ పత్రం ఐటెమ్-ఐడి + సహజ-భాషా మిక్స్చర్-ఆఫ్-ఎక్స్పర్ట్స్ లాంగ్వేజ్ మోడల్ (IDIOMoE)ను పరిచయం చేస్తుంది, ఇది ఐటెమ్ పరస్పర చర్యల చరిత్రను భాషా ప్రదేశంలో ఒక స్థానిక భాషగా పరిగణిస్తుంది, తద్వారా సహకార సంకేతాలను సహజ భాషలా అర్థం చేసుకోవడానికి వీలు కల్పిస్తుంది. ప్రీ-ట్రైన్డ్ LLM యొక్క ప్రతి బ్లాక్ యొక్క ఫీడ్ ఫార్వర్డ్ నెట్వర్క్ను, టోకెన్-రకం గేటింగ్తో ఒక ప్రత్యేక టెక్స్ట్ నిపుణుడు మరియు ఒక ఐటెమ్ నిపుణుడిగా విభజించడం ద్వారా, మా పద్ధతి టెక్స్ట్ మరియు కేటలాగ్ మాడాలిటీల మధ్య విధ్వంసకర జోక్యాన్ని నివారిస్తుంది. IDIOMoE, ప్రీ-ట్రైన్డ్ మోడల్ యొక్క టెక్స్ట్ అవగాహనను కాపాడుకుంటూనే, పబ్లిక్ మరియు ప్రొప్రైటరీ డేటాసెట్లు రెండింటిలోనూ బలమైన సిఫార్సు పనితీరును ప్రదర్శిస్తుంది.
