பட்டியல்-உள்ளூர் LLM: பரிந்துரைக்காகக் குறைந்த பின்னிப்பிணைவுடன் பேசும் ஐட்டம்-ID வட்டார வழக்கு
Author
Venue
ICLR 2026
Abstract
கூட்டு வடிகட்டுதல் முன்கணிப்புத் துல்லியம் மற்றும் செயல்திறனை வழங்குகிறது, மேலும் பெரிய மொழி மாதிரிகள் (LLMs) வெளிப்பாட்டு மற்றும் பொதுமைப்படுத்தக்கூடிய பகுத்தறிவை செயல்படுத்துகின்றன, நவீன பரிந்துரை அமைப்புகள் இந்த வலிமைகளை ஒன்றிணைக்க வேண்டும். இயற்கை மொழி வினவல்கள் மற்றும் வெளிப்படையான விளக்கங்கள் போன்ற வளர்ந்து வரும் பயனர் எதிர்பார்ப்புகள், ஒரு ஒருங்கிணைந்த அணுகுமுறையின் தேவையை மேலும் எடுத்துக்காட்டுகின்றன. இருப்பினும், அவ்வாறு செய்வது எளிமையானதல்ல. கூட்டுச் சிக்னல்கள் பெரும்பாலும் டோக்கன்-செயல்திறன் மிக்கவை ஆனால் சொற்பொருள் ரீதியாகப் புரிந்துகொள்ள முடியாதவை, அதேசமயம் LLM-கள் சொற்பொருள் ரீதியாக வளமானவை என்றாலும், உரை உள்ளீடுகளில் மட்டும் பயிற்சி செய்யப்படும்போது மறைமுகமான பயனர் விருப்பங்களை மாதிரியாக்கச் சிரமப்படுகின்றன. இந்தக் கட்டுரை ஐட்டம்-ஐடி + இயற்கை-மொழி நிபுணர்களின் கலவை மொழி மாதிரி (IDIOMoE)-ஐ அறிமுகப்படுத்துகிறது, இது ஐட்டம் தொடர்பு வரலாறுகளை மொழி வெளியில் ஒரு பூர்வீக வட்டார மொழியாகக் கருதுகிறது, இதன் மூலம் கூட்டுச் சிக்னல்களை இயற்கை மொழியைப் போலவே புரிந்துகொள்ள முடிகிறது. முன்கூட்டியே பயிற்சி பெற்ற LLM-இன் ஒவ்வொரு தொகுதியின் ஃபீட் ஃபார்வர்டு நெட்வொர்க்கையும், டோக்கன்-வகை கேட்டிங்குடன் ஒரு தனிப்பட்ட உரை நிபுணர் மற்றும் ஒரு உருப்படிக் கேட்டிங் நிபுணர் எனப் பிரிப்பதன் மூலம், எங்கள் முறை உரை மற்றும் κατάλογு முறைகளுக்கு இடையேயான அழிவுகரமான குறுக்கீட்டைத் தவிர்க்கிறது. IDIOMoE, முன்கூட்டியே பயிற்சி பெற்ற மாடலின் உரைப் புரிதலைப் பாதுகாத்துக்கொண்டே, பொது மற்றும் தனியுரிமத் தரவுத்தொகுப்புகள் இரண்டிலும் வலுவான பரிந்துரை செயல்திறனை வெளிப்படுத்துகிறது.
