न्यूरल विशेषज्ञ: निहित तंत्रिका प्रतिनिधित्वों के लिए विशेषज्ञों का मिश्रण
Author
Venue
न्यूराइप्स 2024
Abstract
निहित तंत्रिका प्रतिनिधित्व (INRs) छवि, आकार, ऑडियो और वीडियो पुनर्निर्माण सहित विभिन्न कार्यों में प्रभावी साबित हुए हैं। ये INRs आमतौर पर नमूनाकृत इनपुट बिंदुओं से निहित क्षेत्र को सीखते हैं। यह अक्सर पूरे डोमेन के लिए एक ही नेटवर्क का उपयोग करके किया जाता है, जो एक ही फ़ंक्शन पर कई वैश्विक प्रतिबंध लगाता है। इस पेपर में, हम एक मिश्रण-विशेषज्ञ (MoE) निहित तंत्रिका प्रतिनिधित्व दृष्टिकोण प्रस्तावित करते हैं जो स्थानीय खंड-वार निरंतर फ़ंक्शनों को सीखने में सक्षम बनाता है, जो एक साथ डोमेन को विभाजित करना और स्थानीय रूप से फिट करना सीखता है। हम दिखाते हैं कि मौजूदा INR फॉर्मूलेशन में एक्सपर्ट्स के मिश्रण आर्किटेक्चर को शामिल करने से गति, सटीकता और मेमोरी की आवश्यकताओं में वृद्धि होती है। इसके अतिरिक्त, हम गेटिंग नेटवर्क के लिए नवीन कंडीशनिंग और प्री-ट्रेनिंग विधियों को पेश करते हैं जो वांछित समाधान तक अभिसरण में सुधार करती हैं। हम अपनी पद्धति की प्रभावशीलता का मूल्यांकन कई पुनर्निर्माण कार्यों पर करते हैं, जिसमें सतह पुनर्निर्माण, छवि पुनर्निर्माण और ऑडियो सिग्नल पुनर्निर्माण शामिल हैं, और गैर-MoE विधियों की तुलना में बेहतर प्रदर्शन दिखाते हैं।
