न्यूरल तज्ञ: अंतर्निहित न्यूरल प्रतिनिधित्वांसाठी तज्ञांचे मिश्रण
Author
Venue
न्यूरआइपीएस २०२४
Abstract
Implicit neural representations (INRs) प्रतिमा, आकार, ऑडिओ आणि व्हिडिओ पुनर्निर्मितीसह विविध कार्यांमध्ये प्रभावी ठरल्या आहेत. या INRs सामान्यतः नमुना घेतलेल्या इनपुट बिंदूंमधून अप्रत्यक्ष क्षेत्र शिकतात. हे अनेकदा संपूर्ण डोमेनसाठी एकाच नेटवर्कचा वापर करून केले जाते, ज्यामुळे एकाच फंक्शनवर अनेक जागतिक बंधने लादली जातात. या पेपरमध्ये, आम्ही मिश्रित तज्ज्ञ (Mixture of Experts, MoE) अप्रत्यक्ष न्यूरल प्रतिनिधित्व पद्धत प्रस्तावित करतो जी स्थानिक तुकड्यानुसार अखंड कार्ये शिकण्यास सक्षम करते आणि त्याच वेळी डोमेनचे उपविभाजन करून स्थानिकरित्या जुळवून घेते. आम्ही दाखवतो की विद्यमान INR सूत्रांमध्ये एक्सपर्ट्सच्या मिश्रण आर्किटेक्चरचा समावेश केल्याने गती, अचूकता आणि मेमरी गरजांमध्ये वाढ होते. याव्यतिरिक्त, आम्ही गेटिंग नेटवर्कसाठी नवीन कंडीशनिंग आणि प्री-ट्रेनिंग पद्धती सादर करतो ज्या इच्छित उपायाकडे अभिसरण सुधारतात. आम्ही आमच्या पद्धतीची परिणामकारकता अनेक पुनर्रचना कार्यांवर, ज्यात पृष्ठभाग पुनर्रचना, प्रतिमा पुनर्रचना, आणि ऑडिओ सिग्नल पुनर्रचना यांचा समावेश आहे, त्यावर मूल्यांकन करतो आणि गैर-MoE पद्धतींच्या तुलनेत सुधारित कामगिरी दाखवतो.
