VI3NR: निहित तंत्रिका निरूपणों के लिए विचलन-सूचित आरंभिकीकरण
Author
Venue
CVPR 2025
Abstract
निहित तंत्रिका निरूपण (INRs) छवियों, वीडियो, ध्वनि और 3D आकृतियों सहित विभिन्न प्रकार के डेटा को एन्कोड करने के लिए एक बहुमुखी और शक्तिशाली उपकरण हैं। INRs की सफलता में एक महत्वपूर्ण कारक नेटवर्क का आरंभिकीकरण है, जो सीखे गए मॉडल के अभिसरण और सटीकता को महत्वपूर्ण रूप से प्रभावित कर सकता है। दुर्भाग्य से, आम तौर पर उपयोग किए जाने वाले न्यूरल नेटवर्क इनिशियलाइज़ेशन कई एक्टिवेशन फ़ंक्शंस, विशेष रूप से INR द्वारा उपयोग किए जाने वाले फ़ंक्शंस के लिए व्यापक रूप से लागू नहीं होते हैं। इस पेपर में, हम एक ऐसी इनिशियलाइज़ेशन प्राप्त करके पिछले इनिशियलाइज़ेशन तरीकों में सुधार करते हैं जिसमें परतों (layers) के पार स्थिर विचरण (stable variance) होता है, और जो किसी भी एक्टिवेशन फ़ंक्शन पर लागू होती है। हम दिखाते हैं कि यह कई पिछले इनिशियलाइज़ेशन तरीकों का सामान्यीकरण करता है, और अच्छी तरह से अध्ययन किए गए एक्टिवेशंस के लिए और भी बेहतर स्थिरता प्रदान करता है। हम यह भी दिखाते हैं कि हमारी इनिशियलाइज़ेशन कई सिग्नल मोडालिटीज़ में INR एक्टिवेशन फ़ंक्शंस के साथ बेहतर परिणाम देती है। हमारा दृष्टिकोण विशेष रूप से गॉसियन INRs के लिए प्रभावी है, जहाँ हम यह प्रदर्शित करते हैं कि हमारी इनिशियलाइज़ेशन का सिद्धांत कई प्रयोगों में कार्य प्रदर्शन से मेल खाता है, जिससे हम इमेज, ऑडियो और 3D सतह पुनर्निर्माण में सुधार हासिल कर पाते हैं।
