న్యూరల్ నిపుణులు: అంతర్లీన న్యూరల్ ప్రాతినిధ్యాల కోసం నిపుణుల మిశ్రమం
Author
Venue
న్యూరైప్స్ 2024
Abstract
చిత్రం, ఆకారం, ఆడియో, మరియు వీడియో పునర్నిర్మాణం వంటి వివిధ పనులలో ఇంప్లిసిట్ న్యూరల్ రిప్రజెంటేషన్లు (INRs) ప్రభావవంతంగా నిరూపించబడ్డాయి. ఈ INRs సాధారణంగా నమూనా ఇన్పుట్ పాయింట్ల నుండి ఇంప్లిసిట్ ఫీల్డ్ను నేర్చుకుంటాయి. ఇది తరచుగా మొత్తం డొమైన్ కోసం ఒకే నెట్వర్క్ను ఉపయోగించి చేయబడుతుంది, ఒకే ఫంక్షన్పై అనేక గ్లోబల్ పరిమితులను విధిస్తుంది. ఈ పత్రంలో, మేము మిక్స్చర్ ఆఫ్ ఎక్స్పర్ట్స్ (MoE) ఇంప్లిసిట్ న్యూరల్ రిప్రజెంటేషన్ విధానాన్ని ప్రతిపాదిస్తున్నాము, ఇది డొమైన్ను విభజించడం మరియు స్థానికంగా సరిపోల్చడం అనే రెండింటినీ ఏకకాలంలో నేర్చుకునే స్థానిక భాగ-విభజన నిరంతర ఫంక్షన్లను నేర్చుకోవడానికి వీలు కల్పిస్తుంది. ఇప్పటికే ఉన్న INR ఫార్ములేషన్లలో మిక్స్చర్ ఆఫ్ ఎక్స్పర్ట్స్ ఆర్కిటెక్చర్ను పొందుపరచడం వల్ల వేగం, కచ్చితత్వం మరియు మెమరీ అవసరాలలో పెరుగుదల ఉంటుందని మేము చూపిస్తున్నాము. అదనంగా, గేటింగ్ నెట్వర్క్ కోసం మేము కొత్త కండిషనింగ్ మరియు ప్రీట్రైనింగ్ పద్ధతులను పరిచయం చేస్తున్నాము, ఇది కావలసిన పరిష్కారానికి కన్వర్జెన్స్ను మెరుగుపరుస్తుంది. మేము మా విధానం యొక్క ప్రభావశీలతను సర్ఫేస్ పునర్నిర్మాణం, ఇమేజ్ పునర్నిర్మాణం మరియు ఆడియో సిగ్నల్ పునర్నిర్మాణం వంటి బహుళ పునర్నిర్మాణ పనులపై మూల్యాంకనం చేసాము మరియు నాన్-MoE పద్ధతులతో పోలిస్తే మెరుగైన పనితీరును ప్రదర్శించాము.
