Ahli Neural: Campuran Ahli untuk Representasi Neural Implisit
Author
Venue
NeurIPs 2024
Abstract
Representasi saraf implisit (INR) telah terbukti efektif dalam berbagai tugas, termasuk rekonstruksi gambar, bentuk, audio, dan video. INR ini biasanya mempelajari bidang implisit dari titik-titik input yang diambil sampelnya. Hal ini sering dilakukan dengan menggunakan satu jaringan untuk seluruh domain, yang memberlakukan banyak batasan global pada satu fungsi. Dalam makalah ini, kami mengusulkan pendekatan representasi saraf implisit campuran ahli (MoE) yang memungkinkan pembelajaran fungsi kontinu potongan-potongan lokal yang secara bersamaan belajar untuk membagi domain dan menyesuaikan secara lokal. Kami menunjukkan bahwa penggabungan arsitektur campuran ahli ke dalam formulasi INR yang ada memberikan peningkatan dalam hal kecepatan, akurasi, dan kebutuhan memori. Selain itu, kami memperkenalkan metode pengkondisian dan prapelatihan baru untuk jaringan gating yang meningkatkan konvergensi ke solusi yang diinginkan. Kami mengevaluasi keefektifan pendekatan kami pada berbagai tugas rekonstruksi, termasuk rekonstruksi permukaan, rekonstruksi gambar, dan rekonstruksi sinyal audio, serta menunjukkan peningkatan kinerja dibandingkan dengan metode non-MoE.
