Nöral Uzmanlar: Örtük Nöral Temsiller için Uzman Karışımı
Author
Venue
NeurIPs 2024
Abstract
İmplisit sinirsel temsiller (INR'ler), görüntü, şekil, ses ve video rekonstrüksiyonu dahil olmak üzere çeşitli görevlerde etkili olduklarını kanıtlamıştır. Bu INR'ler tipik olarak örneklemlenmiş giriş noktalarından implisit alanı öğrenir. Bu genellikle tüm alan için tek bir ağ kullanılarak yapılır ve tek bir fonksiyona birçok küresel kısıtlama getirir. Bu makalede, etki alanını alt bölümlere ayırmayı ve yerel olarak uyum sağlamayı aynı anda öğrenen, yerel parça parça sürekli fonksiyonları öğrenmeyi sağlayan bir uzmanlar karışımı (MoE) örtük sinirsel temsil yaklaşımı öneriyoruz. Uzmanlar karışımı mimarisini mevcut INR formülasyonlarına dahil etmenin hız, doğruluk ve bellek gereksinimlerinde artış sağladığını gösteriyoruz. Ek olarak, istenen çözüme yakınsamayı iyileştiren, geçit ağı için yeni koşullandırma ve ön eğitim yöntemleri sunuyoruz. Yaklaşımımızın etkinliğini yüzey yeniden yapılandırma, görüntü yeniden yapılandırma ve ses sinyali yeniden yapılandırma dahil olmak üzere birçok yeniden yapılandırma görevinde değerlendiriyor ve MoE olmayan yöntemlere kıyasla iyileştirilmiş performans gösteriyoruz.
