Neural Experts: mieszanka ekspertów dla niejawnych reprezentacji neuronowych
Author
Venue
NeurIPs 2024
Abstract
Niejawne reprezentacje neuronowe (INR) okazały się skuteczne w różnych zadaniach, w tym w rekonstrukcji obrazów, kształtów, dźwięku i wideo. Te INR zazwyczaj uczą się pola niejawnego na podstawie próbkowanych punktów wejściowych. Często odbywa się to przy użyciu jednej sieci dla całej domeny, nakładając wiele globalnych ograniczeń na jedną funkcję. W niniejszym artykule proponujemy podejście oparte na implikacyjnej reprezentacji neuronowej typu „mixture of experts” (MoE), które umożliwia uczenie się lokalnych funkcji ciągłych w odcinkach, które jednocześnie uczą się podziału domeny i dopasowania lokalnego. Pokazujemy, że włączenie architektury mieszanki ekspertów do istniejących formuł INR zapewnia wzrost szybkości, dokładności i zmniejszenie wymagań dotyczących pamięci. Dodatkowo wprowadzamy nowatorskie metody kondycjonowania i wstępnego uczenia sieci bramkującej, które poprawiają zbieżność do pożądanego rozwiązania. Oceniamy skuteczność naszego podejścia w wielu zadaniach rekonstrukcji, w tym rekonstrukcji powierzchni, obrazu i sygnału audio, i wykazujemy poprawę wydajności w porównaniu z metodami nieopartymi na MoE.
