Neurale experts: een mix van experts voor impliciete neurale representaties
Author
Venue
NeurIPs 2024
Abstract
Impliciete neurale representaties (INR's) zijn effectief gebleken bij verschillende taken, waaronder beeld-, vorm-, audio- en videoreconstructie. Deze INR's leren doorgaans het impliciete veld van bemonsterde invoerpunten. Dit gebeurt vaak met behulp van één enkel netwerk voor het gehele domein, waardoor veel globale beperkingen aan één enkele functie worden opgelegd. In dit artikel stellen we een impliciete neurale representatiebenadering voor op basis van een mix van experts (MoE), waarmee lokale, stuksgewijs continue functies kunnen worden aangeleerd die tegelijkertijd het domein onderverdelen en lokaal aanpassen. We laten zien dat het opnemen van een 'mixture of experts'-architectuur in bestaande INR-formuleringen zorgt voor een verbetering in snelheid, nauwkeurigheid en geheugenvereisten. Daarnaast introduceren we nieuwe conditionerings- en pretrainingmethoden voor het gating-netwerk die de convergentie naar de gewenste oplossing verbeteren. We evalueren de effectiviteit van onze aanpak op meerdere reconstructietaken, waaronder oppervlakte-, beeld- en audiosignaalreconstructie, en laten verbeterde prestaties zien in vergelijking met niet-MoE-methoden.
