Neural Experts: miscela di esperti per rappresentazioni neurali implicite
Author
Venue
NeurIPs 2024
Abstract
Le rappresentazioni neurali implicite (INR) si sono dimostrate efficaci in vari compiti, tra cui la ricostruzione di immagini, forme, audio e video. Queste INR in genere apprendono il campo implicito dai punti di input campionati. Ciò avviene spesso utilizzando un'unica rete per l'intero dominio, imponendo molti vincoli globali su un'unica funzione. In questo articolo proponiamo un approccio di rappresentazione neurale implicita di tipo "mixture of experts" (MoE) che consente l'apprendimento di funzioni locali continue a tratti, in grado di suddividere il dominio e adattarsi localmente in modo simultaneo. Dimostriamo che l'integrazione di un'architettura "mixture of experts" nelle formulazioni INR esistenti offre un miglioramento in termini di velocità, accuratezza e requisiti di memoria. Inoltre, introduciamo nuovi metodi di condizionamento e pre-addestramento per la rete di gating che migliorano la convergenza verso la soluzione desiderata. Valutiamo l'efficacia del nostro approccio su molteplici compiti di ricostruzione, tra cui la ricostruzione di superfici, la ricostruzione di immagini e la ricostruzione di segnali audio, e mostriamo prestazioni migliorate rispetto ai metodi non MoE.
