Expertos neuronales: mezcla de expertos para representaciones neuronales implícitas
Author
Venue
NeurIPs 2024
Abstract
Las representaciones neuronales implícitas (INR) han demostrado su eficacia en diversas tareas, como la reconstrucción de imágenes, formas, audio y vídeo. Estas INR suelen aprender el campo implícito a partir de puntos de entrada muestreados. A menudo, esto se lleva a cabo utilizando una única red para todo el dominio, lo que impone numerosas restricciones globales a una única función. En este artículo, proponemos un enfoque de representación neuronal implícita de mezcla de expertos (MoE) que permite el aprendizaje de funciones locales continuas por tramos que, simultáneamente, aprenden a subdividir el dominio y a ajustarse localmente. Demostramos que la incorporación de una arquitectura de mezcla de expertos en las formulaciones de INR existentes proporciona un aumento en la velocidad, la precisión y los requisitos de memoria. Además, introducimos métodos novedosos de condicionamiento y preentrenamiento para la red de control de acceso que mejoran la convergencia hacia la solución deseada. Evaluamos la eficacia de nuestro enfoque en múltiples tareas de reconstrucción, incluyendo la reconstrucción de superficies, la reconstrucción de imágenes y la reconstrucción de señales de audio, y mostramos un rendimiento mejorado en comparación con los métodos que no utilizan MoE.
