VI3NR: Inicialização Informada por Variância para Representações Neurais Implícitas
Author
Venue
CVPR 2025
Abstract
Representações Neurais Implícitas (INRs) são uma ferramenta versátil e poderosa para codificar várias formas de dados, incluindo imagens, vídeos, som e formas 3D. Um fator crítico para o sucesso das INRs é a inicialização da rede, que pode impactar significativamente a convergência e a precisão do modelo aprendido. Infelizmente, as inicializações de redes neurais comumente utilizadas não são amplamente aplicáveis a muitas funções de ativação, especialmente aquelas utilizadas pelas INRs. Neste artigo, aprimoramos os métodos de inicialização anteriores ao derivar uma inicialização que possui variância estável entre as camadas e se aplica a qualquer função de ativação. Mostramos que isso generaliza muitos métodos de inicialização anteriores e apresenta estabilidade ainda melhor para ativações bem estudadas. Também demonstramos que nossa inicialização leva a melhores resultados com funções de ativação INR em múltiplas modalidades de sinal. Nossa abordagem é particularmente eficaz para INRs gaussianas, onde demonstramos que a teoria de nossa inicialização corresponde ao desempenho da tarefa em múltiplos experimentos, permitindo-nos alcançar melhorias na reconstrução de imagens, áudio e superfícies 3D.
