Chuyên gia thần kinh: Sự kết hợp của các chuyên gia cho các biểu diễn thần kinh ngầm
Author
Venue
NeurIPs 2024
Abstract
Các biểu diễn thần kinh ngầm (INRs) đã chứng minh hiệu quả trong nhiều tác vụ bao gồm tái tạo hình ảnh, hình dạng, âm thanh và video. Các INRs này thường học trường ngầm từ các điểm đầu vào được lấy mẫu. Điều này thường được thực hiện bằng cách sử dụng một mạng duy nhất cho toàn bộ miền, áp đặt nhiều ràng buộc toàn cục lên một hàm duy nhất. Trong bài báo này, chúng tôi đề xuất một phương pháp biểu diễn thần kinh ngầm dựa trên hỗn hợp chuyên gia (MoE) cho phép học các hàm liên tục từng đoạn cục bộ, đồng thời học cách chia nhỏ miền và phù hợp cục bộ. Chúng tôi chứng minh rằng việc tích hợp kiến trúc hỗn hợp chuyên gia vào các công thức INR hiện có giúp tăng tốc độ, độ chính xác và giảm yêu cầu về bộ nhớ. Ngoài ra, chúng tôi giới thiệu các phương pháp điều kiện và huấn luyện trước mới cho mạng gating, giúp cải thiện sự hội tụ đến giải pháp mong muốn. Chúng tôi đánh giá hiệu quả của phương pháp này trên nhiều tác vụ tái tạo, bao gồm tái tạo bề mặt, tái tạo hình ảnh và tái tạo tín hiệu âm thanh, và cho thấy hiệu suất được cải thiện so với các phương pháp không sử dụng MoE.
