ผู้เชี่ยวชาญด้านประสาท: การผสมผสานของผู้เชี่ยวชาญสำหรับการแทนค่าประสาทแบบนัย
Author
Venue
NeurIPs 2024
Abstract
การแทนค่าทางประสาทแบบแฝง (Implicit neural representations หรือ INRs) ได้พิสูจน์แล้วว่ามีประสิทธิภาพในงานต่างๆ รวมถึงการฟื้นฟูภาพ รูปร่าง เสียง และวิดีโอ INRs เหล่านี้มักจะเรียนรู้ฟิลด์แฝงจากจุดตัวอย่างของข้อมูลนำเข้า ซึ่งมักทำโดยใช้เครือข่ายเดียวสำหรับโดเมนทั้งหมด โดยกำหนดข้อจำกัดทั่วไปหลายประการให้กับฟังก์ชันเดียว ในเอกสารนี้ เราเสนอวิธีการแทนด้วยประสาทเทียมแบบปริยายแบบผสมผสานผู้เชี่ยวชาญ (MoE) ที่ช่วยให้สามารถเรียนรู้ฟังก์ชันต่อเนื่องแบบแบ่งส่วนในท้องถิ่น ซึ่งสามารถเรียนรู้การแบ่งส่วนของโดเมนและการปรับให้เหมาะสมในท้องถิ่นได้พร้อมกัน เราแสดงให้เห็นว่าการผสมผสานสถาปัตยกรรมแบบผสมผสานผู้เชี่ยวชาญเข้ากับสูตร INR ที่มีอยู่เดิมช่วยเพิ่มความเร็ว ความแม่นยำ และความต้องการด้านหน่วยความจำ นอกจากนี้ เรายังแนะนำวิธีการปรับสภาพและฝึกอบรมล่วงหน้าแบบใหม่สำหรับเครือข่ายเกตติ้งที่ช่วยปรับปรุงการบรรจบกันของผลลัพธ์กับโซลูชันที่ต้องการ เราประเมินประสิทธิภาพของแนวทางนี้ในงานการสร้างภาพซ้ำหลายประเภท รวมถึงการสร้างภาพพื้นผิว การสร้างภาพจากภาพ และการสร้างสัญญาณเสียงใหม่ และแสดงให้เห็นถึงประสิทธิภาพที่ดีกว่าเมื่อเทียบกับวิธีการที่ไม่ใช่ MoE
