الخبراء العصبيون: مزيج من الخبراء للتمثيلات العصبية الضمنية
Author
Venue
NeurIPs 2024
Abstract
أثبتت التمثيلات العصبية الضمنية (INRs) فعاليتها في مهام متنوعة، بما في ذلك إعادة بناء الصور والأشكال والصوت والفيديو. وعادةً ما تتعلم هذه التمثيلات العصبية الضمنية الحقل الضمني من نقاط الإدخال التي تم أخذ عينات منها. وغالبًا ما يتم ذلك باستخدام شبكة واحدة للمجال بأكمله، مما يفرض العديد من القيود الشاملة على دالة واحدة. في هذه الورقة، نقترح نهج تمثيل عصبي ضمني لمزيج الخبراء (MoE) يتيح تعلم دوال محلية متصلة جزئيًا تتعلم في الوقت نفسه تقسيم المجال والتكيف محليًا. نُظهر أن دمج بنية مزيج الخبراء في صيغ التمثيل العصبي الضمني (INR) الحالية يوفر زيادة في السرعة والدقة ومتطلبات الذاكرة. بالإضافة إلى ذلك، نقدم طرقًا جديدة للتكييف والتدريب المسبق لشبكة البوابات التي تعمل على تحسين التقارب نحو الحل المطلوب. نقوم بتقييم فعالية نهجنا في مهام إعادة بناء متعددة، بما في ذلك إعادة بناء السطح وإعادة بناء الصور وإعادة بناء الإشارات الصوتية، ونُظهر أداءً محسّنًا مقارنةً بالطرق غير القائمة على مزيج الخبراء (MoE).
