নিউরাল এক্সপার্টস: অন্তর্নিহিত নিউরাল উপস্থাপনার জন্য বিশেষজ্ঞদের মিশ্রণ
Author
Venue
নিউরআইপিএস ২০২৪
Abstract
ইমপ্লিisit নিউরাল রিপ্রেজেন্টেশন (INRs) চিত্র, আকৃতি, অডিও এবং ভিডিও পুনর্গঠনসহ বিভিন্ন কাজে কার্যকরী প্রমাণিত হয়েছে। এই INRs সাধারণত নমুনা ইনপুট পয়েন্ট থেকে ইমপ্লিisit ক্ষেত্র শিখে। এটি প্রায়শই পুরো ডোমেইনের জন্য একটি একক নেটওয়ার্ক ব্যবহার করে করা হয়, যা একটি একক ফাংশনে অনেক গ্লোবাল সীমাবদ্ধতা আরোপ করে। এই প্রবন্ধে, আমরা একটি মিশ্রণ-অভিজ্ঞ (Mixture of Experts, MoE) অন্তর্নিহিত নিউরাল উপস্থাপনা পদ্ধতি প্রস্তাব করছি, যা স্থানীয়ভাবে টুকরো-ভিত্তিক ধারাবাহিক ফাংশন শেখার সুযোগ দেয় এবং একই সাথে ডোমেইনকে ভাগ করে স্থানীয়ভাবে মানানসই করে। আমরা দেখাই যে বিদ্যমান INR ফর্মুলেশনে মিশ্র বিশেষজ্ঞ আর্কিটেকচার সংযোজন গতি, সঠিকতা এবং মেমরি প্রয়োজনীয়তায় উন্নতি আনে। অতিরিক্তভাবে, আমরা গেটিং নেটওয়ার্কের জন্য নতুন কন্ডিশনিং এবং প্রি-ট্রেনিং পদ্ধতি প্রবর্তন করি যা কাঙ্ক্ষিত সমাধানে কনভার্জেন্স উন্নত করে। আমরা আমাদের পদ্ধতির কার্যকারিতা একাধিক পুনর্গঠন টাস্কে, যেমন সারফেস পুনর্গঠন, ইমেজ পুনর্গঠন, এবং অডিও সিগন্যাল পুনর্গঠন, মূল্যায়ন করি এবং নন-MoE পদ্ধতির তুলনায় উন্নত কর্মক্ষমতা প্রদর্শন করি।
