এটি কি সম্পাদনা করতে পারে? কোড সম্পাদনার নির্দেশনা অনুসরণ করার ক্ষেত্রে বৃহৎ ভাষামডেলগুলির সক্ষমতা মূল্যায়ন

বিভিন্ন ধরনের কোড সংশ্লেষণ কাজের জন্য বৃহৎ ভাষামডেল তৈরি ও মূল্যায়নে উল্লেখযোগ্য পরিমাণ গবেষণা নিবদ্ধ। এর মধ্যে রয়েছে প্রাকৃতিক ভাষা থেকে কোড সংশ্লেষণ, কোড থেকে পরীক্ষা সংশ্লেষণ এবং কোডের ব্যাখ্যা সংশ্লেষণ। এর বিপরীতে, বৃহৎ ভাষামডেল (LLM) ব্যবহার করে নির্দেশনামূলক কোড সম্পাদনার আচরণ পর্যাপ্তভাবে অধ্যয়ন করা হয়নি। এই কাজগুলোতে মডেলকে একটি কোড ব্লক এবং কোড পরিবর্তনের নির্দেশনা দেওয়া হয়। সম্পাদনার নির্দেশনায় কোনো বৈশিষ্ট্য যোগ বা অপসারণ করতে বলা হতে পারে, কোনো বাগ বর্ণনা করে তা ঠিক করতে বলা হতে পারে, অথবা ভিন্ন ধরনের সমাধান চাওয়া হতে পারে। আমরা কোড সম্পাদনার কাজের জন্য একটি যত্নসহকারে তৈরি করা বেঞ্চমার্ক উপস্থাপন করি এবং এটি ব্যবহার করে কয়েকটি অত্যাধুনিক LLM-কে মূল্যায়ন করি। আমাদের মূল্যায়ন অত্যাধুনিক ওপেন এবং ক্লোজড মডেলগুলির সক্ষমতার মধ্যে একটি উল্লেখযোগ্য ফাঁক প্রকাশ করে। উদাহরণস্বরূপ, কোড সম্পাদনার কাজগুলিতে GPT-3.5-Turbo সেরা ওপেন মডেলের তুলনায়ও ভালো। আমরা প্রাকৃতিক ভাষার নির্দেশনার সাথে সংযুক্ত কোড সম্পাদনার কাজের একটি নতুন, যত্নসহকারে নির্বাচিত, অনুমতিসাপেক্ষ প্রশিক্ষণ ডেটাসেটও উপস্থাপন করছি। এই প্রশিক্ষণ ডেটাসেট ব্যবহার করে, আমরা দেখাই যে আমরা ওপেন কোড এলএলএম-গুলোকে ফাইন-টিউন করে তাদের কোড সম্পাদনার ক্ষমতা উল্লেখযোগ্যভাবে উন্নত করতে পারি, যা ওপেন এবং ক্লোজড মডেলের মধ্যে ব্যবধান কমিয়ে আনে। সমস্ত কোড, ডেটা এবং মডেল https://github.com/nuprl/CanItEdit-এ উপলব্ধ।