StudentEval: குறியீட்டுக்கான பெரிய மொழி மாதிரிகளுக்கான மாணவர் எழுதிய தூண்டுதல்களின் ஒரு அளவுகோல்
Author
Venue
கணக்கீட்டு மொழியியல் சங்கத்தின் (ACL) 2024 கண்டுபிடிப்புகள்
Abstract
கோட் எல்.எல்.எம்கள் (Code LLMs) வேகமாகப் பயன்படுத்தப்பட்டு வருகின்றன, மேலும் அவை தொழில்முறை நிரலாளர்களை அதிக உற்பத்தித்திறன் கொண்டவர்களாக மாற்ற முடியும் என்பதற்குச் சான்றுகள் உள்ளன. தற்போதைய குறியீடு உருவாக்கத்திற்கான அளவுகோல்கள், ஒரு நிபுணத்துவ உந்துதலின் (expert prompt) அடிப்படையில் மாதிரிகள் சரியான நிரல்களை உருவாக்குகின்றனவா என்பதை அளவிடுகின்றன. இந்தக் கட்டுரையில், ஒரு குறிப்பிட்ட வகை நிபுணர் அல்லாத உந்துதலாளர்களான (non-expert prompters) - தொடக்க நிலை நிரலாளர்களால் எழுதப்பட்ட, ஒரு சிக்கலுக்குப் பல உந்துதல்களைக் கொண்ட ஒரு புதிய அளவுகோலை நாங்கள் முன்வைக்கிறோம். StudentEval ஆனது, பைத்தான் புரோகிராமிங்கில் ஒரு செமஸ்டர் மட்டுமே முடித்த 80 மாணவர்களால் எழுதப்பட்ட, 48 சிக்கல்களுக்கான 1,749 உந்துதல்களைக் கொண்டுள்ளது. எங்கள் மாணவர்கள் ஒரு கோட் LLM உடன் ஊடாடிப் பணியாற்றும்போது இந்த உந்துதல்களை எழுதினர், மேலும் நாங்கள் மிகவும் கலவையான வெற்றி விகிதங்களைக் கவனித்தோம். 5 கோட் LLM-களை மதிப்பிடுவதற்கு நாங்கள் StudentEval-ஐப் பயன்படுத்துகிறோம், மேலும் தற்போதுள்ள அளவுகோல்களை விட StudentEval மாடல் செயல்திறனை வேறுபடுத்திக் காட்டுவதில் சிறந்ததாக இருப்பதைக் கண்டறிந்தோம். நாங்கள் அந்த உந்துதல்களைப் பகுப்பாய்வு செய்து, மாணவர்களின் உந்துதல் நுட்பங்களில் குறிப்பிடத்தக்க மாறுபாடுகளைக் காண்கிறோம். மேலும், நிர்ணயிக்கப்படாத LLM மாதிரி எடுப்பு, மாணவர்களைத் தங்கள் உந்துதல்கள் உண்மையில் இருப்பதை விட அதிக (அல்லது குறைந்த) பயனுள்ளவை என்று தவறாக நினைக்க வழிவகுக்கும் என்றும் நாங்கள் காண்கிறோம். இது கோட் LLM-களைக் கொண்டு எவ்வாறு கற்பிக்க வேண்டும் என்பதில் தாக்கங்களைக் கொண்டுள்ளது.
