StudentEval: కోడ్ కోసం విద్యార్థులు వ్రాసిన ప్రోంప్ట్ల యొక్క ఒక బెంచ్మార్క్, లార్జ్ లాంగ్వేజ్ మోడల్స్ కోసం
Author
Venue
అసోసియేషన్ ఆఫ్ కంప్యూటేషనల్ లింగ్విస్టిక్స్ (ACL) 2024 యొక్క పరిశోధనలు
Abstract
కోడ్ LLMలు వేగంగా అమలు చేయబడుతున్నాయి మరియు అవి ప్రొఫెషనల్ ప్రోగ్రామర్లను మరింత ఉత్పాదకంగా చేయగలవని ఆధారాలు ఉన్నాయి. ప్రస్తుత కోడ్ జనరేషన్ బెంచ్మార్క్లు, ఒక నిపుణుల ప్రోంప్ట్ ఇచ్చినప్పుడు మోడల్లు సరైన ప్రోగ్రామ్లను రూపొందిస్తాయో లేదో కొలుస్తాయి. ఈ పత్రంలో, మేము ఒక కొత్త బెంచ్మార్క్ను సమర్పిస్తున్నాము, ఇందులో ప్రతి సమస్యకు బహుళ ప్రోంప్ట్లు ఉంటాయి. ఇవి నిపుణులు కాని ప్రోంప్టర్లలో ఒక నిర్దిష్ట సమూహమైన ప్రారంభ ప్రోగ్రామర్లచే వ్రాయబడ్డాయి. స్టూడెంట్ఈవల్ (StudentEval) లో 48 సమస్యల కోసం 1,749 ప్రాంప్ట్లు ఉన్నాయి, వీటిని పైథాన్ ప్రోగ్రామింగ్లో కేవలం ఒక సెమిస్టర్ పూర్తి చేసిన 80 మంది విద్యార్థులు వ్రాశారు. మా విద్యార్థులు ఒక కోడ్ LLM తో ఇంటరాక్టివ్గా పనిచేస్తున్నప్పుడు ఈ ప్రాంప్ట్లను వ్రాశారు, మరియు మేము చాలా మిశ్రమ విజయ రేట్లను గమనించాము. మేము 5 కోడ్ LLMలను మూల్యాంకనం చేయడానికి స్టూడెంట్ఈవల్ను ఉపయోగించాము మరియు ప్రస్తుత బెంచ్మార్క్ల కంటే మోడల్ పనితీరును వేరు చేయడంలో స్టూడెంట్ఈవల్ మెరుగైనదని కనుగొన్నాము. మేము ప్రోంప్ట్లను విశ్లేషించి, విద్యార్థుల ప్రోంప్టింగ్ పద్ధతులలో గణనీయమైన వైవిధ్యాన్ని కనుగొన్నాము. నాన్డెటర్మినిస్టిక్ LLM శాంప్లింగ్, విద్యార్థుల ప్రోంప్ట్లు వాస్తవానికి ఎంత ప్రభావవంతంగా ఉన్నాయో అంతకంటే ఎక్కువ (లేదా తక్కువ) ప్రభావవంతంగా ఉన్నాయని భావించేలా వారిని తప్పుదారి పట్టించవచ్చని కూడా మేము కనుగొన్నాము, ఇది కోడ్ LLMలతో బోధించే విధానంపై ప్రభావం చూపుతుంది.
