Natural Language Processing
Programming Languages
StudentEval：コード生成用大規模言語モデル向けの学生作成プロンプトのベンチマーク
Author
Venue
計算言語学会（ACL）2024の研究成果
Abstract
コード生成LLMは急速に導入が進んでおり、プロのプログラマーの生産性を向上させ得るという証拠も示されている。現在のコード生成ベンチマークは、専門家が作成したプロンプトに対してモデルが正しいプログラムを生成できるかどうかを測定している。本論文では、特定の非専門家グループ、すなわちプログラミング初心者が作成した、問題ごとに複数のプロンプトを含む新しいベンチマークを提示する。 StudentEvalには、Pythonプログラミングを1学期しか履修していない80名の学生によって作成された、48の問題に対する1,749のプロンプトが含まれている。学生たちはコードLLMと対話しながらこれらのプロンプトを作成したが、その成功率は極めてばらつきが大きかった。我々はStudentEvalを用いて5つのコードLLMを評価し、StudentEvalが既存のベンチマークよりもモデル性能を区別する上で優れていることを発見した。 プロンプトを分析した結果、学生のプロンプティング手法には大きなばらつきがあることが判明しました。また、非決定論的なLLMのサンプリングにより、学生は自分のプロンプトが実際よりも効果的（あるいは効果的でない）であると誤解してしまう可能性があり、これはCode LLMを用いた指導方法に重要な示唆を与えます。
