हे संपादन करू शकते का? कोड संपादन सूचना पाळण्याच्या मोठ्या भाषा मॉडेल्सच्या क्षमतेचे मूल्यांकन

विविध कोड संश्लेषण कार्यांसाठी मोठ्या भाषा मॉडेल्सचे विकास आणि मूल्यांकन करण्यावर लक्षणीय प्रमाणात संशोधन केंद्रित आहे. यामध्ये नैसर्गिक भाषेतून कोड संश्लेषित करणे, कोडमधून चाचण्या संश्लेषित करणे आणि कोडच्या स्पष्टीकरणांचे संश्लेषण करणे यांचा समावेश होतो. त्याउलट, LLM सह निर्देशात्मक कोड संपादनाच्या वर्तनाचा अभ्यास अपुरा आहे. ही अशी कार्ये आहेत ज्यात मॉडेलला कोडचा एक ब्लॉक आणि कोडमध्ये बदल करण्याचा निर्देश दिला जातो. संपादन सूचना एखादी वैशिष्ट्ये जोडण्याची किंवा काढून टाकण्याची, बग वर्णन करून त्याचे निराकरण करण्याची, किंवा वेगळ्या प्रकारचे समाधान मागण्याची विनंती करू शकते. आम्ही कोड संपादन कार्यांची काळजीपूर्वक तयार केलेली बेंचमार्क सादर करतो आणि त्याचा वापर अनेक अत्याधुनिक LLMs चे मूल्यांकन करण्यासाठी करतो. आमच्या मूल्यांकनात अत्याधुनिक मुक्त आणि बंद मॉडेल्सच्या क्षमतांमध्ये एक मोठी तफावत उघड होते. उदाहरणार्थ, कोड संपादन कार्यांमध्ये GPT-3.5-Turbo देखील सर्वोत्तम मुक्त मॉडेलपेक्षा चांगले आहे. आम्ही नैसर्गिक भाषा सूचनांसह जोडलेल्या कोड संपादन कार्यांचा एक नवीन, काळजीपूर्वक संकलित, परवानगी-आधारित प्रशिक्षण डेटासेट देखील सादर करतो. या प्रशिक्षण डेटासेटचा वापर करून, आम्ही दाखवतो की आम्ही मुक्त कोड एलएलएम (Code LLMs) चे कोड संपादन क्षमतांमध्ये लक्षणीय सुधारणा करण्यासाठी त्यांना फाइन-ट्यून करू शकतो, ज्यामुळे मुक्त आणि बंद मॉडेल्समधील अंतर कमी होते. सर्व कोड, डेटा आणि मॉडेल्स https://github.com/nuprl/CanItEdit येथे उपलब्ध आहेत.