Nó có thể chỉnh sửa được không? Đánh giá khả năng của các mô hình ngôn ngữ lớn trong việc tuân theo các hướng dẫn chỉnh sửa mã

Một lượng lớn nghiên cứu tập trung vào việc phát triển và đánh giá các mô hình ngôn ngữ lớn (LLMs) cho nhiều tác vụ tổng hợp mã nguồn khác nhau. Các tác vụ này bao gồm tổng hợp mã nguồn từ ngôn ngữ tự nhiên, tổng hợp bài kiểm tra từ mã nguồn và tổng hợp giải thích về mã nguồn. Ngược lại, hành vi của việc chỉnh sửa mã nguồn theo hướng dẫn bằng LLMs vẫn chưa được nghiên cứu kỹ lưỡng. Đây là các tác vụ trong đó mô hình được cung cấp một đoạn mã nguồn và một hướng dẫn để chỉnh sửa mã nguồn. Hướng dẫn chỉnh sửa có thể yêu cầu thêm hoặc xóa một tính năng, mô tả một lỗi và yêu cầu sửa lỗi, hoặc yêu cầu một giải pháp khác. Chúng tôi giới thiệu một bộ dữ liệu chuẩn được thiết kế cẩn thận về các tác vụ chỉnh sửa mã nguồn và sử dụng nó để đánh giá một số mô hình ngôn ngữ lớn (LLMs) tiên tiến nhất. Đánh giá của chúng tôi cho thấy sự chênh lệch đáng kể về khả năng giữa các mô hình nguồn mở và mô hình đóng hiện đại nhất. Ví dụ, ngay cả GPT-3.5-Turbo cũng vượt trội hơn mô hình nguồn mở tốt nhất trong các tác vụ chỉnh sửa mã nguồn. Chúng tôi cũng giới thiệu một bộ dữ liệu đào tạo mới, được tuyển chọn kỹ lưỡng và cấp phép linh hoạt cho các tác vụ chỉnh sửa mã nguồn kết hợp với các hướng dẫn bằng ngôn ngữ tự nhiên. Sử dụng bộ dữ liệu đào tạo này, chúng tôi chứng minh rằng có thể tinh chỉnh các mô hình ngôn ngữ lớn (LLMs) mã nguồn mở để cải thiện đáng kể khả năng chỉnh sửa mã nguồn của chúng, thu hẹp khoảng cách giữa các mô hình mã nguồn mở và đóng. Tất cả mã nguồn, dữ liệu và mô hình đều có sẵn tại https://github.com/nuprl/CanItEdit.