அதனால் திருத்த முடியுமா? குறியீடு திருத்த வழிமுறைகளைப் பின்பற்றும் பெரிய மொழி மாதிரிகளின் திறனை மதிப்பிடுதல்

பல்வேறு குறியீடு தொகுப்புப் பணிகளுக்காக பெரிய மொழி மாதிரிகளை உருவாக்குவதிலும் மதிப்பிடுவதிலும் குறிப்பிடத்தக்க அளவு ஆராய்ச்சி கவனம் செலுத்தப்படுகிறது. இவற்றில் இயற்கை மொழியிலிருந்து குறியீட்டை உருவாக்குதல், குறியீட்டிலிருந்து சோதனைகளை உருவாக்குதல் மற்றும் குறியீட்டிற்கான விளக்கங்களை உருவாக்குதல் ஆகியவை அடங்கும். இதற்கு மாறாக, பெரிய மொழி மாதிரிகளுடன் (LLMs) அறிவுறுத்தல் குறியீடு திருத்தத்தின் நடத்தை போதுமான அளவு ஆய்வு செய்யப்படவில்லை. இந்தப் பணிகளில், மாதிரிக்கான குறியீட்டின் ஒரு பகுதியும், குறியீட்டை மாற்றுவதற்கான அறிவுறுத்தலும் வழங்கப்படுகின்றன. திருத்தும் அறிவுறுத்தல், ஒரு அம்சத்தைச் சேர்க்க அல்லது நீக்கக் கேட்கலாம், ஒரு பிழையை விவரித்து அதைச் சரிசெய்யக் கேட்கலாம், அல்லது வேறு வகையான தீர்வைக் கேட்கலாம். நாங்கள் கவனமாக வடிவமைக்கப்பட்ட குறியீடு திருத்தப் பணிகளின் ஒரு அளவுகோலை அறிமுகப்படுத்துகிறோம், மேலும் பல அதிநவீன LLM-களை மதிப்பீடு செய்ய அதைப் பயன்படுத்துகிறோம். எங்கள் மதிப்பீடு, அதிநவீன திறந்த மற்றும் மூடிய மாதிரிகளின் திறன்களுக்கு இடையில் ஒரு குறிப்பிடத்தக்க இடைவெளியை வெளிப்படுத்துகிறது. உதாரணமாக, குறியீடு திருத்தப் பணிகளில் சிறந்த திறந்த மூல மாதிரியை விட GPT-3.5-Turbo கூட சிறப்பாக உள்ளது. இயற்கை மொழி வழிமுறைகளுடன் இணைக்கப்பட்ட, குறியீடு திருத்தப் பணிகளைக் கொண்ட, கவனமாகத் தொகுக்கப்பட்ட, அனுமதி வழங்கும் உரிமம் பெற்ற ஒரு புதிய பயிற்சித் தரவுத்தொகுப்பையும் நாங்கள் அறிமுகப்படுத்துகிறோம். இந்தப் பயிற்சித் தரவுத்தொகுப்பைப் பயன்படுத்தி, திறந்த குறியீடு LLM-களை அவற்றின் குறியீடு திருத்தும் திறன்களைக் கணிசமாக மேம்படுத்த ஃபைன்-டியூன் செய்ய முடியும் என்பதையும், திறந்த மற்றும் மூடிய மாதிரிகளுக்கு இடையிலான இடைவெளியைக் குறைக்க முடியும் என்பதையும் நாங்கள் காட்டுகிறோம். அனைத்து குறியீடு, தரவு மற்றும் மாதிரிகளும் https://github.com/nuprl/CanItEdit இல் கிடைக்கின்றன.