É possível editar? Avaliando a capacidade de grandes modelos de linguagem de seguir instruções de edição de código

Uma quantidade significativa de pesquisas está focada no desenvolvimento e na avaliação de grandes modelos de linguagem para uma variedade de tarefas de síntese de código. Isso inclui a síntese de código a partir de linguagem natural, a síntese de testes a partir de código e a síntese de explicações de código. Em contrapartida, o comportamento da edição de código instrucional com LLMs é pouco estudado. Trata-se de tarefas nas quais o modelo recebe um bloco de código e uma instrução para modificá-lo. A instrução de edição pode solicitar que um recurso seja adicionado ou removido, descrever um bug e solicitar uma correção, ou pedir um tipo diferente de solução. Apresentamos um benchmark cuidadosamente elaborado de tarefas de edição de código e o utilizamos para avaliar vários LLMs de ponta. Nossa avaliação revela uma lacuna significativa entre as capacidades dos modelos abertos e fechados de última geração. Por exemplo, mesmo o GPT-3.5-Turbo é melhor do que o melhor modelo aberto em tarefas de edição de código. Também apresentamos um novo conjunto de dados de treinamento, cuidadosamente selecionado e com licença permissiva, de tarefas de edição de código combinadas com instruções em linguagem natural. Usando esse conjunto de dados de treinamento, mostramos que podemos ajustar modelos de LLM de código abertos para melhorar significativamente suas capacidades de edição de código, diminuindo a diferença entre modelos abertos e fechados. Todo o código, dados e modelos estão disponíveis em https://github.com/nuprl/CanItEdit.