Продуктивность и терпение: Как GitHub Copilot расширяет горизонты разработки

Пользователи Copilot видят разницу в производительности и счастье, потому что им не нужно писать тысячи строк для тестов.

GitHub, общий репозиторий, который выбирают разработчики всех типов, изменил игровое поле для разработки на основе искусственного интеллекта благодаря своему предложению Copilot. По оценкам организации, многие разработчики используют этот инструмент для создания от 30 до 50 % кода, который они в итоге запускают в производство.

Недавно исследователи из Scalefocus запустили четырехмесячный эксперимент с участием трех команд, чтобы оценить ценность и жизнеспособность GitHub Copilot. Они пришли к выводу, что Copilot "ускоряет процесс разработки, сокращает время, затрачиваемое на рутинные задачи по кодированию, и повышает производительность". В среднем его внедрение повышает производительность на 20 %".

Однако, добавляют исследователи, "были отмечены и ограничения: Copilot иногда не справлялся с более сложными задачами, что требовало от человека направлять его к нужному решению".

Понимание механизмов работы Copilot и лучших практик "очень важно для максимального использования его потенциала", - предупреждают они. "Признание того, что Copilot не может быть одинаково эффективным при выполнении всех задач, является ключом к предотвращению неэффективности. Выявление областей, где Copilot преуспевает, может значительно повысить его ценность, а признание того, где он не справляется, позволит сэкономить много усилий впустую".

Copilot отлично справляется с "реализацией простых, четко определенных компонентов с точки зрения производительности и других нефункциональных аспектов. Его эффективность снижается при решении сложных ошибок или задач, требующих глубокой экспертизы".

По словам Марио Родригеса, старшего вице-президента по продуктам GitHub, в недавнем интервью Сэма Рэнсботама из Бостонского колледжа и Шервина Ходабандеха из Boston Consulting Group, опубликованном в MIT Sloan Management Review, производительность труда разработчиков составляет около 55 %.

Но продуктивность - не единственная метрика, которой руководствуется GitHub в своих намерениях относительно Copilot. "Мы даже стараемся спрашивать многих наших клиентов, чтобы действительно измерить общее счастье разработчиков", - говорит Родригес. "Если разработчики несчастливы в организации, то мало что происходит, верно? Вы хотите, чтобы они были счастливы. Талантов не хватает, поэтому вы определенно хотите, чтобы ваши разработчики были счастливы".

Ключ к счастью в том, что Copilot создан для того, чтобы быть отзывчивым и сопереживающим. "Copilot очень терпелив", - объясняет он. Он не расстроится, если вы спросите его: "Знаете, а как на самом деле нужно делать X, Y и Z в этой кодовой базе?" или "Я забыл, как записать этот регистр. Не могли бы вы подсказать мне, как лучше это сделать?"

В результате, - продолжил Родригес, - люди, которые используют эту систему, в итоге работают гораздо продуктивнее. Вы видите разницу в качестве кода, а затем вы видите разницу и в их счастье, потому что им не нужно писать 10 000 строк тестов, когда Copilot может помочь им с этим".

Самой большой проблемой Copilot является контекст, отметил он. "Код и разработка кода во многом зависят от контекста, с которым вы имеете дело. Есть ли у вас унаследованная кодовая база или нет? Работаете ли вы на COBOL, C++, JavaScript или TypeScript? Для того чтобы качество кода было высоким, а вы его приняли, необходимо учитывать множество факторов".

GitHub Copilot, первый Copilot, появившийся в качестве ассистента разработки на базе искусственного интеллекта, включен в подразделение под названием GitHub Next. По словам Родригеса, ориентация на ИИ - это совершенно иное предложение для команды GitHub. Обычный код GitHub проверен, протестирован и детерминирован: "Мы знаем, работает что-то или нет. Мы знаем, есть ли ошибка или нет. Мы знаем, как исправить эту ошибку, причем много раз. Мы можем увидеть даже ошибку, которую мы допускаем при разработке функции".

С другой стороны, большие языковые модели "не являются детерминированными", - продолжил он. "И вы не можете просто ожидать, что они будут детерминированными. Вы должны переосмыслить, как вы думаете о качестве. Вы должны переосмыслить, как вы подходите к созданию функции". В GitHub "у нас есть все эти оценки и офлайн-оценки, которые мы проводим для GitHub Copilot. И именно так мы определяем качество того, что он дает вам в таких функциях, как завершение кода".

В конечном итоге, по словам Родригеса, на каком-то уровне у каждого будет возможность стать разработчиком. "Определение разработчика программного обеспечения начнет меняться в будущем", - сказал он. "Наверное, каждый из нас умеет готовить, или каждый из нас умеет кататься на велосипеде, или каждый из нас умеет плавать, но, послушайте, я не собираюсь завтра открывать ресторан со звездами Мишлен".

Влияние ИИ на разработку программного обеспечения будет более тонким: "Что, если текстовое поле - это все, что им нужно, чтобы сделать что-то, что создает программное обеспечение, и что-то, из чего они потом смогут извлечь пользу?" Например, говорит Родригес: "Если бы я мог очень быстро сказать в своем телефоне: "Эй, я думаю поговорить со своей дочерью о таких-то вещах. Можешь дать мне три последние статьи X, Y и Z, а затем просто создать небольшую программу, в которую мы могли бы играть как в игру? Вы можете представить, что Copilot сможет помочь вам в этом в будущем".

Если пойти дальше, то "представьте, что вы можете поделиться этой небольшой программой, которую Copilot создал для вас. А вы можете сделать на нее ремикс и продолжать делать ремикс и ремикс. Художники, кстати, делают это постоянно. Я думаю, что такие инструменты, как Copilot, помогут вам в этом. Невероятно, что предстоит пережить нашим детям благодаря развитию этой технологии".