Разработчикам нравятся помощники по коду, даже если они неправильные

Более половины ответов на вопросы по программированию в ChatGPT содержат дезинформацию, однако большинство разработчиков по-прежнему стремятся использовать инструменты искусственного интеллекта и отмечают как личное удовлетворение, так и повышение продуктивности от их использования.

Выводы о внедрении инструментов искусственного интеллекта и их восприятии разработчиками были сделаны в ходе недавнего исследования Stack Overflow, в ходе которого 1 700 разработчиков из своего сообщества узнали об использовании ими кодовых помощников и об общем влиянии этих инструментов на их производительность.

Опрос показал, что 76 % участников уже используют или планируют использовать кодовые помощники ИИ. Среди профессиональных разработчиков эти инструменты чаще всего используют академические исследователи (87 %), разработчики ИИ (76 %), разработчики фронтенда (75 %) и специалисты по изучению данных (67 %).

На вопрос о том, какие кодовые помощники используют разработчики, ChatGPT явно доминирует - его назвали 84 % респондентов. На втором месте GitHub Copilot - его используют 49 %. Visual Studio IntelliCode занял третье место с 11 %, за ним следуют Codeium (7 %) и Google Gemini, бывший Duet (4 %). Восемь продуктов используют от 3 до 1 % участников опроса, а еще 4 - менее 1 %.

Обратите внимание, что два верхних столбика этой диаграммы были усечены, а шкала применяется только для Visual Studio Intellicode.

Что касается простоты использования, то самые высокие оценки получили Codeium (84 %), GitHub Copilot (76 %) и ChatGPT (61 %), и эти же три в порядке убывания получили самые высокие оценки удовлетворенности (86 %, 72 %, 65 % соответственно) и самого высокого повышения производительности (x2.5, x2.3, x2.2 соответственно).

В опросе Stack Overflow 38 % разработчиков отмечают, что кодовые помощники предоставляют неточную информацию в половине случаев или чаще. Это хорошо согласуется с данными исследователей из Университета Пердью, представленными в прошлом месяце на конференции Computer-Human Interaction, согласно которым 52 % ответов по программированию, сгенерированных ChatGPT, содержат дезинформацию.

В исследовании рассматривался вопрос «Устарел ли Stack Overflow?» путем изучения того, насколько хорошо ChatGPT отвечает на вопросы по программированию по сравнению с Stack Overflow. В частности, исследователи взяли 517 вопросов по программированию, заданных на Stack Overflow, и проверили корректность, краткость и последовательность ответов ChatGPT. Они обнаружили, что 52 % ответов ChatGPT содержат дезинформацию, 77 % ответов более многословны, чем ответы человека, и 78 % ответов отличаются от ответов человека степенью несогласованности.

Несмотря на эти недостатки, проведя небольшое пользовательское исследование с участием 12 человек, они обнаружили, что ответы ChatGPT предпочтительнее в 35 % случаев из-за их полноты и использования хорошо сформулированного стиля языка, а дезинформацию в ответах ChatGPT они игнорировали в 39 % случаев, что привело исследователей из Purdue к выводу:

Это означает, что необходимо бороться с дезинформацией в ответах ChatGPT на вопросы по программированию и повышать осведомленность о рисках, связанных с кажущимися правильными ответами".

Как мы недавно сообщали, см. OpenAI Enriched By Stack Overflow, Stack Overflow играет свою роль в этом начинании, сотрудничая с OpenAI и предоставляя ему доступ ко всему своему хранилищу вопросов и ответов по программированию. Еще один способ улучшить ответы ChatGPT - повысить качество подсказок, чтобы они содержали четкую информацию, а также указывали на риск неправильного или неполного ответа.