Важно, на каком языке думает искусственный интеллект

В настоящее время мнения о больших языковых моделях разделились. Кто-то говорит, что это просто переросшие автокомплекты, а кто-то утверждает, что они отражают некоторые аспекты интеллекта. То, насколько хорошо они решают проблемы, похоже, зависит от того, на каком языке вы просите выразить решение.

Я долгое время утверждал, что программисты мыслят иначе. До изучения языка программирования все, что есть в вашем распоряжении, - это ваш родной естественный язык, скажем, английский, для конкретного примера. Английский отлично подходит для выражения чувств и некоторых идей, но большинство людей начинают испытывать трудности, когда их просят точно сформулировать какую-то процедуру. На самом деле многие непрограммисты даже не понимают, что такое точное выражение процедуры. Они даже не замечают, что язык в целом расплывчат, и это делает точное выражение сложным, а возможно, и невозможным.

Развивая эту идею, можно утверждать, что язык, который вы используете для решения задачи, влияет на то, насколько легко она решается. Например, многие математические задачи трудно сформулировать на естественном языке, но они тривиальны в математической нотации. Любое объяснение квантовой механики будет неполным без языка физики, и, конечно, как вы сможете понять Quicksort без кода? Все это - вопрос степени, но вы можете видеть, в каком направлении движется дело - точный язык имеет свои преимущества.

Теперь у нас есть доказательства, которые не просто анекдотичны. Питер Норвиг, известный эксперт по ИИ, в настоящее время являющийся заслуженным научным сотрудником Google AI, провел несколько экспериментов с LLM, чтобы выяснить, что они знают. В случае с «Днем рождения Шерил» - логической задачей, в которой нужно узнать день рождения Шерил, учитывая список возможных дат и набор ограничений, - оказалось, что LLM не могут рассуждать как люди. Оказалось, что человек может решить эту задачу, но ни один из девяти LLM не справился с заданием. LLM знали задачу и могли дать стандартный ответ, но не могли решить ни одной вариации задачи. Это, по мнению Норвига, означает, что у LLM «нет теории ума», то есть нет возможности понимать и рассуждать о том, что знают другие люди.

Очевидно, что, как бы вы это ни интерпретировали, LLM не так хороши, как люди, когда дело доходит до этой проблемы. Но подождите, единственный человек, участвовавший в проекте, сам Норвиг, является исключительно хорошим программистом, возможно, это имеет какое-то отношение к делу?

Еще один эксперимент показывает, что это может быть именно так. На этот раз магистрантов попросили перечислить все способы, которыми три разных положительных целых числа могут иметь произведение 108. Когда их просто попросили выполнить задание, только 2 из 9 человек смогли сделать хорошую попытку. Когда же вопрос был переформулирован в «напишите программу для---», с задачей справились 7 из 9. Таким образом, «мышление» на английском мешало магистрантам найти решение, но переход на Python очень помог.

Что все это значит?

Это означает, что мы должны быть осторожны, задавая вопросы магистрантам, и, следовательно, это подтверждает идею о том, что оперативная инженерия - это вещь. Мы уже видели, что вопросы обычно получают лучшие ответы, если в них включить «подумайте об этом» или «найдите время, чтобы обдумать свой ответ». Возможно, нам нужно включить «создать программу», даже если решение на самом деле не требует программы. В качестве побочного наблюдения я бы сказал, что это подтверждает идею о том, что знание языка программирования действительно фокусирует ум...

Взгляните на результаты эксперимента - программы, которые сгенерировали LLM, очень интересны. Примечание: Чтобы ознакомиться с содержимым репозитория Pytudes Питера Норвига, вам понадобится установленный Python.
И если вы думаете, что все это не имеет значения, потому что LLM - это просто большие машины автозаполнения, подумайте о том, что вполне возможно, что это все, чем вы являетесь...

Майк Джеймс, основатель и главный редактор I Programmer, также является плодовитым автором. Помимо книг по конкретным языкам, он также является автором книги The Trick Of The Mind: Programming and Computational Thought, предназначенной как для программистов, так и для непрограммистов, в которой рассматривается природа программирования и объясняется, почему оно является совершенно особым навыком.