DeepMind решает математическую олимпиаду и доказывает, что не все является LLM

Удивительные последние достижения в области ИИ были в основном связаны с большими языковыми, или фундаментальными, моделями, но нейронные сети бывают разных видов, а Deep Mind продолжает развиваться в других направлениях.

Большинству кажется очевидным, что LLM отлично справляются со своей задачей, но для создания более полезного ИИ нам потребуется дополнить их другими системами обучения. В конце концов, человеческий мозг - это не единый недифференцированный комок соединенных нейронов, в нем есть подсистемы, которые выполняют конкретные задачи.

DeepMind взяла Gemini LLM от Google и использовала его в качестве фронт-энда для модифицированной AlphaZero, которая является моделью глубокого обучения с подкреплением. AlphaZero ранее хорошо зарекомендовала себя в таких играх, как го и шахматы, и была модифицирована для решения практически полезных задач, например, AlphaFold, изучающая процесс сворачивания белков.

Математические задачи изначально сложны для систем обучения с подкреплением, поскольку они выражаются на расплывчатом и труднопонимаемом естественном языке. Роль Gemini заключается в преобразовании неточной формулировки в формальный язык - Lean - язык, специально разработанный для использования ассистентами доказательства. Стандартная языковая модель Gemini была доработана на примерах преобразования английского языка в Lean. Затем AlphaZero был обучен на множестве различных математических задач, чтобы доказать или опровергнуть их.

Параллельно с этим была разработана AlphaGeometry 2, которая была усовершенствована по сравнению с первой версией и была обучена на большом количестве сгенерированных данных, касающихся отношений между объектами, углов и так далее. Она также использует Gemini в качестве фронт-энда для преобразования задачи на естественном языке в символическое представление.

Чтобы протестировать эти системы, DeepMind поставила перед ними задачу решить шесть задач из Международной математической олимпиады этого года с помощью обеих систем ИИ. Это ежегодный конкурс, ориентированный на учащихся старших классов, и его уровень обычно очень высок. Обычно на решение задач дается девять часов, но AlphaProof потребовалось всего несколько минут на решение одной задачи и три дня на решение другой. Это явно неоднозначный результат, но достаточно хороший, чтобы претендовать на серебряную медаль с 28 баллами, упустив золотую медаль на один балл. Только 58 из 609 участников-людей достигли такого же уровня.

Например: AlphaProof смог решить задачу:

Определите все действительные числа α такие, что для каждого целого положительного числа n целое число
⌊α⌋ + ⌊2α⌋ + - - - - + ⌊nα⌋
кратно n.

(Заметим, что ⌊z⌋ обозначает наибольшее целое число, меньшее или равное z. Например, ⌊-π⌋ = -4 и ⌊2⌋ = ⌊2,9⌋ = 2.)

Решение: α - четное целое число.

Очевидно, что у LLM большое будущее в качестве переднего плана для других типов нейронных сетей. Это только начало практического ИИ.