ИИ не бьется о стену, он просто становится слишком умным для эталонов, считает Anthropic

По мере совершенствования самокоррекции и самообоснования новейшие LLM обнаруживают новые возможности с такой скоростью, что измерить все, на что они способны, становится все труднее.

По словам вице-президента компании Anthropic, ведущего поставщика моделей ИИ, большие языковые модели и другие формы генеративного искусственного интеллекта постоянно совершенствуются в «самокоррекции», открывая возможности для новых видов работы, включая «агентский ИИ».

«Он становится очень хорош в самокоррекции и самообосновании», - говорит Майкл Герстенхабер, глава отдела API-технологий компании Anthropic, которая производит семейство LLM Claude, конкурирующее с GPT от OpenAI.

«Каждые пару месяцев мы выпускаем новую модель, которая расширяет возможности LLM», - сказал Герстенхабер в среду в Нью-Йорке в интервью с Анурагом Раной из Bloomberg Intelligence. «Самое интересное в этой отрасли то, что с каждым пересмотром модели открываются новые возможности использования».

Самые последние модели включают в себя планирование задач, например, как выполнять задания на компьютере так же, как это делает человек; например, заказ пиццы онлайн.

«Планирование промежуточных шагов - это то, что было невозможно вчера, но возможно сегодня», - говорит Герстенхабер о таком пошаговом выполнении задач.

Дискуссия, в которой также принял участие Виджай Карунамурти, главный технолог ИИ-стартапа Scale AI, стала частью однодневной конференции, организованной Bloomberg Intelligence для изучения темы «Gen AI: сможет ли он реализовать обещание производительности?».

Высказывания Герстенхабера идут вразрез с доводами скептиков ИИ о том, что Gen AI, да и весь ИИ в целом, «бьется о стену», то есть отдача от каждого нового поколения моделей становится все меньше и меньше.

В 2022 году ученый в области ИИ Гэри Маркус предупредил, что простое создание моделей ИИ с большим количеством параметров не даст улучшений, равных увеличению размера. Маркус продолжает повторять это предупреждение.

Anthropic, по словам Герстенхабера, расширяет границы того, что может быть измерено текущими эталонами ИИ.

«Даже если кажется, что в чем-то он замедляется, это потому, что мы создаем совершенно новые классы [функциональности], но мы насытили эталоны и способность выполнять старые задачи», - говорит Герстенхабер. Другими словами, становится все труднее измерить, на что способны текущие модели Gen AI».

И Герстенхабер, и Карунамурти из Scale AI утверждают, что «масштабирование» Gen AI - создание более крупных моделей ИИ - способствует развитию таких самокорректирующихся нейросетей.

«Мы определенно видим все больше и больше масштабирования интеллекта», - сказал Герстенхабер. «Одна из причин, по которой мы не считаем, что столкнулись с проблемой планирования и рассуждений, заключается в том, что сейчас мы только учимся тому, как должны быть структурированы задачи планирования и рассуждений, чтобы модели могли адаптироваться к широкому спектру новых условий, которые они еще не пытались пройти».

«Мы находимся в самом начале пути», - говорит Герстенхабер. «Мы узнаем от разработчиков приложений, что они пытаются сделать, и что у нее [языковой модели] получается плохо, и мы можем интегрировать это в LM».

Некоторые из этих открытий, по словам Герстенхабера, связаны со скоростью фундаментальных исследований в Anthropic. Однако некоторые из них связаны с обучением, когда мы слышим, «что промышленность говорит нам, что им нужно от нас, и наша способность адаптироваться к этому - мы очень многому учимся в режиме реального времени».

По словам Карунамурти из Scale AI, клиенты обычно начинают с больших моделей, а затем иногда переходят к более простым моделям ИИ, чтобы соответствовать цели. «Совершенно очевидно, что сначала они думают о том, достаточно ли умный ИИ для того, чтобы хорошо выполнить тест, затем о том, достаточно ли он быстр, чтобы удовлетворить их потребности в приложении, и затем о том, чтобы он был как можно дешевле».