ИИ с открытым исходным кодом соответствует возможностям кодирования собственных моделей

Компании Agentica и Together AI выпускают DeepCoder-14B-Preview, модель с открытым исходным кодом, способную работать с кодом наравне с собственными моделями.

Эта разработка является заметным прогрессом в применении обучения с подкреплением (RL) к кодированию - области, которая традиционно отстает от прогресса, наблюдаемого в моделях математического мышления. Основной проблемой было получение высококачественных, проверяемых наборов данных по кодированию, необходимых для эффективного обучения RL.

Преодоление препятствий, связанных с данными для моделей кодирования ИИ с открытым исходным кодом

Команды, создавшие DeepCoder, вплотную занялись проблемой нехватки данных. В ходе оценки существующих наборов данных, таких как APPS, TACO, CodeContests, KodCode и LeetCode, было установлено, что многие из них либо слишком просты, либо зашумлены, либо не содержат надежных тестовых примеров.

Чтобы создать надежный обучающий набор, Agentica и Together AI подготовили 24 000 высококачественных, поддающихся проверке задач по кодированию. Это включало в себя объединение проверенных задач из набора данных TACO и SYNTHETIC-1 компании PrimeIntellect с конкретными задачами LiveCodeBench.

Был реализован строгий конвейер фильтрации, гарантирующий, что каждая задача имеет официально подтвержденное решение, проходящее все модульные тесты, и включает не менее пяти модульных тестов для предотвращения «взлома вознаграждения» - когда модели учатся обходить простые тесты. Очень важно, что дедупликация наборов данных и сверка с тестовыми наборами данных предотвратили загрязнение.

Инновации в обучении и производительность

Обучение DeepCoder-14B-Preview проводилось в течение 2,5 недель на 32 графических процессорах H100. В процессе обучения использовалась разреженная модель вознаграждения за результат (ORM), которая назначала вознаграждение только в том случае, если сгенерированный код прошел все выборочные модульные тесты, что позволило избежать проблем с частичным вознаграждением. Выборка тестов была тщательной, сфокусированной на 15 наиболее сложных для каждой задачи, с жестким тайм-аутом.

Команда улучшила алгоритм обучения с подкреплением GRPO (термин GRPO+), интегрировав в него идеи из DAPO, что привело к более стабильному обучению.

Основные изменения включали в себя удаление терминов энтропии и потерь KL, а также внедрение методов «фильтрации по длине» и «клипирования по высоте». Оверлонг-фильтрация оказалась жизненно важной, позволяя модели сохранять рассуждения о длинных контекстах даже при обучении на более коротких контекстах, маскируя потери для усеченных последовательностей.

Была адаптирована техника под названием «итеративное удлинение контекста», ранее успешно применявшаяся в небольших моделях. Начав обучение с контекста длиной 16 Кбайт и расширив его до 32 Кбайт в сочетании с фильтрацией длинных контекстов, DeepCoder продемонстрировал поразительную обобщенность. Обучаясь на 32К контекстах, он достиг пика производительности при оценке на 64К контекстах - в отличие от базовых моделей, которые застыли на месте.

DeepCoder достиг впечатляющей точности 60,6 % Pass@1 в LiveCodeBench, что соответствует уровню производительности моделей OpenAI o3-mini (Low) и o1-2024-12-17, но с гораздо меньшим количеством параметров (14B). Модель также получила рейтинг Codeforces 1936 (95,3 процентиля) и 92,6 % по HumanEval+.

Несмотря на то, что он не был специально обучен математике, его улучшенные рассуждения хорошо обобщались - 73,8 % по AIME2024, что лучше, чем у базовой модели.

Оптимизация системы для ускорения RL

Осознавая, что обучение РЛ с длинным контекстом занимает невероятно много времени, в рамках сотрудничества был разработан verl-pipeline - оптимизированное расширение библиотеки verl RLHF с открытым исходным кодом.

Системы посттренинга часто оказываются зажатыми из-за времени, которое требуется для выборки длинных последовательностей. verl-pipeline вводит улучшения на уровне системы, включая «одноразовую конвейеризацию», которая позволяет параллельно выполнять выборку, расчет вознаграждения и шаги обучения более эффективно, чем наивная конвейеризация минипакетов.

Это позволило в 2 раза ускорить время сквозного обучения для задач кодирования по сравнению с базовой реализацией verl. Эти оптимизации были подтверждены обучением меньшей модели DeepCoder-1.5B, которая показала значительное улучшение по сравнению с базовой моделью.

Предоставляя открытый доступ к набору данных, коду обучения, журналам и оптимизациям системы verl-pipeline, Agentica и Together AI стремятся расширить возможности сообщества.

Hey @sama, we know you're planning to open-source your reasoning model—but we couldn’t wait.

Introducing DeepCoder-14B-Preview: a fully open-source reasoning model that matches o1 and o3-mini on both coding and math.

And yes, we’re releasing everything: model, data, code, and… https://t.co/PMKWRZjHyA

— Sijun Tan (@sijun_tan) April 8, 2025

Этот релиз не только предоставляет мощную, эффективную с точки зрения параметров модель кодирования ИИ с открытым исходным кодом, но и предлагает план и инструменты для других «прогресса в масштабировании и ускорении интеллекта с помощью RL».