OpenAI объявляет о создании грантового фонда Superalignment для поддержки исследований по оценке сверхинтеллектуальных систем

OpenAI объявляет о новой грантовой программе, призванной помочь компаниям, работающим над созданием безопасных сверхразумных систем, поскольку, по мнению компании, сверхразум может быть достигнут в течение следующего десятилетия.

По мнению компании, эти продвинутые системы будут "способны на сложное и творческое поведение, которое человек не сможет полностью понять".

В настоящее время для обеспечения безопасности систем ИИ - процесс, называемый выравниванием, - используется обучение с подкреплением на основе человеческой обратной связи (RLHF). Этот метод основан на человеческом контроле, поэтому он может оказаться не столь эффективным при решении сложных задач, которые будет решать сверхинтеллектуальный ИИ. Например, если ИИ генерирует миллионы строк сложного кода, человек не сможет оценить его весь.

"Это приводит к фундаментальной проблеме: как люди могут управлять и доверять системам ИИ, которые намного умнее их? Это одна из самых важных нерешенных технических проблем в мире. Но мы считаем, что она решаема при согласованных усилиях. Существует множество многообещающих подходов и интересных направлений, а также множество "низко висящих фруктов". Мы считаем, что у сообщества исследователей ML и отдельных исследователей есть огромная возможность добиться значительного прогресса в решении этой проблемы уже сегодня", - пишет OpenAI в своем блоге.

Чтобы поддержать исследователей, решающих проблему "суперсогласования", OpenAI создает грантовую программу с бюджетом в 10 миллионов долларов.

Она будет выделять от 100 000 до 2 миллионов долларов академическим лабораториям, некоммерческим организациям и отдельным исследователям. OpenAI также запускает годовые стипендии в размере 150 000 долларов для аспирантов (половина пойдет на финансирование исследований, а вторая половина - на стипендию).

По словам представителей OpenAI, предварительный опыт в области выравнивания не требуется, и они готовы поддержать исследователей, которые еще не занимались этим вопросом.

Заявки будут приниматься до 18 февраля, а ответы на них будут получены в течение четырех недель после окончания срока подачи заявок.

Это часть более масштабного проекта OpenAI "Суперсогласование", о котором компания объявила в июле. OpenAI создала новую команду внутри компании и заявила, что выделит 20 % своих вычислительных мощностей в течение следующих четырех лет для решения этой задачи. Цель проекта - разработать "автоматического исследователя выравнивания на уровне примерно человека".