Google утверждает, что хакеры используют искусственный интеллект Gemini для расширения возможностей своих атак

Несколько спонсируемых государством групп экспериментируют с ассистентом Gemini от Google, работающим на базе искусственного интеллекта, для повышения производительности и изучения потенциальной инфраструктуры для атак или разведки целей.

Группа разведки угроз Google (GTIG) обнаружила связанные с правительством группы постоянных угроз (APT), использующие Gemini в основном для повышения производительности, а не для разработки или проведения новых кибератак с использованием ИИ, способных обойти традиционные средства защиты.

Угрожающие субъекты пытаются использовать инструменты ИИ для своих атак с разной степенью успеха, поскольку эти утилиты могут, по крайней мере, сократить период подготовки.

Google выявила активность Gemini, связанную с APT-группами из более чем 20 стран, но наиболее заметными оказались представители Ирана и Китая.

Среди наиболее распространенных случаев - помощь в решении задач кодирования для разработки инструментов и скриптов, исследование публично раскрытых уязвимостей, проверка технологий (объяснения, перевод), поиск подробностей о целевых организациях, а также поиск методов обхода обнаружения, повышения привилегий или проведения внутренней разведки во взломанной сети.

APT, использующие Gemini

По данным Google, APT из Ирана, Китая, Северной Кореи и России экспериментировали с Gemini, изучая возможности инструмента в обнаружении брешей в системе безопасности, обходе обнаружения и планировании действий после компрометации. Ниже приводится краткое описание этих экспериментов:

• Иранские угрожающие субъекты были самыми активными пользователями Gemini, используя его для широкого спектра действий, включая разведку оборонных организаций и международных экспертов, исследование публично известных уязвимостей, разработку фишинговых кампаний и создание контента для операций влияния. Они также использовали Gemini для перевода и технических разъяснений, связанных с кибербезопасностью и военными технологиями, включая беспилотные летательные аппараты (БПЛА) и системы противоракетной обороны.
• Поддерживаемые Китаем угрозы использовали Gemini в основном для разведки американских военных и правительственных организаций, исследования уязвимостей, написания сценариев для латерального перемещения и повышения привилегий, а также для действий после компрометации, таких как уклонение от обнаружения и сохранение устойчивости в сетях. Они также изучали способы получения доступа к Microsoft Exchange с помощью хэшей паролей и обратного инжиниринга средств защиты, таких как Carbon Black EDR.
• Северокорейские APT использовали Gemini для поддержки нескольких этапов жизненного цикла атаки, включая поиск провайдеров бесплатного хостинга, разведку целевых организаций и помощь в разработке вредоносного ПО и методов уклонения. Значительная часть их деятельности была сосредоточена на подпольной схеме работы северокорейских ИТ-специалистов, которые использовали Gemini для составления заявок на работу, сопроводительных писем и предложений по трудоустройству в западные компании под чужими именами.
• Российские угрожающие субъекты имели минимальное взаимодействие с Gemini, в основном их деятельность была направлена на помощь в написании сценариев, переводе и создании полезной нагрузки. Их деятельность включала переписывание общедоступных вредоносных программ на различные языки программирования, добавление функций шифрования к вредоносному коду и понимание того, как функционируют определенные части общедоступных вредоносных программ. Ограниченное использование может указывать на то, что российские субъекты предпочитают модели ИИ, разработанные в России, или избегают западных платформ ИИ по соображениям оперативной безопасности.
  Google также упоминает о случаях, когда угрожающие лица пытались использовать против Gemini публичные джейлбрейки или перефразировать свои запросы, чтобы обойти меры безопасности платформы. Как сообщается, эти попытки не увенчались успехом.

Компания OpenAI, создатель популярного ИИ-чатбота ChatGPT, сделала аналогичное заявление в октябре 2024 года, так что последний отчет Google стал подтверждением масштабного злоупотребления инструментами генеративного ИИ со стороны угроз всех уровней.

В то время как джейлбрейк и обход безопасности являются проблемой для основных продуктов ИИ, рынок ИИ постепенно заполняется моделями ИИ, которые не имеют надлежащей защиты для предотвращения злоупотреблений. К сожалению, некоторые из них с ограничениями, которые тривиально обойти, также пользуются растущей популярностью.

Компания KELA, специализирующаяся на кибербезопасности, недавно опубликовала подробности о слабых мерах безопасности DeepSeek R1 и Qwen 2.5 от Alibaba, которые уязвимы для атак типа «prompt injection», способных упростить вредоносное использование.

Исследователи Unit 42 также продемонстрировали эффективные методы джейлбрейка DeepSeek R1 и V3, показав, что эти модели легко использовать в неблаговидных целях.