Предоставление агентам ИИ возможности навигации и взаимодействия с сетью

Развитие искусственного интеллекта переходит на новый важный этап: появляются агенты ИИ, способные получать свежую информацию из Интернета, планировать и выполнять задачи в автономном режиме. Эти агенты, вместо того чтобы полагаться только на свои обучающие данные, могут взаимодействовать с Интернетом, чтобы находить и использовать самые свежие сигналы данных.

Подобная динамическая разведка приводит к огромному прогрессу в автоматизации задач с помощью ИИ. Имея доступ к динамической информации, агенты ИИ могут выполнять всевозможные действия, которые раньше были невозможны: например, бронировать билеты на концерт или футбольный матч в момент их поступления в продажу, следить за обновлениями на сайте, покупать и продавать акции на основе актуальных рыночных данных или корректировать цепочки поставок в зависимости от меняющихся погодных условий.

Быстрая эволюция в динамичных условиях

Если первые модели LLM могли опираться только на обучающие данные, то модели, использующие контекстное обучение, могут принимать решения на основе последовательности подсказок, поступающих в течение сессии, без изменения базовых параметров. ИИ учится на основе контекста разговора с пользователем, что делает его более адаптируемым и способным более точно отвечать даже на нечеткие запросы.

Этот прогресс дополняется технологией Retrieval-Augmented Generation (RAG), которая позволяет LLM получать более свежую информацию из внешних баз данных, повышая качество выдаваемой информации.

Исследование - это новейшая техника улучшения LLM с помощью внешних знаний, которая позволяет агентам ИИ исследовать и взаимодействовать с окружающей средой, чтобы они могли автономно выполнять задачи от имени пользователей.

Вместо статичного поиска информации агенты ИИ могут перемещаться по крупнейшему в мире источнику неструктурированных данных - Интернету - для сбора информации в режиме реального времени и последующего выполнения действий в этой среде, таких как нажатие на кнопки и заполнение форм. Сочетая эти исследовательские способности с навыками рассуждения и принятия решений, агенты могут стать гораздо более человекоподобными в своей способности автономно выполнять задачи.

Использование интернета

Чтобы ИИ-агенты могли осуществлять поиск и взаимодействовать с Интернетом таким образом, им необходимы два навыка - планирование и выполнение. Планирование - это способность агента ИИ исследовать веб-страницы, находить нужный сайт, понимать его и затем правильно определять последовательность действий, которые он должен выполнить для выполнения поставленной задачи.

Выполнение относится к способности агента ИИ определять и взаимодействовать с основными элементами веб-сайта, необходимыми для выполнения действий.

Самые ранние агенты ИИ для взаимодействия с веб-сайтами полагались на интерфейсы прикладного программирования, но их работа была сильно затруднена из-за ограниченного количества доступных вызовов API. Если API веб-сервиса не поддерживал какую-либо важную функцию, у агента ИИ не было возможности использовать этот сервис должным образом.

Планируя и выполняя действия, агенты ИИ могут обойти эти ограничения. Когда мы говорим о «планировании», мы как будто даем нашим агентам ИИ мышь и клавиатуру, чтобы они могли взаимодействовать с Интернетом так же, как это делает человек. Платформы для тестирования браузеров, такие как Playwright и Selenium, предоставляют нам отличную основу для этого. С их помощью большинство веб-разработчиков проверяют, что функции их сайтов (например, вход в систему, строки поиска, корзины и т. д.) работают так, как ожидалось. Для этого они запускают скрипты Python, имитирующие действия пользователя.

Наряду с этой основой агентам ИИ также необходим доступ к специализированному браузеру. Если старые решения, такие как Anthropic's Computer Use, способны контролировать одно пользовательское устройство за раз, то для масштабного доступа к информации требуется облачная масштабируемость.

Браузер для скрапинга от Bright Data поддерживает неограниченное количество одновременных сессий для непрерывного и массового сбора интернет-данных, используя интеграцию с платформами управления сценариями и API для детального контроля. Он позволяет этично обойти инструменты блокировки ботов, используемые социальными сетями и платформами электронной коммерции для предотвращения анализа автономного трафика на их веб-страницах. Он использует такие методы, как передовые решатели Captcha, отпечатки пальцев браузера, автоматические повторные попытки и парк из 150 миллионов IP-адресов прокси-серверов Bright Data, чтобы обойти блокпосты и беспрепятственно искать в каждом уголке Интернета.

Для поддержки «исполнения» скрипты могут преобразовывать текст, изображения и другую информацию с веб-страниц в структурированный формат данных, который LLM может обрабатывать более легко и детерминированно. Это позволяет агентам ИИ обрабатывать различные опции и функции на каждой веб-странице, чтобы они могли понять, как выполнить требуемые действия.

Хотя инструменты, основанные на компьютерном зрении, позволяют определять кнопки и читать меню, делая скриншоты веб-страницы, они не всегда улавливают более динамичные, встроенные элементы, что делает агентов ИИ неэффективными при выполнении многих задач. Разбирая основной код каждого сайта, команды разработчиков могут использовать одни и те же сценарии Python для тестирования функций сайта.

Автоматизация нового уровня

При создании ИИ-агентов для поиска и взаимодействия с Интернетом важно помнить о различии между планированием и выполнением. Первое относится к стратегии высшего уровня, по сути, определяя, как агент «думает», в то время как второе относится к «действиям», определяя шаги, необходимые для выполнения задач. Неумение различать разницу может существенно повлиять на эффективность ИИ-агента.

Следующее поколение агентов ИИ обеспечит резкий скачок в производительности, поскольку они выйдут за рамки зависимости от статичной информации и начнут активно исследовать и взаимодействовать с Интернетом. Объединив способность к активному поиску и пониманию интернет-страниц с навыками, необходимыми для манипулирования увиденным, ИИ-агенты смогут стать на порядок более способными, чем все, что мы видели до сих пор.