Red Hat делает большую ставку на ИИ благодаря приобретению Neural Magic

Все и их собаки занимаются искусственным интеллектом, но у Red Hat серьезные планы, и приобретение Neural Magic поможет воплотить их в жизнь.

Компания Red Hat, принадлежащий IBM гигант в области программного обеспечения с открытым исходным кодом, завершила приобретение Neural Magic, новаторского стартапа по оптимизации искусственного интеллекта (ИИ). Сделка, о которой было объявлено в ноябре 2024 года, завершилась 13 января 2025 года, став важным шагом в стратегии Red Hat по расширению возможностей ИИ в гибридных облачных средах.

Хотя цена сделки не разглашается, ранее Neural Magic привлекла 50 миллионов долларов венчурного финансирования от различных инвесторов, включая Andreessen Horowitz, New Enterprise Associates, Amdocs и Comcast Ventures. Можно с уверенностью предположить, что сделка была заключена не ради арахиса. Уверен, что делу не помешал тот факт, что генеральным директором Neural Magic до закрытия сделки был Брайан Стивенс, бывший технический директор и исполнительный вице-президент Red Hat.

Когда было объявлено о слиянии, Стивенс сказал: «В Neural Magic мы считаем, что будущее ИИ открыто, и мы стремимся дать предприятиям возможность использовать мощные инновации ИИ, не испытывая при этом никаких трудностей и ограничений». В основе этого лежат модели с открытым исходным кодом, алгоритмы оптимизации и системы выводов, позволяющие предприятиям владеть собственными моделями ИИ, настраивать их под свои наборы данных и развертывать в частной инфраструктуре различных поставщиков - облаке, центре обработки данных или на границе».

Компания Neural Magic, основанная в 2018 году спиноффом Массачусетского технологического института, разработала инновационное программное обеспечение и алгоритмы, которые ускоряют рабочие нагрузки генеративного ИИ.

Технология компании позволяет эффективно запускать сложные модели ИИ на аппаратном обеспечении, включая стандартные CPU и GPU, что потенциально снижает потребность в дорогостоящих специализированных ускорителях ИИ.

Также: Почти половина приверженцев ИИ поколения Gen хочет, чтобы он был с открытым исходным кодом - и вот почему.

Итак, что означают эти возможности? Благодаря приобретению Neural Magic компания Red Hat получила несколько ключевых технологий:

1. Экспертиза vLLM: Neural Magic является ведущим разработчиком vLLM, проекта с открытым исходным кодом для эффективного обслуживания больших языковых моделей (LLM). В частности, vLLM уже используется в Red Hat Enterprise Linux (RHEL) AI и Red Hat OpenShift AI в качестве механизма вывода. Этот шаг явно пойдет на пользу существующим программам Red Hat в области ИИ.
2. DeepSparse: Время выполнения вычислений, обеспечивающее производительность класса GPU на центральных процессорах за счет алгоритмов, снижающих потребности в вычислениях и памяти для выполнения нейронных сетей. В частности, помимо LLM, DeepSparse также полезна для компьютерного зрения (CV) и обработки естественного языка (NLP).
3. SparseZoo: Если вы используете DeepSparse, Neural Magic уже предоставляет хранилище предварительно оптимизированных моделей CV, NLP и LLM.
4. Техники сжатия моделей: Neural Magic разработала передовые методы квантования и разрежения моделей, которые позволяют значительно уменьшить размер модели и вычислительные требования без существенной потери точности.
5. Кросс-платформенная оптимизация: Технология Neural Magic позволяет оптимизировать модели ИИ для развертывания в облачных средах, центрах обработки данных и пограничных средах.

Эти технологии соответствуют концепции Red Hat - сделать рабочие нагрузки ИИ более доступными, эффективными и развертываемыми в гибридных облачных средах, что в перспективе снизит потребность в специализированном и дорогостоящем оборудовании для ИИ. В двух словах, технология Neural Magic позволяет пользователям делать ИИ дешево. Кроме того, в основе vLLM лежит подход к ИИ с открытым исходным кодом.

Что касается Red Hat, то, как сказал в своем заявлении генеральный директор компании Мэтт Хикс (Matt Hicks): «Мы рады дополнить наш портфель гибридных облаков, ориентированных на ИИ, новаторскими инновациями Neural Magic в области ИИ, что способствует нашему стремлению быть не только «Red Hat» с открытым исходным кодом, но и «Red Hat» с ИИ».

На сайте X Хикс написал: «В @RedHat мы верим, что будущее ИИ открыто. Именно поэтому я невероятно рад приобретению @NeuralMagic. Вместе мы укрепляем наши обязательства перед клиентами и сообществом разработчиков с открытым исходным кодом, чтобы обеспечить будущее ИИ - и это начинается уже сегодня».

В стратегическом плане Red Hat надеется, что приобретение Neural Magic укрепит позиции Red Hat в возможности развертывания рабочих нагрузок ИИ в различных вычислительных средах, от локальных центров обработки данных до публичных облаков, и повысит эффективность рабочих нагрузок ИИ, уже работающих на RHEL AI, OpenShift AI и InstructLab, проекте сообщества Red Hat и IBM AI с открытым исходным кодом по улучшению лицензированных IBM Granite LLM с открытым исходным кодом.

Итак, сработает ли такой подход? Дэйв Маккарти, вице-президент IDC по исследованиям облачных и пограничных сервисов, считает, что да: «Приобретение компанией Red Hat компании Neural Magic является стратегическим расширением ее возможностей в области ИИ, облегчающим развертывание ИИ в гибридных облаках за счет использования опыта Neural Magic в оптимизации моделей и ускорении выводов. Этот шаг согласуется с приверженностью Red Hat к инновациям с открытым исходным кодом и позволяет компании предлагать более экономичные и масштабируемые решения в области ИИ, которые снижают зависимость от специализированного оборудования».