Amazon AWS представляет чип Trainium3, проект Rainier

Проект Rainier - это «ультракластер», в котором будут объединены сотни тысяч чипов Trainium.

В понедельник на ежегодной конференции re:Invent в Лас-Вегасе сервис облачных вычислений AWS от Amazon представил третье поколение своего компьютерного чипа Trainium для обучения больших языковых моделей (LLM) и других форм искусственного интеллекта (ИИ), спустя год после дебюта второй версии чипа.

Новый чип Trainium3, который станет доступен в следующем году, будет в два раза быстрее существующего Trainium2 и при этом на 40% более энергоэффективным, заявил генеральный директор AWS Мэтт Гарман во время своего выступления во вторник.

Trainum3 - это первый чип от AWS, в котором используется трехнанометровая технология производства полупроводников.

Тем временем чипы Trainium2, представленные год назад, уже поступили в продажу, говорит Гарман. Чипы в четыре раза быстрее, чем предыдущее поколение. Чипы ориентированы на обучение LLM, и Гарман особо отметил производительность популярной модели Llama от Meta Platforms с открытым исходным кодом.

«Независимые тесты производительности Llama 405B от Meta показали, что Amazon Bedrock, работающий на экземплярах Trn2, обеспечивает более чем 3-кратное увеличение пропускной способности при генерации токенов по сравнению с другими доступными предложениями крупных облачных провайдеров», - заявляет компания.

Amazon также анонсировала UltraServers, новое предложение для облачного сервиса AWS Elastic Compute Cloud, которое объединяет 64 существующих чипа Trainium2 «в один гигантский сервер», используя межсоединения NeuronLink. Серверы уже доступны на EC2.

По словам представителей Amazon, UltraServer предназначен для работы с LLM с триллионами параметров. Чтобы облегчить разработку деталей Trainium, компания выпустила комплект для разработки программного обеспечения, известный как Neuron, который включает компилятор, библиотеки времени выполнения и инструменты, оптимизированные для Trainium. Neuron имеет встроенную поддержку «популярных фреймворков» для ИИ, таких как JAX и PyTorch, и «более 100 000 моделей в хабе моделей Hugging Face».

Гарман также рассказал о будущих разработках. Ожидается, что новые версии UltraServers под управлением Trainium3 будут в четыре раза «производительнее», чем UltraServers на базе Trainium2, «что позволит клиентам еще быстрее создавать модели и обеспечит превосходную производительность в реальном времени при их развертывании».

Компания заявила, что в настоящее время ведется работа над созданием «Project Rainier», который будет представлять собой «UltraCluster», объединяющий множество UltraServers, чтобы обеспечить доступ к «сотням тысяч чипов Trainium2».

UltraCluster разрабатывается в партнерстве со стартапом Gen AI Anthropic.

Re:Invent продлится до пятницы, 6 декабря, и вы можете бесплатно зарегистрироваться, чтобы посмотреть прямую трансляцию на сайте мероприятия.