Microsoft представила XPU‑ускоритель Maia 300 для инференса ИИ

Microsoft анонсировала следующее поколение специализированных ускорителей для машинного обучения — Azure ® Maia 300. В отличие от универсальных графических процессоров, проект Maia позиционируется как XPU, сфокусированный на ускорении инференса LLM и генеративных сервисов.

Инференс все больше смещается в сторону агентских сценариев, требующих многоступенчатого выполнения задач, длинноконтекстного декодирования и постоянного обращения к «внешним» инструментам. Чтобы эффективно обрабатывать такие алгоритмы, был сделан упор на устранение узкого места — пропускной способности памяти и задержек при передаче данных.

Maia 300 построен по мультичиплетной компоновке, где вычислительные ядра производятся по техпроцессу TSMC N2P. Архитектурно чип разделен на изолированные домены вычислений, контроллеров памяти и физических интерфейсов ввода‑вывода.

В основе Maia 300 лежит архитектура SDLA с программным управлением потоками данных. Она позволяет размещать данные максимально близко к использующим их вычислительным блокам и явно управлять передачей между памятью, вычислительными движками и сетью. Переход к NUMA‑топологии между чиплетами помогает сократить нецелевые перемещения данных и связанные с ними энергозатраты.

Используются восемь стеков HBM4 суммарным объемом 288 ГБ. Пиковая пропускная способность памяти достигает 18 ТБ/с на один ускоритель. По сравнению с прошлым поколением Maia 200 новинка демонстрирует рост ПСП в 2,5 раза, увеличение объема памяти на 33% и двукратное повышение эффективности HBM в расчете на Ватт при общем теплопакете чипа в 950 Вт.

Для оптимизации инференса реализована поддержка форматов пониженной точности, включая улучшенный MXFP4 и «суб-3-битные» форматы хранения: более компактные представления данных сокращают объем занимаемой памяти и интенсивность ее «пересылок». Это позволяет более оптимально удерживать контекст и KV‑кэш больших моделей, а также обслуживать больше параллельных сессий в рамках такого же энергопотребления.

Microsoft отказалась от концепции раздельных процессорных хост‑узлов и отдельной платы ускорителей. Вместо этого инженеры применили объединенную архитектуру вычислительных блоков. Один блок содержит четыре ускорителя Maia 300, скомпонованных с хост‑процессором, оперативной памятью, накопителями и компонентами жидкостного охлаждения.

Полная серверная стойка включает 24 таких блока, что в сумме дает 96 ускорителей Maia 300 и 27,6 ТБ памяти HBM4 с общим энергопотреблением около 167 кВт. Коммутация внутри стойки обеспечивается шестью ASIC‑коммутаторами, размещенными в трех блоках жидкостного охлаждения.

Система поддерживает как прямое подключение к жидкостному контуру ЦОД, так и работу через промежуточные теплообменники вода‑воздух для быстрой интеграции в существующую инфраструктуру.

Арендуйте GPU за 1 рубль!

Выберите нужную конфигурацию в панели управления Selectel. *

Подробнее →

Сетевая архитектура продолжает подход SDLA за пределами отдельного ускорителя. Вместо изоляции доменов scale‑up и scale‑out используется единая двухуровневая сеть на базе Ethernet, обеспечивающая взаимодействие как внутри стойки, так и между стойками суперпода.

На первом уровне внутри стойки используются медные соединения. Каждая пара чипов внутри блока имеет прямые связи, а остальная коммутация стойки организована по полукоммутируемой топологии, что снижает накладные расходы и энергопотребление. На втором уровне происходит объединение до 128 стоек с помощью оптических коммутаторов второго уровня в единый суперпод, включающий до 12 288 ускорителей Maia 300.

Гибкая архитектура сети позволяет перераспределять полосу пропускания до 750 ГБ/с между любыми чипами в суперподе. Это дает возможность удерживать трафик тензорного параллелизма внутри одной стойки на 96 ускорителей с минимальной задержкой, а параллелизм экспертов и конвейерный параллелизм распределять по всему суперподу без риска простоя вычислительных блоков.

По расчетам Microsoft , на уровне стойки Maia 300 дает семикратный прирост пропускной способности генерируемых токенов по сравнению с Maia 200 и обеспечивает на 40% больше токенов на мегаватт мощности по сравнению с традиционными GPU‑решениями.

Развертывание Maia 300 в промышленной инфраструктуре Azure намечено на 2027 год. Новые чипы станут базовой платформой для обработки инференса в сервисах Microsoft Copilot, Teams, GitHub Copilot и других внутренних системах обработки естественного языка.

источник