«Яндекс» существенно сократил расходы на обучение ИИ благодаря оптимизации инфраструктуры

Компания объявила о значительном повышении эффективности обучения больших языковых моделей (LLM) без потери качества и масштабов разработки. За счёт глубокой оптимизации инфраструктуры годовая экономия операционных расходов достигла 4,8 млрд рублей — около 400 млн рублей в месяц, рассказали Хабру в пресс‑службе «Яндекса».

Ключевым технологическим решением стала собственная библиотека YCCL (Yet Another Collective Communication Library). Она позволила вдвое ускорить обмен данными между графическими процессорами при обучении нейросетей, уменьшить объём передаваемой информации и перенести управление вычислениями с GPU на центральные процессоры.

Решение масштабируется на крупные кластеры, а сопоставимые разработки есть лишь у ведущих мировых игроков, подчеркнули в компании.

Дополнительный прирост эффективности обеспечил переход на формат вычислений FP8 с пониженной точностью. Он позволил ускорить обучение моделей на 30% и вдвое сократить объём коммуникаций между узлами. Исследования компании также показали, что увеличение батча — объёма обрабатываемых данных — не замедляет обучение.

В результате батч увеличили до 16–32 млн токенов, что позволило обучать модели практически без простоя графических процессоров.

Среди других улучшений — повышение стабильности IT‑инфраструктуры, снижение числа аппаратных сбоев и расходов на перезапуск обучения, а также оптимизация кода и совершенствование архитектуры систем обучения искусственного интеллекта.

В конце 2025 года «Яндекс» начал тестировать продвижение товаров и услуг внутри чата с «Алисой AI». Пока эксперимент охватывает всего 5% пользователей, но, как отметили в холдинге, рекламная модель постепенно масштабируется. Выручка от экспериментальных форматов монетизации ИИ превысила 2 млрд рублей. При этом совокупные капитальные и операционные расходы на развитие ИИ-ассистента составили 55 млрд рублей.