Вышел открытый анлокер, который снимает ограничение матричных вычислений на GPU видеокарт...

Вышел открытый анлокер, который снимает ограничение матричных вычислений на GPU видеокарт Nvidia серий RTX30xx и RTX40xx

Представлены открытые проекты GPU-unlock и GPU-unlock-ADA . Это анлокеры, которые снимают ограничение производителя на выполнение матричных вычислений на видеокартах Nvidia серий RTX30xx (на чипах GA102, GA103, GA104 и GA106) и RTX40xx.

Nvidia программно блокирует скорость некоторых матричных вычислений, которые используют нейросети. По мнению экспертов отрасли, в компании это делают намеренно, чтобы на игровых видеокартах нельзя было эффективно запускать и тренировать ИИ. GPU-unlock снимает такие искусственные ограничения на производительность без изменения драйверов или прошивки.

Решение на базе анлокеров запускается до драйвера видеокарты. В итоге, например, итоговая мощность GPU в терафлопсах увеличивается для тренировки нейросетей и дообучения. Проект помогает увеличить производительность тензорных ядер в определенных задачах, таких как FP32 и BF16 вычисления. Также решение позволяет почти на 60% ускорить генерацию картинок и видео на локальных моделях.

У этих анлокеров есть и минус — в генерации текстов с помощью LLM эти проекты почти не помогают, так как в этом случае большой упор идёт на пропускную способность памяти видеокарты, ОЗУ и процессора.

Решение GPU-unlock базируется на исследованиях, связанных с разблокировкой прошивки для видеокарт CMP, используемых в майнинге криптовалют. Тесты показывают, что производительность GPU может увеличиться до 60% в зависимости от модели видеокарты и типа нагрузки.

В команде анлокера также работают над экспериментальной версией для Windows, которая использует UEFI вместо Linux-модуля. GPU Unlock не увеличивает пропускную способность видеопамяти и не разблокирует дополнительные CUDA ядра. Хотя проект обещает значительные улучшения в ИИ-вычислениях, нет доказательств его влияния на игровые показатели.

В текущей реализации проекты GPU-unlock и GPU-unlock-ADA представляет интерес для пользователей RTX 30 и RTX 40, работающих с локальными ИИ-задачами и высокими вычислительными нагрузками

Для ПК на Windows также выпущен экспериментальный порт по названием Windows GPU UNLOCK, но пока там в тестах смогли добиться работы только с RTX 3090 (FP16 вырос с 70,6 до 125,9 терафлопс).

источник