Google представила TurboQuant — алгоритм, который ужимает потребление памяти нейросетями в 6 раз и разгоняет их до 8 раз
Теперь для тех же задач ИИ не нужны горы ОЗУ и дорогие видеокарты.
Рынок уже отреагировал: акции производителей памяти пошли вниз, а пользователи снова надеются на адекватные цены на оперативку.
чёт как-то подозрительно быстро попадали акции. Уверен там и другие связи, так как падали за долго до этой новости
беспорядочные?
да, похабные. вливаемся в промискуитет
Так они капец как быстро росли. Тем более что вроде как уже скоро можно будет локально у себя проверить как оно будет
да будто бы нахуй это никому не всралось проверять это локально. найдутся свои энтузиасты и на этом всё. никто не захочет обучать и возиться с моделями, которые стареют. Да ещё и обновлять. Как показал опыт всем нужно "А есть метод попроще?" "Меня и дипсик устраивает"
Там кажись это всё легко внедрить и уже текущие модели переобучать не нужно, оно с кэшем работает. Типа если у тебя раньше максимум там 32к токенов контекст был и уже всё ломалось, то теперь с той же моделью будет 128к спокойно держаться еще и скорость генерации вырастит
почекаем
тебя и дикпик устроит)
я им никогда и не пользовался
этой штуке уже год оказывается