Ollama оказался медленным и небезопасным – лучше брать оригинальный llama.

Zetaphor опубликовал в своем блоге “Sleeping robots” резонансный пост . Автор, известный в сообществе локальных LLM, жёстко раскритиковал самый популярный инструмент для запуска нейросетей на собственном железе – Ollama (стартап, прошедший Y Combinator W21 и привлёкший венчурные деньги).

Поводом послужила многолетняя череда проблем: от игнорирования лицензии MIT и замалчивания реального движка llama.cpp до выпуска закрытой десктоп-программы.

Ollama появилась в 2023 году как удобная обёртка над llama.cpp – тем самым C++-движком, который Георгий Герганов набросал за один вечер в марте 2023 года. Именно llama.cpp, с его форматом GGUF и поддержкой более 450 контрибьюторов, сделал возможным запуск LLM на обычных ноутбуках.

Проблема в том, что больше года в README Ollama не было ни слова про llama.cpp , а бинарные сборки не включали требуемое лицензией MIT уведомление об авторских правах. Когда в начале 2024 года открыли issue #3185 с требованием соблюсти лицензию, мейнтейнеры молчали более 400 дней.

Позже, под давлением сообщества, один из сооснователей Майкл Чианг добавил в самый низ README одну строчку: “llama.cpp project founded by Georgi Gerganov”.

В середине 2025 года Ollama отказалась от llama.cpp в пользу собственной реализации поверх библиотеки ggml (низкоуровневого тензорного движка). Формальная причина – стабильность для корпоративных клиентов. Реальный результат – возвращение старых багов , которые llama.cpp побеждал годами. Сломалась поддержка структурированного вывода, полетели vision-модели, посыпались assertion-крэши.

Сам Георгий Герганов заметил в твиттере , что Ollama форкнула GGML и внесла в него плохие изменения. А бенчмарки показали катастрофу: llama.cpp быстрее Ollama в 1,8 раза (161 токен/с против 89) на GPU, а на процессорах разрыв достигает 30–50%. Тест на Qwen-3 Coder 32B продемонстрировал ~70% преимущество llama.cpp по пропускной способности.

Когда DeepSeek выпустил семейство R1 в январе 2025, Ollama выложила в своей библиотеке дистиллированные версии 8B, 32B (на базе Qwen и Llama⚹) просто как “DeepSeek-R1” , отрезав суффикс “-Distill”. Пользователи искренне верили, что запускают 671-миллиардную оригинальную модель на домашнем ПК, а потом жаловались на плохую работу – что нанесло репутационный ущерб DeepSeek.

GitHub-issues #8557 и #8698 с просьбой разделить модели закрыли без исправления.

В июле 2025 Ollama выпустила закрытую десктоп-программу для macOS и Windows в приватном репозитории, без лицензии и исходников. При этом на сайте кнопка скачивания стояла рядом со ссылкой на GitHub, создавая ложное впечатление, что вы получаете MIT-инструмент. Сообщество забило тревогу, и лишь через несколько месяцев код всё-таки влили в основной репозиторий.

Ollama придумала Modelfile – отдельный конфигурационный файл в стиле Dockerfile, в котором нужно прописывать шаблон чата, стоп-токены, параметры сэмплирования. Хотя спецификация GGUF требует, чтобы вся эта информация была уже внутри файла модели (пункт № 1: “Не нужно дополнительной информации от пользователя”).

В итоге, если Ollama не узнает шаблон из своего хардкоженного списка, она просто ломает формат инструкций, а пользователь вынужден вручную переводить Jinja-шаблон в синтаксис Go. При смене температуры или системного промпта Ollama копирует 30–60 ГБ модели – ведь команда ollama create дублирует весь GGUF.

Автор поста приводит список альтернатив, чем заменить Ollama:

⚹ Llama – проект компании Meta Platforms Inc., деятельность которой запрещена на территории Российской Федерации.

Делегируйте часть рутинных задач вместе с BotHub! Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 300 000 бесплатных токенов для первых задач и приступить к работе с нейросетями прямо сейчас!