ИИ Claude Fable 5.1 оказался самой кошерной нейросетью

ИИ Claude Fable 5.1 оказался самой кошерной нейросетью. Исследователи из HalachaBench (да, это правда) провели эксперимент, чтобы выяснить, насколько хорошо разные

модели ИИ разбираются в еврейском религиозном праве. Для этого они взяли реальные экзаменационные вопросы для получения смихи (раввинской ординации) в Главном раввинате Израиля и предложили их нейросетям. 22 ИИ-модели отвечали на 60 вопросов по пяти разделам еврейского права без доступа к интернету и справочным материалам. Результаты оценивались по 100-балльной шкале, а проходной балл составляет 60.

В итоге локальные модели провалились: ни одна из протестированных не набрала даже 11 баллов из 100. А вот главные

облачные модели справились прекрасно: Gemini 3.8 Flash, Claude Opus 5.5, GPT-6.1 Sol, GPT-6 Astra, Gemini 4 Argon и Claude Fable 5.1 набрали больше 60 баллов и доказали, что они не гои. Лидером рейтинга стала Claude Fable 5.1, которая набрала 79,7 балла из 100. Самое интересное, что даже хорошо подготовленным людям такие экзамены даются нелегко, но у ИИ это получилось без проблем.

Бенчмарки, которые мы заслужили r/ #LocalLLaMA

источник