ClickHouse представил новую фичу — lazy materialization. Теперь данные обрабатываются только когда это действительно нужно, что ускоряет запросы и экономит ресурсы. 🚀🔥 Идеально для больших аналитических нагрузок! #оптимизация #базыданных
ClickHouse представил новую оптимизацию — lazy materialization, которая откладывает чтение данных столбцов до момента, когда они действительно нужны. Это особенно эффективно для Top N запросов с LIMIT, где требуется лишь небольшая часть данных. В тестах на датасете Amazon reviews (150 млн строк) запрос с фильтрацией ускорился с 219 секунд до 0.18 секунд — в 1215 раз, а без фильтров — с 219 до 0.139 секунд (ускорение в 1576 раз). Ключевые преимущества lazy materialization: 1) Чтение только необходимых столбцов после сортировки и LIMIT; 2) Значительное снижение нагрузки на I/O; 3) Уменьшение использования памяти (до 300 раз). Технология работает совместно с другими оптимизациями ClickHouse: columnar storage, sparse primary indexes и PREWHERE. Lazy materialization особенно полезна для аналитических запросов с большими текстовыми полями, где традиционные подходы вынуждены читать избыточные данные. Оптимизация включена по умолчанию в ClickHouse 25.4 и не требует изменения SQL-запросов.
