物化我的理解就是获取某一个结果(或是这中间结果)
比如我有一个表 table: k1,k2,v1,v2,v3
如果我执行一个简单的SQL
select k1,k2 from table
如果我们的数据存储格式是按列组织的(列存),那么我们只需要物化k1,k2 (只需要扫描k1,k2所在的列),而v1,v2,v3在这个查询中不需要物化(这样可以减少大量的IO)
延迟物化:
延迟物化就是尽可能推迟物化的阶段
比如这样的一个SQL
select sum(v1), sum(v2), sum(v3) from table where k1 < 1000 and k2 < 2000;
在不考虑索引的前提下,如果不进行延迟物化,那我们就需要把k1,k2,v1,v2,v3 所有的数据都读取出来,然后从里面筛选出来想要的列。
但是如果我们最终结果集不是很多,而计算的列特别多,这个时候我们会扫描大量的数据。
对于这种情况。延迟物化是这一类case解决思路
我们不需要扫描所有的数据,我们可以只扫描 k1 < 1000 and k2 < 2000
的数据
在没有索引加速的情况下,我们可以先把 k1和k2这两列扫描出来另外,然后我们通过k1 k2的行号把剩余的其他列扫描出来。
除了filter之外,其实很多算子也是可以用延迟物化加速的。例如order by limit
select * from table order by k1 limit 10;
这个查询可能会扫描大量的数据,然后再做一个order by
但是这个查询的结果集只有10行。而且order by的一列,因此这个query我们可以这样改写:
select * from table where k1 in (select k1 from table order by k1 limit 10) order by k1 limit 10;