跳到主要内容

异步物化视图原理介绍

异步物化视图构建​

物化视图创建分区有两种方式：自定义分区和依赖基表的分区自动创建分区

自定义分区​

创建物化视图时，如果不指定分区信息，物化视图将默认创建一个分区，所有数据都存放在这个分区中。

依赖基表进行分区​

物化视图可以通过多个基表 JOIN 关联创建，并可以选择追随其中一个基表进行分区（建议选择事实表）。

例如，基表t1和t2的建表语句分别如下：

CREATE TABLE `t1` (
  `user_id` LARGEINT NOT NULL,
  `o_date` DATE NOT NULL,
  `num` SMALLINT NOT NULL
) ENGINE=OLAP
COMMENT 'OLAP'
PARTITION BY RANGE(`o_date`)
(
PARTITION p20170101 VALUES [('2017-01-01'), ('2017-01-02')),
PARTITION p20170102 VALUES [('2017-01-02'), ('2017-01-03')),
PARTITION p20170201 VALUES [('2017-02-01'), ('2017-02-02'))
)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 2
PROPERTIES ('replication_num' = '1') ;
CREATE TABLE `t2` (
  `user_id` LARGEINT NOT NULL,
  `age` SMALLINT NOT NULL
) ENGINE=OLAP
PARTITION BY LIST(`age`)
(
    PARTITION `p1` VALUES IN ('1'),
    PARTITION `p2` VALUES IN ('2')
)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 2
PROPERTIES ('replication_num' = '1') ;

若物化视图的建表语句如下：

CREATE MATERIALIZED VIEW mv1
BUILD DEFERRED REFRESH AUTO ON MANUAL
partition by(`order_date`)
DISTRIBUTED BY RANDOM BUCKETS 2
PROPERTIES (
'replication_num' = '1'
)
AS
SELECT t1.o_date as order_date, t1.user_id as user_id, t1.num, t2.age FROM t1 join t2 on t1.user_id=t2.user_id;

那么物化视图mv1将和t1一样，有三个分区：

  • [('2017-01-01'), ('2017-01-02'))

  • [('2017-01-02'), ('2017-01-03'))

  • [('2017-02-01'), ('2017-02-02'))

若物化视图的建表语句如下：

CREATE MATERIALIZED VIEW mv2
BUILD DEFERRED REFRESH AUTO ON MANUAL
partition by(`age`)
DISTRIBUTED BY RANDOM BUCKETS 2
PROPERTIES (
'replication_num' = '1'
)
AS
SELECT t1.o_date as order_date, t1.user_id as user_id, t1.num, t2.age FROM t1 join t2 on t1.user_id=t2.user_id;

那么物化视图mv2将和t2一样，有两个分区：

  • ('1')

  • ('2')

在依赖基表分区创建物化视图时，不同场景需要合理设计不同的分区策略，下面将举例说明多列分区、部分分区与分区上卷三种情况。

1. 基表有多列分区

提示

自 Doris 2.1.0 版本起支持多列分区

目前仅支持 Hive 外表有多列分区。Hive 外表有很多多级分区的情况，例如一级分区按照日期，二级分区按照区域。物化视图可以选择 Hive 的某一级分区列作为物化视图的分区列。

例如，Hive 的建表语句如下：

CREATE TABLE hive1 (
`k1` int)
PARTITIONED BY (
`year` int,
`region` string)
STORED AS ORC;

alter table hive1 add if not exists
partition(year=2020,region="bj")
partition(year=2020,region="sh")
partition(year=2021,region="bj")
partition(year=2021,region="sh")
partition(year=2022,region="bj")
partition(year=2022,region="sh")

当物化视图的创建语句如下时，物化视图mv_hive将有三个分区：('2020')，('2021')，('2022')

CREATE MATERIALIZED VIEW mv_hive
BUILD DEFERRED REFRESH AUTO ON MANUAL
partition by(`year`)
DISTRIBUTED BY RANDOM BUCKETS 2
PROPERTIES ('replication_num' = '1')
AS
SELECT k1,year,region FROM hive1;

当物化视图的建表语句如下时，那么物化视图mv_hive2将有如下两个分区：('bj')，('sh')：

CREATE MATERIALIZED VIEW mv_hive2
BUILD DEFERRED REFRESH AUTO ON MANUAL
partition by(`region`)
DISTRIBUTED BY RANDOM BUCKETS 2
PROPERTIES ('replication_num' = '1')
AS
SELECT k1,year,region FROM hive1;

2. 仅使用基表部分分区

提示

自 Doris 2.1.1 版本起支持此功能

有些基表有很多分区，但是物化视图只关注最近一段时间的“热”数据，那么可以使用此功能。

基表的建表语句如下：

CREATE TABLE t1 (
    `k1` INT,
    `k2` DATE NOT NULL
) ENGINE=OLAP
DUPLICATE KEY(`k1`)
COMMENT 'OLAP'
PARTITION BY range(`k2`)
(
PARTITION p26 VALUES [("2024-03-26"),("2024-03-27")),
PARTITION p27 VALUES [("2024-03-27"),("2024-03-28")),
PARTITION p28 VALUES [("2024-03-28"),("2024-03-29"))
)
DISTRIBUTED BY HASH(`k1`) BUCKETS 2
PROPERTIES (
'replication_num' = '1'
);

物化视图的创建语句如以下举例，代表物化视图只关注最近一天的数据。若当前时间为 2024-03-28 xx:xx:xx，这样物化视图会仅有一个分区 [("2024-03-28"),("2024-03-29")]：

CREATE MATERIALIZED VIEW mv1
BUILD DEFERRED REFRESH AUTO ON MANUAL
partition by(`k2`)
DISTRIBUTED BY RANDOM BUCKETS 2
PROPERTIES (
'replication_num' = '1',
'partition_sync_limit'='1',
'partition_sync_time_unit'='DAY'
)
AS
SELECT * FROM t1;

若时间又过了一天，当前时间为 2024-03-29 xx:xx:xx，t1则会新增一个分区 [("2024-03-29"),("2024-03-30")]，若此时刷新物化视图，刷新完成后，物化视图会仅有一个分区 [("2024-03-29"),("2024-03-30")]。

此外，分区字段是字符串类型时，可以设置物化视图属性 partition_date_format，例如 %Y-%m-%d 。

3. 分区上卷

提示

自 Doris 2.1.5 版本起支持此功能

当基表数据经过聚合处理后，各分区的数据量可能会显著减少。在这种情况下，可以采用分区上卷策略，以降低物化视图的分区数量。

  • List 分区

    需要注意的是，Hive 中的分区对应于 Doris 中的 list 分区。

    假设基表的建表语句如下：

    CREATE TABLE `t1` (
    `k1` INT NOT NULL,
    `k2` DATE NOT NULL
    ) ENGINE=OLAP
    DUPLICATE KEY(`k1`)
    COMMENT 'OLAP'
    PARTITION BY list(`k2`)
    (
    PARTITION p_20200101 VALUES IN ("2020-01-01"),
    PARTITION p_20200102 VALUES IN ("2020-01-02"),
    PARTITION p_20200201 VALUES IN ("2020-02-01")
    )
    DISTRIBUTED BY HASH(`k1`) BUCKETS 2
    PROPERTIES ('replication_num' = '1') ;

    若物化视图的创建语句如下，则该物化视图将包含两个分区：("2020-01-01","2020-01-02") 和 ("2020-02-01")

    CREATE MATERIALIZED VIEW mv1
        BUILD DEFERRED REFRESH AUTO ON MANUAL
        partition by (date_trunc(`k2`,'month'))
        DISTRIBUTED BY RANDOM BUCKETS 2
        PROPERTIES (
        'replication_num' = '1'
        )
        AS
        SELECT * FROM t1;

    若物化视图的创建语句如下，则该物化视图将只包含一个分区：("2020-01-01","2020-01-02","2020-02-01")

    CREATE MATERIALIZED VIEW mv1
        BUILD DEFERRED REFRESH AUTO ON MANUAL
        partition by (date_trunc(`k2`,'year'))
        DISTRIBUTED BY RANDOM BUCKETS 2
        PROPERTIES (
        'replication_num' = '1'
        )
        AS
        SELECT * FROM t1;

  • Range 分区

    假设基表的建表语句如下：

    CREATE TABLE `t1` (
    `k1` LARGEINT NOT NULL,
    `k2` DATE NOT NULL
    ) ENGINE=OLAP
    DUPLICATE KEY(`k1`)
    COMMENT 'OLAP'
    PARTITION BY range(`k2`)
    (
    PARTITION p_20200101 VALUES [("2020-01-01"),("2020-01-02")),
    PARTITION p_20200102 VALUES [("2020-01-02"),("2020-01-03")),
    PARTITION p_20200201 VALUES [("2020-02-01"),("2020-02-02"))
    )
    DISTRIBUTED BY HASH(`k1`) BUCKETS 2
    PROPERTIES ('replication_num' = '1') ;

    若物化视图的创建语句如下，则该物化视图将包含两个分区：[("2020-01-01","2020-02-01")] 和 [("2020-02-01","2020-03-01")]

    CREATE MATERIALIZED VIEW mv1
        BUILD DEFERRED REFRESH AUTO ON MANUAL
        partition by (date_trunc(`k2`,'month'))
        DISTRIBUTED BY RANDOM BUCKETS 2
        PROPERTIES (
        'replication_num' = '1'
        )
        AS
        SELECT * FROM t1;

    若物化视图的创建语句如下，则该物化视图将只包含一个分区：[("2020-01-01","2021-01-01")]

    CREATE MATERIALIZED VIEW mv1
        BUILD DEFERRED REFRESH AUTO ON MANUAL
        partition by (date_trunc(`k2`,'year'))
        DISTRIBUTED BY RANDOM BUCKETS 2
        PROPERTIES (
        'replication_num' = '1'
        )
        AS
        SELECT * FROM t1;

    此外，如果分区字段为字符串类型，可以通过设置物化视图的 partition_date_format 属性来指定日期格式，例如 '%Y-%m-%d'。

异步物化视图刷新​

物化视图是按照分区为单位进行刷新的。如果物化视图没有指定分区，那么每次都刷新物化视图的默认分区，即刷新物化视图的全部数据。

物化视图有三种触发刷新机制：

手动触发​

用户通过 SQL 语句触发物化视图的刷新，目前有三种策略：

  • 不关心具体刷新哪些分区，要求刷新完成后，物化视图的数据和基表保持同步。

    REFRESH MATERIALIZED VIEW mvName AUTO;

  • 不管物化视图现存哪些数据，刷新物化视图的所有分区。

    REFRESH MATERIALIZED VIEW mvName COMPLETE;

  • 不管物化视图现存哪些数据，只刷新指定的分区。

    REFRESH MATERIALIZED VIEW mvName partitions(partitionName1,partitionName2);
提示

partitionName 可以通过 SHOW PARTITIONS FROM mvName 获取。

定时触发​

通过物化视图的创建语句指定间隔多久刷新一次数据

  • 如果物化视图的创建语句如下，要求全量刷新 (REFRESH COMPLETE)，那么物化视图每 10 小时刷新一次，并且刷新物化视图的所有分区。

    CREATE MATERIALIZED VIEW mv1
    REFRESH COMPLETE ON SCHEDULE EVERY 10 hour
    partition by(`xxx`)
    AS
    select ...;

  • 如果物化视图的创建语句如下，要求自动计算需要刷新的分区 (REFRESH AUTO)，那么物化视图每 10 小时刷新一次（从 2.1.3 版本开始能自动计算 Hive 需要刷新的分区）。

    CREATE MATERIALIZED VIEW mv1
    REFRESH AUTO ON SCHEDULE EVERY 10 hour
    partition by(`xxx`)
    AS
    select ...;

自动触发​

提示

自 Apache Doris 2.1.4 版本起支持此功能。

基表数据发生变更后，自动触发相关物化视图刷新，刷新的分区范围与“定时触发”一致。

如果物化视图的创建语句如下，那么当 t1 的数据发生变化时，会自动触发物化视图的刷新。

CREATE MATERIALIZED VIEW mv1
REFRESH ON COMMIT
partition by(`xxx`)
AS
select ... from t1;

透明改写能力​

Doris 的异步物化视图采用了基于 SPJG（SELECT-PROJECT-JOIN-GROUP-BY）模式的结构信息来进行透明改写的算法。Doris 能够分析查询 SQL 的结构信息，自动寻找满足要求的物化视图，并尝试进行透明改写，使用最优的物化视图来表达查询 SQL。

流程图​

透明改写能力

基于结构信息透明改写​

如上述流程图所示，在获取物化对应的查询结构后，将基于结构信息进行透明改写。这时，需要做如下校验：

1. 校验物化视图是否包含查询所需的所有行

  • 对于查询：SELECT * FROM T1, T2, …, Tm WHERE Wq

  • 对于物化视图：SELECT * FROM T1, T2, …, Tm WHERE Wv

注意

查询的条件要强于或等于物化的条件。

其中 T1, T2 是表、Wq 代表查询的 WHERE 过滤条件、Wv 代表物化视图 WHERE 过滤条件。要满足视图包含了查询所需要的所有行，就要满足过滤条件 Wq 能够推导出 Wv，即 Wq -> Wv（比如 Wq > 20, Wv > 10，Wq 就能够推导出 Wv。）

对于表达式 W 还可以细化，过滤的表达式可以拆成三部分：PE ∧ PR ∧ PU。

  • PE 代表相等的表达式；

  • PR 代表范围过滤的表达式，使用“<”, “≤”, “=”, “≥”, “>”连接的操作符；

  • PU 代表除了前面表达式的其余补偿表达式。

因此，基于 Wq -> Wv 推导出 (PEq ∧ PRq ∧ PUq → PEv ∧ PRv ∧ PUv)。其中 q 代表查询，v 代表物化视图。

因为 A -> C，那么 AB -> C，上面的表达式可以进一步推导如下：

(PEq∧ PRq∧PUq⇒ PEv )∧
(PEq∧ PRq∧PUq⇒ PRv)∧
(PEq∧ PRq∧PUq⇒ PUv)

可以进一步简化成：

(PEq ⇒ PEv ) (Equijoin subsumption test 等值条件校验)
(PEq ∧ PRq ⇒ PRv) (Range subsumption test 范围条件校验)
(PEq ∧ PUq ⇒ PUv ) (Residual subsumption test 补偿条件校验)

  • 等值条件校验：总体原则是物化视图的相等表达式是查询相等表达式的子集。等价表达式具有传递性，也应保持正确性。

  • 视图的范围表达式应包含查询的表达式。例如，T=常量值，可以转换成 T>= 常量值 and T<= 常量值的形式。

  • 采用 Expression Equals 的方式，校验物化视图中出现的补偿表达式是否是查询补偿表达式的子集。

接下来，我们将通过举例进一步解释检验步骤：

物化视图的定义：

Select l_orderkey, o_custkey, l_partkey,
l_shipdate, o_orderdate,
l_quantity*l_extendedprice as gross_revenue
From dbo.lineitem, dbo.orders, dbo.part
Where l_orderkey = o_orderkey
And l_partkey = p_partkey
And p_partkey >= 150
And o_custkey >= 50 and o_custkey <= 500
And p_name like ‘%abc%’

查询的定义：

Select l_orderkey, o_custkey, l_partkey,
l_quantity*l_extendedprice
From lineitem, orders, part
Where l_orderkey = o_orderkey
And l_partkey = p_partkey
And l_partkey >= 150 and l_partkey <= 160
And o_custkey = 123
And o_orderdate = l_shipdate
And p_name like ‘%abc%’
And l_quantity*l_extendedprice > 100

第一步：计算等价类

  • 视图等价类：{l_orderkey, o_orderkey},{l_partkey, p_partkey}, {o_orderdate}, {l_shipdate}

  • 查询等价类：{l_orderkey, o_orderkey},{l_partkey, p_partkey}, {o_orderdate, l_shipdate}

第二步：校验等值等价类

  • 若 视图等价表达式 = 查询等价表达式的子集，则通过校验。

第三步：计算范围表达式

  • 视图范围表达式：{l_partkey, p_partkey} ∈ (150, +∞), {o_custkey} ∈ (50, 500)

  • 查询范围表达式： {l_partkey, p_partkey} ∈ (150, 160), {o_custkey} ∈ (123, 123)

第四步：校验范围表达式

  • 视图范围表达式：(150, 160) 在 (150, +∞) 范围内

  • 查询范围表达式：(123, 123) 在 (50, 500) 范围内

第五步：校验补偿表达式

  • 视图补偿表达式：p_name like‘%abc%’

  • 查询补偿表达式：p_name like‘%abc%’

因为 l_quantity*l_extendedprice > 100，视图的补偿表达式是查询的子集。在经过以上步骤校验，可以保证所有的行从视图中获取，需要在视图上添加补偿条件，补偿条件如下：

(o_orderdate = l_shipdate), 
({p_partkey,l_partkey} <= 160), 
(o_custkey = 123), and
(l_quantity*l_extendedprice > 100.00).

2. 补偿的条件是否可以从物化视图获取

需要对视图添加补偿条件，才能保证最终获取的数据和原始查询一致。需要进行校验，验证补偿条件中选择的列或表达式可以从视图上获取。

即需要校验列 o_orderdate，l_shipdate，p_partkey，{p_partkey, l_partkey}，o_custkey 以及表达式 l_quantity*l_extendedprice 是否可从视图中获取。

3. 表达式和列是否可从物化视图获取

与校验补偿条件相似，如果输出表达式是常量，可以直接在视图上复制常量；如果是简单的列引用，校验它是否可以从视图中获取；对于表达式，如果表达式的列可以从物化视图中获取，就直接获取，否则校验不通过。

4. 输出数据重复度一致校验

对于查询和使用物化视图后获取的数据，对于重复的行，需要有相同的重复行数。如果查询和物化视图引用的表相同，就不会出现上述问题。只有当查询和物化视图引用的表不同时，才有可能出现重复的行且重复行数不同的情况，比如星型查询多一个连接关系时，如果连接键不是主外键的关系，就容易造成数据膨胀，导致数据重复因数不一致。

通常需要校验物化视图和查询在相同表情况下的 JOIN 类型，以及在不同表情况下是否满足 JOIN 消除。

5. 聚合校验

  • 物化的维度是否比查询更细，是否包含查询的维度

  • 查询使用的聚合函数是否可以从物化视图获取，或者是否可以通过物化视图的函数上卷获得。

Report issue
Doris 首页
下载 PDF
ASF
Resources
Community
Join the community
Copyright © 2024 The Apache Software Foundation,Licensed under the Apache License, Version 2.0. Apache, Doris, Apache Doris, the Apache feather logo and the Apache Doris logo are trademarks of The Apache Software Foundation.