跳到主要内容
跳到主要内容

Release 2.1.6

亲爱的社区小伙伴们，Apache Doris 2.1.6 版本已于 2024 年 9 月 10 日正式发布。2.1.6 版本在湖仓一体、异步物化视图、半结构化数据管理持续升级改进，同时在查询优化器、执行引擎、存储管理、数据导入与导出以及权限管理等方面完成了若干修复。欢迎大家下载使用。

行为变更​

  • 移除 create repository 命令中的 delete_if_exists 选项。#38192

  • 新增会话变量 enable_prepared_stmt_audit_log，用于控制 JDBC 预编译语句是否记录审计日志，默认不记录。#38624 #39009

  • 采用文件描述符限制和内存限制来管理 Segment Cache。#39689

  • 当 sys_log_mode 配置项设置为 BRIEF 时，在日志中增加文件位置信息，以提供更详细的上下文。#39571

  • 将会话变量 max_allowed_packet 的默认值调整为 16MB，提高数据传输限制。#38697

  • 在单次请求中，若包含多个 SQL 语句，各语句间必须使用分号进行分隔，以增强语句的清晰度和执行效率。#38670

  • 现在支持 SQL 语句以分号开始，提供更灵活的语句书写方式。#39399

  • 在执行如 show create table 等语句时，类型格式与 MySQL 保持一致，提升与 MySQL 的兼容性。#38012

  • 当新优化器规划查询超时后，不再回退到旧优化器，以避免潜在的性能下降问题。#39499

新功能​

Lakehouse​

  • 实现 Iceberg 表的写回功能。

    • 更多信息，请查看文档数据湖构建-Iceberg

  • 增强 SQL 拦截规则，支持对外表的拦截处理。

    • 更多信息，请查看文档查询管理-SQL 拦截

  • 新增系统表file_cache_statistics，用于查看 BE 节点的数据缓存性能指标。

异步物化视图​

  • 支持在 Insert 中进行透明改写。#38115

  • 支持对查询中存在 VARIANT 类型时的透明改写。#37929

半结构化数据管理​

  • 支持 ARRAY MAP 类型到 JSON 类型的 CAST 转换功能。#36548

  • 引入json_keys函数，用于提取 JSON 中的键名。#36411

  • 支持在导入 JSON 时指定json path$``#38213

  • ARRAY / MAP / STRUCT 类型支持replace_if_not_null#38304

  • 允许调整 ARRAY / MAP / STRUCT 类型的列顺序。#39210

  • 新增multi_match函数，支持在多个字段中匹配关键词，并利用倒排索引加速查询。#37722

查询优化器​

  • 完善 MySQL 协议返回列的信息，包括原始数据库名、表名、列名和别名。#38126

  • 增强聚合函数group_concat，支持同时使用order by和distinct进行复杂数据聚合。#38080

  • 改进了 SQL 缓存机制，支持通过注释区分不同的查询以复用缓存结果。#40049

  • 增强分区裁剪功能，支持在过滤条件中使用date_trunc和date函数。#38025 #38743

  • 允许在表别名前使用数据库名作为限定名前缀。#38640

  • 支持 Hint 格式注释。#39113

执行引擎​

  • Group concat函数现支持distinct和order by选项。#38744

Others​

  • 新增系统表table_properties，便于用户查看和管理表的各项属性。

  • 新增 FE 中死锁和慢锁检测功能。

改进提升​

湖仓一体​

  • 革新外表元数据缓存机制。

  • 新增会话变量keep_carriage_return，默认关闭。读取 Hive Text 格式表时，默认将\r\n与\n均视为换行符。#38099

  • 优化 Parquet / ORC 文件读写内存统计。#37257

  • Paimon 表支持 IN/ NOT IN 谓词下推。#38390

  • 升级优化器，支持 Hudi 表的 Time Travel 语法。#38591

  • Kerberos 认证流程优化，提升安全认证效率与稳定性。#37301

  • 支持 Rename column 操作后读取 Hive 表。#38809

  • 提升外表分区列读取性能。#38810

  • 优化外表查询规划，优化数据分片合并策略，有效避免小分片对查询性能的影响。#38964

  • SHOW CREATE DATABASE / TABLE 新增 Location 等属性展示。#39644

  • MaxCompute Catalog 扩展支持复杂类型。#39822

  • 优化文件缓存加载策略，通过异步加载方式避免 BE 启动时间过长的问题。#39036

  • 升级文件缓存淘汰策略，有效管理长时间占用锁的资源。#39721

异步物化视图​

  • 支持小时、周及季度级别的分区上卷构建。#37678

  • 基于 Hive 外表的物化视图，在刷新前自动更新元数据缓存，以保证每次刷新可以获取最新数据。#38212

  • 通过批量获取元数据，优化存算分离模式下的透明改写规划性能。#39301

  • 通过禁止重复枚举，进一步提升透明改写的规划性能。#39541

  • 优化基于 Hive 外表分区刷新物化视图的透明改写性能。#38525

半结构化数据管理​

  • 优化 TOPN 查询内存分配，显著提升查询性能。#37429

  • 优化倒排索引字符串处理性能。#37395

  • 优化倒排索引在 MOW 表中的性能。#37428

  • 建表时支持指定行存 page_size，以控制压缩效果。#37145

查询优化器​

  • 调整 Mark Join 行数估计算法，提高基数估算准确性。#38270

  • 优化 Semi / Anti Join 代价估计算法，能够正确选择最佳 Join 顺序。#37951

  • 调整部分列无统计信息情况下的过滤估计算法，使估算更精准。#39592

  • 改进 Set Operation 算子 Instance 计算逻辑，防止在极端情况下并行度不足的问题。#39999

  • 优化 Bucket Shuffle 使用策略，数据打散不充分时也能获得更好的性能。#36784

  • 窗口函数数据提前过滤，支持单投影中存在多窗口函数的情况。#38393

  • 过滤条件含 NullLiteral 时，智能折叠为 False，转换为 EmptySet，减少不必要的数据扫描量。#38135

  • 扩大谓词推导适用范围，在特定模式的查询下能够大幅减少数据扫描量。#37314

  • 在分区裁剪中支持部分短路计算逻辑，以提升分区裁剪性能。在特定场景下，性能提升超过 100%。#38191

  • 在用户变量中，支持计算任意的标量函数。#39144

  • 当查询中存在别名冲突时，报错信息能够保持与 MySQL 一致。#38104

执行引擎​

  • 实现 AggState 从 2.1 到 3.x 版本的兼容，并解决了 coredump 问题。#37104

  • 重构无 Join 操作时的 Local Shuffle 策略选择机制。#37282

  • 将内部表查询的 scanner 调整为异步模式，以防止查询内部表时出现卡顿。#38403

  • 优化 Join 算子在构建 Hash 表时的 Block Merge 流程。#37471

  • 缩短 MultiCast 持有锁的时间。#37462

  • 优化 gRPC 的 keepAliveTime 设置并增加了链接监测机制，降低了因 RPC 错误导致的查询失败率。#37304

  • 当内存超出限制时，将清理 jemalloc 中的所有 Dirty Pages。#37164

  • 提升 aes_encrypt/decrypt 函数对常量类型的处理效率。#37194

  • 加快 json_extract 函数对常量数据的处理速度。#36927

  • 提高 ParseUrl 函数处理常量数据的性能。#36882

存储管理​

备份恢复 / 跨集群同步

  • Restore 功能现已支持删除多余的 Tablet 和分区选项。#39363

  • 在创建 Repository 时，支持检查存储连通性。#39538

  • Binlog 支持 Drop 表操作，使 CCR 能够支持 Drop 表的增量同步。#38541

Compaction

  • 改进高优 Compaction 任务不受并发控制限制的问题。#38189

  • 根据数据特性自动调整 Compaction 的内存消耗。#37486

  • 修复顺序数据优化策略可能引发的聚合表或 MOR UNIQUE 表数据准确性问题。#38299

  • 优化补副本期间 Compaction 选择 rowset 的策略，以避免触发 -235 错误。#39262

Merge-on-Write

  • 解决了列更新和 Compaction 并发时列更新慢的问题。#38682

  • 修复一次导入大量数据时，Segcompaction 可能导致 MOW 数据不正确的问题。#38992 #39707

  • 解决 BE 重启后，可能导致列更新数据丢失的问题。#39035

其他

  • 增加了 FE 配置，用于控制冷热分层下查询是否优先访问本地数据的副本。#38322

  • 解决了过期的 BE 汇报消息未包含新创建 Tablet 的问题。#38839 #39605

  • 优化副本调度优先级策略，优先调度缺少数据的副本。#38884

  • 对于有未完成 ALTER JOB 的 Tablet，不进行均衡调度。#39202

  • List 分区方式的表现支持修改分桶数。#39688

  • 优先选择在线的磁盘服务进行查询。#39654

  • 改进了同步物化视图的 Base 表不支持删除时的提示信息。#39857

  • 改进了单列超过 4G 时的报错信息。#39897

  • 修复了 Insert 语句遇到 Plan 错误时未正确中止事务的问题。#38260

  • 修复了 SSL 链接关闭时的异常问题。#38677

  • 修复了使用 Label 中止事务时未持有表锁的问题。#38842

  • 修复了 Gson Pretty 导致 Image 过大的问题。#39135

  • 修复了 CREAT TABLE 语句在新优化器下未检查 Bucket 为 0 的问题。#38999

  • 修复了 DELETE 条件谓词中包含中文列时报错的问题。#39500

  • 修复了分区均衡模式下频繁均衡 Tablet 的问题。#39606

  • 修复了分区丢失 Storage Policy 属性的问题。#39677

  • 修复了事务内导入多个表时统计信息不正确的问题。#39548

  • 修复了 Random 分桶表删除时报错的问题。#39830

  • 修复了 UDF 不存在导致 FE 无法启动的问题。#39868

  • 修复了 FE 主从 Last Failed Version 不一致的问题。#39947

  • 修复了 Schema Change Job 被取消时，相关 Tablet 可能仍处于 Schema Change 状态的问题。#39327

  • 修复了单个语句修改类型和列顺序 SC 时出现的报错问题。#39107

数据导入​

  • 改进了导入发生 -238 错误时的错误信息提示。#39182

  • 实现在 Restore 分区时，其他分区可以同时进行导入。#39915

  • 优化了 Group Commit FE 选择 BE 的策略。#37830 #39010

  • 对于一些常见的 Stream Load 错误信息，避免了程序栈的打印，简化了错误处理。#38418

  • 改进下线的 BE 可能影响导入出错的问题。#38256

权限管理​

  • 优化了开启 Ranger 鉴权插件后的访问性能。#38575

  • 优化了 Refresh Catalog / Database / Table 操作的权限策略，用户仅需 SHOW 权限即可执行此操作。#39008

Bug 修复​

湖仓一体​

  • 修复切换 Catalog 时可能出现的数据库找不到问题。#38114

  • 解决了读取 S3 上不存在的数据时出现的异常报错。#38253

  • 修正导出操作时，指定异常路径可能导致导出位置异常的问题。#38602

  • 修复 Paimon 表时间列时区问题。#37716

  • 临时关闭 Parquet PageIndex 功能以避免部分错误行为。

  • 修复外表查询时，错误选取黑名单中 Backend 节点的问题。#38984

  • 解决读取 Parquet Struct 列类型中缺失子列导致查询错误的问题。#39192

  • 修复 JDBC Catalog 的谓词下推问题。#39082

  • 修正 Parquet 格式读取时，历史格式导致查询结果错误的问题。#39375

  • 增强了 Oracle JDBC Catalog 对 OJDBC6 驱动的兼容性。#39408

  • 解决了 Refresh Catalog/Database/Table 操作可能导致的 FE 内存泄漏问题。#39186 #39871

  • 修复了 JDBC Catalog 在某些情况下的线程泄漏问题。 #39666 #39582

  • 修复开启 Hive Metastore 事件订阅后，可能出现事件处理失败的问题。#39239

  • 禁止读取自定义 Escape CHAR 和 NULL Format 的 Hive Text 格式表，防止数据错误。#39869

  • 修复某些情况下，无法访问通过 Iceberg API 创建的 Iceberg 表的问题。#39203

  • 修复无法读取存储在开启高可用的 HDFS 集群上的 Paimon 表的问题。#39876

  • 修复开启文件缓存后，读取 Paimon 表 Deletion Vector 可能导致错误的问题。#39875

  • 修复某些情况下读取 Parquet 可能导致死锁的问题 #39945

异步物化视图​

  • 修复无法在 Follower FE 上使用 show create materialized view 命令的问题。#38794

  • 统一异步物化视图在元数据中的对象类型，使其在数据工具中正常显示。#38797

  • 修复嵌套异步物化视图总是进行全量刷新的问题。#38698

  • 修正 Cancel 任务在重启 FE 后状态可能显示为 running 的问题。 #39424

  • 修复错误使用上下文，导致刷新物化视图任务可能非预期失败的问题。#39690

  • 修复基于外表创建异步物化视图时，VARCHAR 类型因长度不合理导致写入失败的问题。#37668

  • 修复 FE 重启或 Catalog 重建后，基于外表的异步物化视图可能失效的问题。#39355

  • 禁止 List 分区的物化视图使用分区上卷，以防止生成错误数据。#38124

  • 修复在聚合上卷透明改写时，SELECT List 中存在字面量导致的结果错误问题。#38958

  • 修复当查询中存在形如a = a的过滤条件时，透明改写可能出错的问题。#39629

  • 修复透明改写直查外表无法成功的问题。#39041

半结构化数据管理​

  • 删除老优化器上 PreparedStatement 的支持。#39465

  • 修复 JSON 转义字符处理的问题。#37251

  • 修复 JSON 字段重复处理的问题。 #38490

  • 修复部分 ARRAY MAP 函数的问题。#39307 #39699 #39757

  • 修复倒排索引查询和 LIKE 查询复杂组合的问题。#36687

查询优化器​

  • 修复分区过滤条件中存在 or 时，可能导致分区裁剪错误的问题。#38897

  • 修复存在复杂表达式时，可能导致的分区裁剪错误的问题。#39298

  • 修复 AGG_STATE 类型中的子类型，Nullable 可能规划不正确导致执行报错的问题。#37489

  • 修复 Set Operation 算子 Nullable 可能规划不正确，导致执行报错的问题。#39109

  • 修复 Intersect 算子执行优先级不正确的问题。 #39095

  • 修复当查询中存在最大合法日期字面量时，可能出现 NPE 的问题。#39482

  • 修复偶现的规划报错，导致的执行时报错 Slot 不合法的问题。#39640

  • 修复重复引用 CTE 中的列，可能导致结果缺少部分列数据的问题。#39850

  • 修复在查询中存在 CASE WHEN 时，偶现的规划报错问题。#38491

  • 修复不能将 IP 类型隐式转换为 STRING 类型的问题。#39318

  • 修复在使用多维聚合时，当 SELECT List 中存在相同列和其别名时，可能出现的规划报错问题。#38166

  • 修复使用 BE 常量折叠时，处理 BOOLEAN 类型可能不正确的问题。#39019

  • 修复在表达式中存在 default_cluster: 作为 Database 名称前缀导致的规划报错问题。#39114

  • 修复 Insert Into 可能导致的死锁问题。#38660

  • 修复没有在规划全过程持有表锁导致可能出现规划报错的问题。 #38950

  • 修复创建表时不能正确处理 CHAR(0), VARCHAR(0) 的问题。#38427

  • 修复 SHOW CREAT TABLE 可能错误的显示出隐藏列的问题。#38796

  • 修复创建表时没有禁止使用和隐藏列同名列的问题。 #38796

  • 修复在执行 INSERT INTO AS SELECT 时，如果存在 CTE，偶现的规划报错问题。#38526

  • 修复 INSERT INTO VALUES 无法自动填充 NULL 默认值的问题。#39122

  • 修复在 DELETE 中使用 CTE，但是没有使用 USING 时，导致的 NPE 问题。#39379

  • 修复对随机分布的聚合模型表执行删除操作会失败的问题。#37985

执行引擎​

  • 修复多个场景下，Pipeline 执行引擎被卡顿，导致查询不结束的问题。#38657 #38206 #38885

  • 修复了 NULL 和非 NULL 列在差集计算时导致的 Coredump 问题。#38737

  • 修复了 width_bucket 函数结果错误的问题。#37892

  • 修复了当单行数据很大且返回结果集也很大时（超过 2GB）查询报错的问题。#37990

  • 修复了 stddev 在 DecimalV2 类型下结果错误的问题。#38731

  • 修复了 MULTI_MATCH_ANY 函数导致的 Coredump 问题。#37959

  • 修复了 INSERT OVERWRITE AUTO PARTITION 导致事务回滚的问题。#38103

  • 修复了 convert_tz 函数结果错误的问题。#37358 #38764

  • 修复了 collect_set 函数结合窗口函数使用时 Coredump 的问题。#38234

  • 修复了 mod 函数在异常输入时导致的 Coredump 问题。#37999

  • 修复了多线程下执行相同表达式可能导致 Java UDF 结果错误的问题。#38612

  • 修复了 conv 函数返回类型错误导致的溢出问题。#38001

  • 修复了 histogram 函数结果不稳定的问题。#38608

存储管理​

  • 修复备份恢复后，写入数据时可能出现不可读的问题。#38343

  • 修复跨版本 Restore Version 使用问题。#38396

  • 修复 Backup 失败时 Job 没有取消的问题。#38993

  • 修复 2.1.4 升级到 2.1.5 CCR 报 NPE，导致 FE 不能启动的问题。#39910

  • 修复 Restore 之后视图和物化视图不能使用的问题。#38072 #39848

数据导入​

Routine Load

  • 修复 Routine Load 一流多表可能得内存泄露的问题。 #38824

  • 修复 Routine Load 包围符和转义符不生效的问题。#38825

  • 修复 Routine Load 任务名包含大写字母时 show routineload 结果不正确的问题。#38826

  • 修复改变 Routine Load Topic 时没有重置 Offset Cache 的问题。#38474

  • 修复并发情况下 show routineload 可能触发异常的问题。#39525

  • 修复 Routine Load 可能重复导入数据的问题。#39526

Group Commit

  • 修复 JDBC 方式下打开 Group Commit 时 setNull 导致的数据报错问题 #38276

  • 修复打开 group commit insert 发往非 Master FE 时可能导致 NPE 问题 #38345

  • 修复 Group Commit 内部写数据错误处理不正确的问题。#38997

  • 修复 Group Commit 执行规划失败时可能触发的 Coredump。#39396

其它

  • 修复并发导入 Auto Partition 表可能报 Tablet 不存在的问题。#38793

  • 修复可能的 Load Stream 泄露问题。#39039

  • 修复 INSERT INTO SELECT 没有数据时开启事务的问题。#39108

  • 使用 Memtable 前移时忽略单副本导入的配置。#39154

  • 修复后台导入 stream load record 遇见 Database 删除时异常中止的问题。 #39527

  • 修复 Strict Mode 模式下，出现数据错误时错误信息提示不准确的问题。#39587

  • 修复 Stream Load 遇见错误数据不返回 Error URL 的问题。#38417

  • 修复 Insert Overwrite 和 Auto Partition 配合使用的问题。#38442

  • 修复 CSV 遇到行分隔符被包围符包围数据时解析错误的问题。#38445

数据导出​

  • 修复导出操作中指定 delete_existing_files 属性后，可能会重复删除导出数据的问题。#39304

权限管理​

  • 修复创建物化视图时，错误地要求拥有 ALTER TABLE 的权限的问题。#38011

  • 修复 show routine load 时，Database 显式为空的问题。#38365

  • 修复 create table like 错误的要求拥有对原表的创建权限的问题。#37879

  • 修复赋权操作没有检查对象是否存在的问题。#39597

版本升级说明​

Doris 升级请遵守不要跨两个二位版本升级的原则，依次往后升级。

比如从 0.15.x 升级到 2.0.x 版本，则建议先升级至 1.1 最新版本，然后升级到最新的 1.2 版本，最后升级到最新的 2.0 版本，以此类推。

Report issue
本页导航
ASF
Resources
Community
Join the community
Copyright © 2024 The Apache Software Foundation,Licensed under the Apache License, Version 2.0. Apache, Doris, Apache Doris, the Apache feather logo and the Apache Doris logo are trademarks of The Apache Software Foundation.