#  十年对于数据库意味着什么？

时至 2022 年，正是 Apache Doris 在 OLAP 领域深耕的十年之际。

#  我们该如何回顾过去的 2022 年？

  社区重要指标

• 社区累计贡献者的数量从 200 余位增长至近 420 位，同比增长超过 100%，目前仍在持续上升中。
• 每月活跃贡献者的数量从 50 位增长至 100 位，同样呈现翻倍增长的趋势。
• GitHub Star 数量从 3.6k 增长至 6.8k，多次登上 GitHub Trengding 日/周/月度榜单前列。
• 全部 Commits 数量从 3.7k 增长至 7.6k，过去一年新提交代码量超越了以往多年累加总和。

   开源用户规模

   版本更新迭代

如果说过去版本将使用和运维的简易性作为第一追求的话，那么 2022 年发布版本则是在性能、稳定性、易用性等多方面特性的全面进化。

• 4 月份社区发布了自开源以来的首个 1 位版本—— Apache Doris 1.0，在 1.0 版本中，意义非凡的向量化执行初次与大家见面，标志着 Apache Doris 开始迈入极速数据分析时代。
• 6 月份发布的 1.1 版本，我们对向量化引擎进行了进一步完善和优化，并将其作为正式功能默认开启。与此同时，社区建立了 LTS 版本发布机制，以每月发布一个 3 位版本的速度，对 1.1 版本进行快速地 Bug 修复和功能优化，力求满足更多社区用户在稳定性方面的高要求。
• 在综合考虑版本迭代节奏和用户需求后，我们决定将众多新特性在 1.2 版本中发布。同时期社区的稳定性和质量保障工作也取得了显著的成效，测试 Case 得到了极大程度地丰富，并在 Master 分支上构建了流水线。通过一系列质量手段，Apache Doris 的代码质量和稳定性得到进一步提升，这也使得版本发布有着更加严格的准出标准。
• 12 月初 1.2 版本正式面世。这一版本的发布不仅使查询性能有了近十倍的提升，同时我们还推出了过去半年时间里研发的诸多重磅功能，包括 Unique Key 模型 Merge-on-Write 的数据更新模式、支持无缝对接多种数据湖的 Multi-Catalog 多源数据目录、Java UDF 、Array 数组类型和 JSONB 类型等，让 Apache Doris 在更多数据分析场景具备了更强的适应性和可能性。
• 我们也针对系统稳定性进行了大量的工作，一方面，利用 SQL Smith 等自动化测试工具以及各个知名开源项目的测试用例，构建了数以百万计的测试用例集；另一方面，通过社区准入流水线和完善的回归测试框架，保证了代码合入的质量。因此1.2 版本不论从功能、性能还是稳定性方面，都是一次厚积薄发后的全面进化，也是对所有开发者在 2022 年辛苦付出的最好回报。

   核心特性演进

• 查询性能提升。从 1.0 版本面世到 1.2 版本发布，Apache Doris 在性能方面取得了极为显著的成绩。在单表场景上，Apache Doris 荣登 Clickhouse 公司推出的 Clickbench 数据库性能榜单，并取得了前三名的优秀成绩。在多表关联场景上，得益于向量化执行引擎及各种查询优化技术，相对 2021 年底发布的 0.15 版本 ，Apache Doris 在 SSB 和 TPC-H 等标准测试数据集下均取得了数倍乃至数十倍的性能提升。这一系列性能方面的优化，已经成功让 Apache Doris 跻身全球数据库性能最优阵列中！

• 实时场景优化。在 1.2 版本中，我们在原有 Unique Key 数据模型上实现了Merge-On-Write 的数据更新方式，查询性能在高频更新时有 5-10 倍的提升，实现了在可更新数据上的低延迟实时分析体验。另外还实现了轻量 Schema Change 功能，对于数据的加减列不再需要转换历史数据，可通过 Flink CDC 等工具快速便捷地同步上游事务数据库中的 DML 或 DDL 操作，使数据同步工作能够更加流畅统一。
• 半结构化数据支持。目前 Apache Doris 支持了 Array 和 JSONB 类型，其中 Array 类型不仅能更方便地存储复杂的数据结构，还可以通过 Array 函数满足用户行为分析等场景的业务需求。而 JSONB 是一种二进制 JSON 存储方式，它不但比纯文本 Text JSON 的访问性能快 4 倍，同时也有更低的内存消耗。通过 JSONB 可以方便地导入各种 JSON 格式的日志数据结构，并能取得优异的查询效率。这也是 Apache Doris 在日志分析领域所做的探索之一。

• Lakehouse。在最新发布的 1. 2 版本中，我们引入了全新的 Catalog 概念，正式将 Apache Doris 迈入湖仓一体时代。通过简单的命令便可以方便地连接到各自外部数据源并自动同步元数据，实现统一的分析体验。通过 Native Format Reader、延迟物化、异步 IO、数据预取等多项针对外部数据源的性能优化，并充分利用自身的高性能执行引擎和查询优化器，在对外表访问性能上，Apache Doris 可以达到 Trino/Presto 的 3- 5 倍、Hive 的 10-100 倍。

#  2023 RoadMap

承前而启后，2023 年，Apache Doris 社区在以上几方面特性持续完善的同时，也将开启更多有意义的工作。全年的 RoadMap 以及明年 Q1 的具体计划，可以参考以下的全景图：

   高性能

高性能是 Apache Doris 不断追求的目标，过去一年在 Clickbench、TPC-H 等公开测试数据集上的优异表现，已经证明了其在执行层以及算子优化方面做到了业界领先。未来我们也会不断优化各个场景下的性能表现，回馈用户极速的数据分析体验，具体包括：

• 更复杂SQL性能提升：2022 年我们已经启动全新查询优化器的设计与开发，而这一成果在 2023 年一季度就将与大家见面。全新查询优化器提供了丰富的规则模型，实现了更智能的代价选择，可以更高效地支撑复杂查询，能够完整执行 TPC-DS 全部 99 个SQL。同时全新查询优化器还具备全查询场景的自适应优化，便于用户在面对不同分析负载和业务场景时都获得一致性的使用体验。
• 更高的点查询并发：高并发一直是 Apache Doris 所擅长的场景，而 2023 年我们将会进一步加强这一能力，通过 Short-Circuit Plan、Prepare Statement、Query Cache 等一系列技术，实现单机数万 QPS 的超高并发支持，并具备随集群规模的拓展进而线性提升并发的能力。
• 更灵活的多表物化视图：在过去版本中，通过强一致的单表物化视图，Apache Doris 加速了固定维度数据的分析效率。而全新的多表物化视图将会解耦 Base 表与 MV 表的生命周期，通过异步刷新和灵活的增量计算方式，满足多表关联以及更复杂 SQL 的预计算加速需求，这一特性将在接下来的 2023 年第一季度与大家见面！

   高性价比

成本和效率对企业而言是赢得市场竞争的关键，对数据库而言亦是如此。过去 Apache Doris 凭借在易用性方面的诸多设计帮助用户大幅节约了计算与存储资源成本，后续我们也会引入一系列云原生能力，在不影响业务效率的同时进一步降低成本，具体包括：

• 更低的存储成本：我们将探索与云上对象存储系统和文件系统的结合，帮助用户进一步降低存储成本，包括更完善的冷热数据分离能力，将冷数据智能转移至更廉价的对象存储或文件系统中。结合单一远程副本、冷数据 Cache 以及冷热智能转换等技术，保证业务查询效率不受影响的同时实现存储成本大幅降低，这一功能将于 2023 年第一季度发布。
• 更弹性的计算资源：剥离存储与计算状态，引入仅用于计算的 Elastic Compute Node 。由于不存储数据，弹性计算节点具备更加快速的弹性伸缩能力，便于用户在业务高峰期进行快速扩容，进一步提升在海量数据计算场景（如数据湖分析）的分析效率，这一功能已经处于最终调试阶段，即将与大家见面。后续我们还将通过对集群内存和 CPU 运行指标的监控和自动策略配置，实现自动的节点扩缩容（Auto-scaling）。

   混合负载

随着用户规模的极速扩张，越来越多的用户将 Apache Doris 用于构建企业内部的统一分析平台。这一方面需要 Apache Doris 去承担更大规模的数据处理和分析，另一方面也需要 Apache Doris 同时去应对更多分析负载的挑战，从过去的实时报表和 Ad-hoc 等典型 OLAP 场景，扩展到 ELT/ETL 、日志检索与分析等更多场景的统一。为了能更好适配这些场景，许多工作已经进入紧锣密鼓的研发中，并将于 2023 年陆续与大家见面，具体包括：

• 更灵活的 Pipeline 执行引擎：与传统的火山模型相比，Pipeline 模型无需手动设置并发度，可以实现不同管道之间的并行计算，充分利用多核的计算能力，实现更灵活的执行调度，提升在混合负载场景下的综合性能表现。
• Workload Manager：在性能提升的同时，也亟需完善的资源隔离和划分的能力。我们将会基于 Pipeline 执行引擎实现更细粒度和更灵活的负载管理、资源队列以及共享隔离等功能，兼顾多种混合负载场景下的查询性能与稳定性。
• 轻量级容错：轻量级容错能力也是我们后续持续完善的地方，既能利用 MPP 的高效率又能对错误进行容忍，以更好适应用户在 ETL/ELT 场景的挑战。
• 函数兼容与多语言UDF：与此同时，后续也将支持 Hive/Trino/Spark 函数的兼容性以及多语言的 UDF，来帮助用户更灵活地进行数据加工，也可以更方便地从其他数据库系统迁移到 Apache Doris。

   多模数据分析

在过去 Apache Doris 更多是是擅长于结构化数据分析，随着对半结构化、非结构化数据分析需求的增加，从 1.2 版本起我们增加了 Array 和 JSONB 类型以实现数据的 Native 支持，后续版本仍将持续加强这一能力，为日志分析场景提供性价比更高、性能更强的解决方案，具体包括：

• 更丰富的复杂数据类型：除 Array/JSONB 类型以外，2023 年第一季度我们将增加对 Map/Struct 类型的支持，包括高效写入、存储、分析函数以及类型之间的相互嵌套，以更好满足多模态数据分析的支持。后续将支持更加丰富的数据类型，包括 IP、GEO 地理信息等数据类型，并会探索在时序数据场景的高效数据分析。
• 更高效的文本分析算法：对于文本数据，我们将引入更多的文本分析算法，包括自适应 Like、高性能子串匹配、高性能正则匹配，Like 语句的谓词下推、Ngram Bloomfilter 等，同时基于倒排索引实现全文检索能力，在日志分析场景提供比 ES 更高性能和性价比的分析能力。这些功能都已经处于就绪阶段，将在 2023 年初与大家见面。
• 动态 Schema 表：传统数据库在设计之初 Schema 是静态的，Schema 变更时需要执行 DDL ，而这一操作往往具有阻塞性。在越来越多的现代数据分析场景中，表结构会随时间推移而变化，因此我们引入了 Dynamic Table，可以根据数据写入自动适应 Schema ，不再需要执行 DDL，由过去的人工干预数据结构进化为数据自驱动，极大提升了灵活数据分析的便捷性。这一功能将在 2022 年第一季度正式发布。

   Lakehouse

随着数据湖技术的发展，分析性能成为发挥数据湖效用、挖掘数据价值最大的掣肘。基于一款简单易用和高性能的查询分析引擎在数据湖之上构建分析服务，成为新的技术趋势。在过去一年，通过在数据湖上的诸多性能优化、结合自身的高性能执行引擎和查询优化器以及，Apache Doris 实现了数据湖上极速易用的分析体验，性能较 Presto/Trino 有 3-5 倍的提升。在 2023 年，我们将会继续完善这一能力，具体包括：

• 更简易的数据对接：在 1.2 版本中我们发布了 Multi-Catalog，支持了多种异构数据源的元数据自动映射与同步，实现了数据湖的无缝对接，后续将对 Delta Lake 的支持以及 Iceberg、Hudi 等更多数据格式的支持。
• 更完整的数据湖能力支持：提供数据湖上数据的增量更新与查询，还会支持将分析结果写回数据湖、外表写入内表，实现数据分析流程的全闭环。同时还将支持多版本 Snapshot 读取和删除，并进一步在 Apache Doris 为数据湖数据提供物化视图。

   实时性与存储引擎优化

数据价值会随着时间推移而降低，因此实时性对于高时效性要求的用户而言至关重要。在 1.1 版本中我们在 Compaction 和 Flink 实时写入方面进行了诸多优化，同时 1.2 版本的 Merge-on-Write 数据更新模式进一步使 Apache Doris 在实时更新与极速查询得以统一。2023 年我们将会持续强化对存储引擎的优化，具体包括：

• 更稳定的数据写入：通过一系列 Compaction 操作和批量数据写入方面的优化，节省资源开销，降低写放大问题，并结合全新的内存管理框架提升写入过程的内存稳定性，进而提升系统稳定性。
• 更完善的数据更新支持：过去部分列更新是通过 Agg 模型上的 Replace_if_not_null 来实现的，后续我们将会增加 Unique Key 模型上的部分列更新支持，并完整实现 Delete、Update、 Merge 等数据更新的操作。
• 更统一的数据模型：当前 Apache Doris 的三种数据模型在各个场景均有丰富的应用，后续我们将尝试统一现有几种数据模型，使用户在使用体验上更加统一。

   易用性和稳定性

除了功能方面的丰富与完善，更简单、更易用、更稳定同样也是 Apache Doris 一直追求的目标，2023 年我们将在以下几方面出发，让用户具有更简易和放心的使用体验：

• 简化建表：目前 Apache Doris 在建表时分区已经支持了时间函数，后续我们将进一步消除 Bucket 设置，帮助用户最大程度简化建表建模。
• 安全性：目前已经实现基于 RBAC 模型的权限管理机制，使用户权限更安全可靠；并对 ID-federation、行列级别权限，数据脱敏等进行了优化，后续将进一步完善。
• 可观测性：Profile 是定位查询性能问题的重要手段，后续我们将加强对 Profile 的监控并提供可视化 Profile 工具，帮助用户更快定位问题。
• 更好的 BI 兼容性和更完善的数据集成迁移方案：当前各 BI 工具可以通过 MySQL 协议连接到 Apache Doris，后续我们将对主流 BI 软件进一步适配，保证更佳的查询体验。随着 DBT、Airbyte 等新兴数据集成和迁移工具的兴起，越来越多用户使用此类系统将数据同步至 Apache Doris ，后续我们也会提供对此些系统的官方支持。

#  开启下一个十年！

或许有读者或听众还记得我在开头提的问题，对于 Apache Doris，十年意味着什么？

希望继续带着上一个十年出发的初心，开启下一个十年的旅程。

周热点 | 2023.01.03-2013.01.09

Linux发行版新秀：基于Ubuntu、系统核心 “不可变”

curl作者收下社区成员赠送的Mac mini，将用于curl开发

这里有最新开源资讯、软件更新、技术干货等内容

点这里 ↓↓↓ 记得 关注✔ 标星⭐ 哦~