Redian新闻
>
Data + AI 时代下的云数仓设计

Data + AI 时代下的云数仓设计

公众号新闻

作者 | 张雁飞
编辑 | 邓艳琴
我们正在经历一个 Data + AI 的黄金时期,AI 已在大数据领域展现出巨大的潜力。QCon 全球软件开发大会·广州站邀请到 Datafuse Labs 联合创始人张雁飞老师分享题为《Databend: 大模型时代的 Cloud Warehouse 设计探索》的演讲,本文为 Databend 公众号由此整理。

完整幻灯片下载:
https://qcon.infoq.cn/2023/guangzhou/presentation/5257

本次分享聚焦于大模型时代下的 Cloud Warehouse 设计探索,分析如何利用开源与商业 LLMs 提升 Cloud Warehouse 的能力,实现更智能、自动化的数据分析。本次分享主要分为两个部分:

  • 现代的数仓如何设计

  • 数仓如何与 AI 结合

为什么需要现代云数仓

当用户想要进行大数据分析时,心里所期望的基本是:

我要进行一次分析,希望这个分析尽可能快地完成,同时,我只希望为实际使用的资源付费。

成本 = 实际资源用量 * 使用时间

下面我们来探讨下数据仓库应该如何满足这个需求。首先我们看看传统数仓架构在满足这个需求上存在哪些问题。

在传统数据仓库架构中,一般采用的是 share-nothing 架构,CPU、内存和存储紧密绑定,这种设计一般被称为南北向设计,它需要依靠数据分区来实现计算任务的拆分。然而,在这种架构中,往往会产生大量的冗余副本,造成资源的浪费。当我们需要添加新的节点时,就会面临数据的迁移和均衡问题,导致资源交付不是很及时。

所以在传统架构下,用户数据和计算完全耦合在一起,整体的成本相对较高:

传统数仓架构的成本 =  资源 * 开机时间

那么 Databend 新一代云原生架构是如何满足这种需求的呢?

Databend 的架构在设计上做了很多改进:

  • 基于共享存储的设计:Databend 支持多种对象存储,包括 Amazon S3, Azure Blob, OSS, COS 等。这种设计模式允许存储按使用量付费,具有高度的弹性。当计算节点需要扩展时,数据无需进行任何移动。

  • 存储和计算分离的架构:在此架构下,计算节点可以根据需求进行动态启动。当业务处于空闲状态时,计算节点会自动进入休眠,从而有效节省资源。

  • 面向对象存储的调度器设计:由于对象存储存在多种限制并且易于抖动,其并非专为数据仓库设计。因此,Databend 的调度器和优化器针对对象存储进行了大量优化。例如,调度器上的存储和计算在运行时具有双向感压特性,同时在执行 GroupBy shuffle 时,传输的是文件地址而非数据。

  • 高度的弹性伸缩性:借助 Kubernetes(k8s)的能力,Databend 能够快速进行弹性伸缩,以适应各种业务需求和负载变化。

在设计 Databend 时,我们借鉴了目前市场上一些优秀的数仓设计。例如,我们参考了 Clickhouse 的向量化设计,以提高单机的性能。同时,我们也借鉴了 Snowflake 的集群优点,以增强分布式计算能力。综合了这些优点后,我们选择了 Rust 语言进行重新研发和实现。Databend 还有一个重大的的改进,我们把每一个功能层都做了微服务化,这样它的架构大概是:

然而,Databend 的设计过程中也充满了挑战,因为云原生数仓的设计与传统数仓的设计有着显著的差异。主要的挑战主要体现在以下几个方面:

大规模数据写入的网络流量费用

在处理大规模数据写入时,可能会在云端产生显著的网络流量费用。

基于对象存储的设计问题

由于对象存储本身并非专为数仓设计,因此,在平衡 CPU、网络 IO、本地 IO 的延迟和带宽上限时,可能会遇到各种挑战。

提升 Databend 云数据仓库的智能化程度

我们希望设计一个能够自动处理智能索引的系统,以提高查询效率。

数据仓库与数据湖(Data Lake)的整合问题

尽管将二者结合可能带来新的设计挑战,但我们坚信 Lake-First 是未来的发展趋势。因此,Databend 采用 Catalog 的便捷方式来支持读取 Hive、Iceberg 等的数据。

在过去的两年中,我们主要致力于研究并解决上述挑战。目前,Databend 已经发布了 v1.2 版本,成功解决了上面遇到的主要挑战。当然,仍有许多优化的空间等待我们去探索。目前,Databend 已经被多家企业在生产环境中采用。

👨🏻‍💻  接下来,我们来看看 Databend 新一代架构在实际生产环境中的表现。以下数据均源自用户在真实场景下的反馈:

  • 在替换 Trino/Presto 场景中,节省了 75% 的成本

  • 在替换 Elasticsearch 的场景中,省了 90% 的成本

  • 在数据归档的低频查询场景中,节省了 95% 的成本

  • 在日志存储及分析场景中,节省了 75% 的成本

  • 每天有超过 1PB+ 的数据通过 Databend 进行存储和分析,每个月为用户节省了数百万美元的成本。

这些数据说明,Databend 能够显著降低用户成本,充分体现了新一代云原生数据仓库架构所带来的巨大价值。

数据仓库与 AI

我们目前正处在大数据与 AI 的黄金时期。在前面的部分,我们已经讨论了大数据分析的相关内容,接下来,我们聊聊 AI。

当我们提及 AI,以下几个主题往往会首先浮现在脑海中:

  • LLM (Large Language Model) 语言大模型

  • 神经网络

  • 内容生成

  • 智能问答

然而,从零开始训练一个大型模型,例如 Meta 的 LLaMa 模型,面临的挑战是巨大的,尤其是在成本方面。公开数据显示,他们训练一次该模型可能需要花费数百万美元。

根据我们对市场上各种商业和开源模型的测试,OpenAI 的 GPT 模型在商业化条件下表现优秀(截止到 2023 年 5 月)。特别是在智能客服系统中,我们非常看重模型根据内容片段和提示词(Prompt)进行推理的能力。

这里有一个来自 lmsys.org(https://lmsys.org/)的模型能力排名供大家参考:

目前,我比较关注的 AI 应用方向主要是:

  • 智能问答(Question and Answering)

  • 全自动式大数据分析(AutoInsights)

智能问答系统(Question and Answering)

首先,让我们了解一下智能问答系统的工作原理,然后再探讨我们如何在数仓中实现这一功能。

由于大模型每次处理的输入有限制,我们需要将大量的文本拆分为小片段,并将其向量化存储在向量数据库(Vector Database)中。种设计使得智能问答系统的工作原理可以简化为以下四个步骤

  1. 将输入的问题进行向量化处理,得到问题向量 QV。

  2. 利用向量数据库进行相似度检索,从而找出与 QV 最相似的文档片段集合(Documents)。

  3. 根据已给出的提示词(Prompt),将找到的文档片段进行 AI 生成式处理。

  4. 返回处理后的答案。

想要了解智能问答系统的朋友,推荐你们访问这个链接:https://ask.databend.rs/。这是一个以 Databend 文档为基础的智能问答系统,它完全基于 Databend 构建。

在 Databend 中,我们实现了诸如文本向量化(Embedding)、向量数据库(Vector Database)、相似度检索等功能,还引入了 AI 生成式处理(润色)等技术。

通过 Databend 提供的一系列 SQL 函数(AI Functions),用户可以非常方便地利用这些函数来创建自己的智能问答系统。这不仅大大简化了智能问答系统的构建过程,同时也为大数据的利用提供了更多可能性。Databend 使你能够在同一套系统中进行 OLAP 和向量数据的处理,同时可以对接各种大模型,进一步拓展大数据的边界。

全自动式分析 (AutoInsights)

SQL 分析通常较为复杂,对用户而言,快速编写 SQL 是一项巨大的挑战。我们是否可以简化这个步骤,让 AI 直接基于表结构和数据摘要自动生成 SQL 呢?答案是肯定的。目前,Databend Cloud 已上线该功能。

在 Databend 中,大部分列都已经建立了索引,再结合优化器的良好设计,生成的 SQL 可以在无需人工干预的情况下快速执行。

这样,我们的自动化分析可以拆解为以下步骤:

  • 获取表结构

  • 让 AI 根据表结构提几个最关注的问题

  • 把这几个问题转换为 SQLDatabend 执行 SQL 并生成结果

  • 根据结果自动化生成分析报告

整个流程基本为:

总    结

我们正在经历一个 Data + AI 的黄金时期,AI 已在大数据领域展现出巨大的潜力,比如 OpenAI 最近推出的 ChatGPT Code Interpreter,这都标志着 AI 可以帮助我们以更创新的方式挖掘数据的价值。

Databend 在设计之初就充分考虑到这种智能化的需求,因此我们研发了 AI Functions。这使得 Databend 不仅是一个数据仓库,更是一个 Large Language Model(LLM)的入口,可以通过 SQL 来表达 AI 的能力,未来 AI 将是每个数据仓库的标配。

我们坚信,Databend 将继续引领数仓的创新,为用户带来更多的价值。Databend 不仅可以帮助你降低成本,提高效率,还可以借助 AI 的能力挖掘更大的数据价值,使大数据分析的门槛进一步降低。

作者介绍

张雁飞,Datafuse Labs 联合创始人 ,前阿里云数据库内核组早期成员、前青云数据库团队负责人。开源 Databend 项目主要负责人。多次出席 QCon 并担任演讲嘉宾 & 出品人。

活动推荐

以「启航·AIGC 软件工程变革」为主题的 QCon 全球软件开发大会·北京站将于 9 月 3-5 日在北京•富力万丽酒店举办,此次大会策划了大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、构建未来软件的编程语言、FinOps 等近 30 个精彩专题。

现在购票即可享受 9 折优惠,立减 ¥880。咨询购票可联系票务经理 18514549229(微信同手机号)。

点击「阅读原文」即可查看全部专题,期待与各位开发者现场交流。

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
AI时代下,打工人的命运走向何方?如何构建大模型时代下的智能算力?| Q推荐北京大会携手腾讯,重新定义时代下产品经理的新使命微软、谷歌、亚马逊,正在打响大模型时代的云战争明天美国名校教授巡讲多伦多站:ChatGPT时代下如何规划孩子的未来新全球化时代下的中国企业出海 | 9月新刊Serverless为什么是云数据库的未来?today's data on housing market免疫治疗时代下,小细胞脑转移患者迎来长生存转机赛博时代下你有考虑过“数字遗产”吗?大规模流量下的云边端一体化流量调度体系「细分·多元」新时代下,如何助力微短剧爆款“出圈-长红-收益爆发”?请教【城事】巴黎市长将重修Châtelet 广场以方便行人巴黎市长将重修Châtelet 广场以方便行人【专题速递】全真互联时代下,如何为用户打造极致的音视频体验?【专题速递】触觉反馈、边缘计算+元宇宙、Unity的云原生分布以及GPU加速下的元宇宙Eden Might Have Magnolia5.29.23 月光照在河面上3亿人将被ChatGPT残忍淘汰?AI时代下,05后如何建立国际级竞争优势?行字念行不念行Z世代下,8种真实消费者的样子|附秘籍【北京】线下沙龙 | AGI时代下 高端人才的吸引与保留大会议程官宣!8月北京数字化产品经理大会,14位业务高手,深入探讨时代下产品创新、商业、增长的机会解构具有永恒魅力的经典沙拉——华尔道夫沙拉【图文视频】新时代下的公益新探索——上海第一财经公益基金会十周年暨公益合作发展论坛举办不期然又遇见当年的自己-:)百亿美金的平台扳手腕,云数据的生成式AI之争工业4.0时代下的企业财务管理怎么做?不确定性时代下的新投资范式AI时代下,打工人的命运走向何方Wing:人工智能时代的云开发编程语言严睿:大模型时代下的对话式 AI 发展丨GAIR 2023Fedora Linux 的家族(四):替代下载 | Linux 中国多屏时代下的养娃困境:在守护与自由之间新书推荐 | 人机对齐:探索“未知的未知”,AI时代下的人类自救指南第三次革命——英伟达带来的云算力革命
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。