Redian新闻
>
数据库40年:从一家独霸,到国产崛起

数据库40年:从一家独霸,到国产崛起

财经



作 者熊剑辉
华商韬略出品ID:hstl8888

音 频点击小程序边听边看


今天,见证国产数据库的崛起。



5月22日,华为完成一件了不起的大事:全球88家子公司的MetaERP系统,成功实现大规模切换。


这是一场史无前例的“全球总动员”。


整个切换过程耗时15小时,地跨亚太、欧洲、中东中亚、南部非洲、拉美5个地区部、6个账务共享中心、75个国家,涵盖ICT、华为云、终端等多个产业。


从未有哪家中国企业,进行过规模如此之大、范围如此之广、复杂程度如此之高的软件工程,这也是“华为有史以来最广泛、最复杂的转型项目”。


ERP(Enterprise resource planning企业资源计划),是企业对人员、资金、业务等进行全方位管理的系统软件,也是最关键、最核心的企业级IT应用。过去20多年,华为一直使用甲骨文ERP,以支撑其每年数千亿、遍布170多个国家和地区的庞大业务。


但2019年,美国突如其来的“制裁”“断供”,令甲骨文中断了ERP的升级服务。


而ERP软件的底座,是号称“软件皇冠上明珠”的数据库。所以,很多ERP只是搞定了面上的“一张皮”,却搞不定内在的“一团魂”,无法替代甲骨文的ERP。


有人评价,华为很可能因此重返“农业社会”。


上承软件、下接硬件的数据库,就这样变成了大国博弈的“杀手锏”。



但这种“抵背扼喉”的致命压制,对华为来说却只道是寻常。


30多年前,华为还是一家初创小公司,靠着帮珠海、香港的公司做代理卖交换机,赚到了“第一桶金”。


但看华为卖得好,供应商很快就“断供”了。


用任正非的话说:当时根本无路可走。


被逼无奈下,华为只好自主研发交换机,并大获成功。


类似的“被逼无奈”不计其数,终于把一只“虫”生生逼成了一条“龙”。


2019年被制裁后,华为不得不在“极限生存”条件下自研“一切”:从芯片、电路板,到操作系统,以及ERP、数据库。


终于——


2023年5月22日,华为成功实现MetaERP系统大规模切换,相当于宣告MetaERP系统、GaussDB数据库的研发取得全面成功。


用华为董事、质量流程IT部总裁陶景文的话说:“我们已经突破了封锁,我们活了下来!”


今天(6月7日),华为云再度揭开了新一代金融级分布式数据库GaussDB的帷幕。


孤注一掷下,GaussDB实现两大突破:


一是核心代码,100%自主研发;二是,GaussDB是国内首个软硬协同、全栈自主的数据库,即可以实现从芯片、服务器、存储、网络,到操作系统、数据库的全栈迁移及替换。


要知道,芯片、操作系统、数据库,号称现代信息技术的三大核心基础。


但不论是X86的CPU,Windows、Linux的操作系统,还是Oracle、MySQL的数据库,基本都被美国把持。


数据库的重要程度,更是不亚于芯片。


大到国家统计、金融交易,中到企业管理、财务信息,小到聊微信、刷抖音、点外卖、玩游戏……APP、小程序的背后,都是数据库作为底层核心在支撑。


而且,数据库都是7X24小时不间断运转,不仅要安全可靠、无时延快速地记录每笔数据,甚至在“618”“双11”这种数据洪峰面前,都不能有丝毫错误。


2020年“两会”期间,全国人大代表、合肥工业大学应用数学研究所所长檀结庆对媒体表示,甲骨文、IBM、微软等国际厂商把持着87.7%的市场份额,数据库行业基本被美国垄断。


由于牵一发而动全身,数据库产品极具黏性,导致在最核心的金融、能源、通信等关键领域,即便有全面断供的风险,也鲜有人动得了Oracle们的“奶酪”。


如今华为云GaussDB的问世,正试图击破这块“铁壁”。



数据库时代的潮水变迁,要追溯到40多年前。


上世纪70年代,IBM的天才研究员科德,把关系型数据库的理论、模型和查询语言SQL,一并琢磨了出来。


只不过“蓝色巨人”依然沉迷于大型计算机,结果让“硅谷大忽悠”拉里·埃里森抓住了史诗级的机会。



1977年,埃里森创立甲骨文,并根据科德的论文研发出Oracle数据库。


早期的Oracle相当不靠谱,但埃里森还是忽悠了美国海军、中情局、国家航天局当“冤大头”,赚到了“第一桶金”。


上世纪90年代,甲骨文的Oracle、IBM的DB2、微软的SQLServer等数据库开始各领风骚。Oracle占据市场先机,日益成熟,令甲骨文的营收连续12 年翻番,成为全球第二大软件公司,一度令埃里森问鼎“硅谷首富”。


1996年,免费开源数据库MySQL在瑞典诞生。它原本能跟Oracle掰掰手腕,随着2009年甲骨文完成对SUN公司的收购,MySQL也一并被甲骨文收入囊中。


这意味着,Oracle(闭源)和MySQL(开源)两条技术路线,都彻底在甲骨文的掌控之中。


美国数据库产业在大杀四方,此时中国的数据库技术却囿于象牙塔。


结果90年代末,甲骨文们一到中国,就接连斩获金融、电信、航空等领域的超级大单,占据了绝对垄断地位。


关系型数据库,成就了甲骨文们统治全球的黄金时代。



但2008年,时代的洪流突然逆转:NoSQL(非关系型数据库)诞生了。


驱动这场新变革的,是电商。


2007年,阿里98%的系统和业务都跑在Oracle数据库上,IT开销暴涨。


但2009年,即便淘宝跃升为Oracle全球居前的超级应用集群,集群的CPU跑冒了烟,还是扛不住“双十一”的超级洪流。


战无不胜的Oracle,不灵了!


这背后,是图片、语音、视频等非结构化数据呈现指数级暴涨,必须用“云计算+NoSQL”的办法来解决。


比如,你可以把关系型数据库,看成一家“淄博烧烤店”。在Oracle支持下,它每天能招待1000位客人,爆满了。


但现在,“店里”又涌进了1000万人。他们不但要吃烧烤,还要买紫米饼、逛八大局、看鹧鸪戏……


这种天量的、爆发式增长的非结构化数据,瞬间就会冲破关系型数据库的天花板。


所以,“烧烤店”必须升级成云端“烧烤城”。


于是,一场由关系型向非关系型、由集中式向分布式转型的数据库裂变,爆发了!


在分布式数据库里,数据库不会再集中于单机或一地,而会将查询、存储、事务管理等核心功能,扩展到多机或多地。


于是,200万人在A区吃烧烤,300万人在B区逛街,400万人在C区看戏……


另外,云计算通过存算分离、弹性分配等手段,还能打破资源瓶颈,让分布式数据库自由伸缩、无限扩展。


也就是说,哪怕“烧烤城”突然涌进1亿人,分布式数据库“遇强更强”,依然能应对自如。


这是传统的关系型数据库,根本无法比拟的。


如今,NoSQL更进一步发展到NewSQL(新关系型数据库),以便整合传统关系型数据库和NoSQL的优势,使其在OLTP(联机事务处理)和OLAP(联机分析处理)上都能大显身手。


据Gartner预测,2024年,全球数据库市场规模突破千亿美元,而分布式数据库将是最主要的市场增量。


那么,只要对准云化、分布式数据库的城墙口冲锋,国产数据库就一定会迎来“换道超车”的大机会。



实际上,华为下决心自研数据库的初衷,一点都不“高大上”。


2000年,华为的电信业务迅猛增长。但客户这边业务结算耗时长,甚至结算不了的状况,让人大伤脑筋。因为电信业务定制多、改动大,只能用国外数据库。可一旦出问题,“原厂大佬”又请不动。


客户很着急,问题很严重。华为人只能壮着胆子,试着改一改,写起了数据库代码。


事就是这么干起来的。


但自研数据库,决不能拿客户当“小白鼠”。所以,“狗粮”必须自己啃,数据库先在内部用。


结果一用,问题不断,骂声一片,“吐槽”的邮件雪片般飞舞,甚至捅到高管层,让研发团队大呼“要命”。


所有人都不自觉在拿业界的最高标准Oracle,来要求初生的华为数据库。


而开发数据库的内核,更像在刀尖上起舞。因为如果第1颗“扣子”没“扣正”,你可能并不知情;但等问题一暴露,你发现已经“扣歪”了10万颗“扣子”了。


这时候,多年的心血付之一炬,架构又要推倒重来,没有人扛得住这样的泣血折磨。


但是正是在客户的“骂声”、华为自身内部业务的打磨下,经过多个技术路线融合、多个版本迭代下,才形成了今天的分布式数据库GaussDB。


2022年4月,中国邮政储蓄银行(以下简称“邮储银行”)新一代个人业务分布式核心系统成功上线,一举成为全球最大的银行分布式新核心系统。


核心系统是银行的“大脑”和“心脏”,不但承载关键任务,而且在亿万次存储、计算中不容丝毫闪失。


以往,这是Oracle才能染指的“禁区”。


但金融服务在线化,使交易频次极速提高,传统Oracle数据库的容量瓶颈、性能支撑、业务负载越来越大,系统资源缺乏弹性,拥堵成了家常便饭。


这次,华为云GaussDB无缝衔接,打破“铁律”。


新系统上线后,邮储银行实现日均20亿笔、峰值6.7万笔/秒的超强交易处理能力。即便面对6.5亿客户、4万多个网点的数据冲击,依然游刃有余。


全天联机平均耗时从93毫秒减少到65毫秒,批处理时间从4.5小时缩短到3小时,季度结息时间从140分钟缩短到25分钟,性能、效率大幅提升。


2023年4月,在“英雄强渡大渡河”MetaERP表彰大会上,华为宣布:自主可控的MetaERP完成了对旧ERP的完全替换。


在这场世界级难度的攻坚战中,华为云GaussDB作为MetaERP的智能数据底座,凭借其高弹性、高性能、高可用等特性,通过了这场终极挑战。


首先,ERP每天要处理海量的业务和数据,其中包括各类应用与ERP的逻辑集成点3950个、数据集成点27000个,以及销售订单行76万、应付开票行21万、会计分录行1500万……


由于华为的业务极度复杂,账本业务量几乎是业界第一,对存储空间要求极高。


但华为云GaussDB通过GTM-Lite技术,实现了计算与存储的自由水平扩展,并能根据业务压力动态伸缩读节点,读吞吐量提升2倍,主/读节点间数据同步秒级时延;容量更从单库TB级扩展到PB级;支持业务压力自动负载均衡,一举解决了传统数据库扩展性不足的问题。


因此,即使面对超大规模业务,以及ERP海量数据存储和并发访问的压力,华为云GaussDB照样能轻松应对。


其次,ERP频繁的业务查询,需要系统在面对成倍并发量时,性能依然保持稳定。


为此,华为云GaussDB通过使用大并发线程池技术,不仅大幅提高系统响应速度,还最大程度节省了资源;加上全新上线的Ustore存储引擎,能将“有效数据”与“垃圾数据”分离存储,同时采用多版本索引技术,有效提升了存储空间的效率和性能。


由此,华为云GaussDB性能抖动降低70%,整体性能提升10%以上;而3000万笔/天的会计分录峰值处理,从30分钟延时变成了实时处理,效率大幅提升。


再次,在高可用性方面,华为云GaussDB还提供了同城AZ(物理资源)内、跨AZ、异地跨Region的两地三中心容灾方案和1000公里以上的城市级容灾能力。


哪怕故障的发生不可避免,跨AZ切换时间短于1分钟,城市级故障分钟级恢复,并确保每一笔交易准确记录,真正实现“数据零丢失、业务永在线”。


23年磨一剑。今天,人们得以见证GaussDB的崛起。



在数据库的世界中,在海量数据、任务并发的情况下,如何让数据处理“不出错”?这是一件极端困难的事情。


这仿佛是在1000万人涌动的“烧烤城”里,要求不走丢人、不传错菜、不走错路。


怎么可能?


但在金融、电信、能源、航空等系统中,极度苛求“稳定压倒一切”。



而凭借高性能、高可用、高安全、高智能、高弹性,以及易部署、易迁移的特性,GaussDB做到了。


2023年,GaussDB在工行核心信贷系统中,上线了业界领先的同城双集群RPO=0(即故障恢复后数据零丢失)方案。



这个方案的强大之处在于,同城两大数据中心,通过数据库软件独立部署,实现了软硬件故障完全隔离。所以,一个数据中心升级(或瘫痪),完全不影响备用中心正常展开业务。


这一架构,真正实现了7*24小时不间断服务,双集群下RPO=0,达成极致的同步性能。


在各类专业测评中,GaussDB拿奖拿到手软:


202211月,通过数据库产品最高标准EAL4+认证,成为国内唯一获得国际CC认证的产品;

2023年2月,完成中国信通院《分布式事务型数据库稳定性测评》;

3月,完成信通院《全密态数据库基础能力测评》;

4月,荣获中国电子学会科学技术奖科技进步“一等奖”。


此外,GaussDB还通过了信通院防篡改、智能化、分布式事务基础能力三大专项严苛评测。



所谓防篡改,就是极端情况下,GaussDB依然具备识别风险、防止篡改、备份还原的能力;甚至在内存中实施运算态加密,实现了数据全生命周期内的安全保护,成为业界第一款纯软全密态数据库。


所谓智能化,就是GaussDB作为全球首款AI-Native数据库,提供了从开发到运维的全流程“自动驾驶”能力,并通过趋势预测算法,帮管理者推理预警、智能决策。


所谓分布式事务型数据库基础能力,就是一旦出现高并发需求,GaussDB瞬时反应,就近调集分布式的CPU、内存、存储等系统资源,从而实现秒级弹性伸缩的能力。


而GaussDB全栈自研的软硬件,更是打通了数据库的“任督二脉”,足以将性能发挥到极致。


如此强悍实力的背后,则是全球700+授权专利、80+顶会论文、2000+内核研发人才,在提供强有力的支撑。


80+ISV伙伴联合构架200+解决方案,使得GaussDB涉及的行业,涵盖金融、证券、办公OA、企业ERP,数据库运维管理、备份恢复、迁移工具等。


GaussDB的客户,则遍及金融、电商、汽车、制造、能源等行业,并在工行、建行、农行、邮储银行、华夏银行、中石油、中海油等规模落地,并拥有用友、金蝶、宝兰德、神州信息等生态伙伴。


我们看到,国产数据库正在崛起。



在IDC最新发布的《2022年上半年中国关系型数据库软件市场跟踪报告》中,在本地部署模式市场中,华为云数据库凭借GaussDB以16.59%的份额排名国内第一。自2020H1以来,GaussDB已经连续五次蝉联第一,在国内关系型数据库市场持续领跑。


旧世界在崩塌,新世界在重塑。时代的转换,总令人措手不及。


今天,国产数据库早就过了“能用”的阶段,正趋于成熟,不断向“好用、易用”的阶段迈进。面对数据库这类“国货”,国人应该更包容、更开放、更自信地使用,促其越用越灵、越用越稳,加速其成长。


而大国崛起的大背景,正是以华为云GaussDB为代表的中国数据库真正的大契机。


在这个过程中,哪怕有人不断搞断供、搞制裁,希望籍此扼杀中国企业,但除了遭遇一次次失败,只能激发起中国人更蓬勃、更强大、更坚韧的生命力、创造力。


所有的“垄断”都是用来打破的,面对这场数据库的“国运之战”,华为再次证明:


“中国有能力做出和世界顶级数据库媲美的产品。”



THE  END
欢迎【星标】华商韬略

出品人:毕亚军

主编:陈斯文  责编周怡

美编刘彦潮

本文仅代表作者个人观点,部分图片来自网络、图虫创意、东方IC,未能核实版权归属的,不为商业用途,如有侵犯,敬请作者与我们联系

华商韬略旗下公众号,欢迎关注


投稿、约稿、商务合作及建议
敬请联系:010-65580525

[email protected]  周总监

◆◆◆

本文系网易新闻•网易号【特色成长计划】
签约账号【华商韬略】原创内容
◆◆◆

点赞”是喜欢,“在看分享”是真爱

微信扫码关注该文公众号作者

戳这里提交新闻线索和高质量文章给我们。
相关阅读
苹果独霸3万亿美元俱乐部,市值全球第一!竟不是因为Vision Pro六十七 觉醒推特推出防沉迷系统;荣耀:挑战苹果一家独大;微信重新上架大额提现额度券数据库er的夏日盛宴 | 2023 可信数据库发展大会演讲议题征集限时开启!官宣!苏州又一家独角兽“浮出水面”零:从一“无”所有,到永“无”止境迎向浪潮之巅,GOTC 2023 数据与数据库技术专题论坛即将召开星海数据月评|5月国产电动车销量,比亚迪一家独大,蔚来小鹏掉队从试剂原料到国内首条凝血检验全自动柔性流水线,艾科达正低调崛起最全的生物样本数据库(Biobank)收集;及部分公开数据库的大数据分享生信太卷想放弃了?别怕!学会这13个数据库4步搞定5分SCI国产替代重大进步!华为发布核心代码100%自主研发的数据库,国内属唯一数据库行业的新篇章:国产化发展潜力几何?阿里大调整背后:从一个人说了算,到六个人合力干“宁王”一家独大格局生变?最新数据来了六十八 虎穴除奸这个“创二代”干出一家独角兽,腾讯也来了适合中年女人的追求MUJI全球第一家独栋民宿火了!爆改百年日式老宅,网友:住《小森林》是一种什么体验?Zilliz星爵:向量数据库,开创AI原生数据基础软件时代 | GGV OMEGA访谈录京东20年:从“心”出发 为“爱”奔跑不要和陌生人说话, 和爱上陌生人英伟达AI智能体接入GPT-4,完胜AutoGPT!自主写代码独霸我的世界,无需人类插手比亚迪一家独大,西安能否卫冕新能源车产量“第一城”信创国家队来了!又有大肉签?下周10只新股申购,这家公司拥有安全等级最高的国产数据库数据分析师 - 美国新移民的职业重生,掌握数据库的利器崔哥天天侃 | 可口可乐独霸全球,国人请支持咱们的民族饮料英伟达独霸时代结束?ChatGPT引爆谷歌微软芯片大战,亚马逊也入局寻找美《二》寻找美却并不见得是一种美德英伟达或吊打AMD!预计独霸AI芯片市场90%的份额国产替代正当时:我们是如何迁移到国产操作系统的?|直播预约大模型商用新解法:CVP架构崛起,向量数据库破圈华为云苏光牛专访:从可信计算看数据库产业变革新趋势国产替代正当时:我们是如何迁移到国产操作系统的?“白嫖”公共数据,用GEO数据库发表自己的第一篇SCI
logo
联系我们隐私协议©2024 redian.news
Redian新闻
Redian.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Redian.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。