2022年1月6日,备受关注的DC2021分布式数据库开发者大会正式在线召开。它由中国电子技术标准化研究所指导,CSDN主办,OceanBase承办,多个知名社区协办。几年前,分布式数据库技术还是明日之星,而随着2021年,数据库技术革命之年,回首过去,未来已经来临,分布式数据库时代的大幕已经悄然拉开。
本次大会以“聚未来”为主题,邀请了多位业内知名人士,包括MySQL之父、MariaDB创始人、PostgreSQL全球开发集团联合创始人。同时出现的还有OceanBase、TDSQL、GuassDB、PingCAP、巨杉等国内顶级分布式数据库行业的先行者。技术专家带来精彩演讲并分享,为开发者奉献了一场分布式数据库领域的盛宴。
分布式数据库产业现状
分布式数据库的发展如火如荼。当面对各种海量数据的场景需求时,分布式数据库可以为企业业务提供更好的支撑,优秀的数据库产品可以为企业发展插上翅膀,推动行业腾飞。
通过与会专家的分享可以发现,分布式数据库的现状主要是从单一化向多样化发展。随着应用场景和数据量的增加,对并发和吞吐量的要求越来越高,一个数据库应用于所有场景逐渐不可能。这也带来了数据库的一个趋势,即一种数据库适应一个或多个场景,数据库的类型会越来越多,呈现碎片化的趋势。此外,数据库也从单机变成了分布式。目前,分布式数据库已经相当流行。从最初的关系数据库到分布式数据库,在这种趋势和潮流下,数据库面临着碎片化。
中国电子技术标准化研究所研究室主任杨表示,随着分布式数据库的发展和改造、技术进步和数字化的深入,数据正以指数级的速度增长。去年国家明确数据已经成为第五大生产要素,这意味着数据越来越重要。这种趋势对于数据管理和分析的数据库软件来说,既是一个巨大的发展机遇,也是一个重要的挑战。国内有很多优秀的分布式数据库产品,如OceanBase、TDSQL、巨杉等,正在承接创新的数据库业务,逐步进入核心系统领域。
在全球范围内,随着互联网的快速发展,我国分布式数据库得到了突飞猛进的发展,并迅速应用于各行各业。2010年,OceanBase正式成立,从淘宝到支付宝,从支付宝到更广阔的世界,逐渐成为全球知名的自研数据库。
OceanBase创始人杨振坤详细介绍了数据库的诞生、发展和当前面临的挑战,并幽默地使用了“小马拉大车”的形象比喻,让与会者对分布式数据库有了更清晰的认识。通过对HTAP和OLTP的简单介绍,一方面说明了它们之间的根本区别,另一方面也说明了HTAP目前面临的一些挑战。在杨振坤眼里,好的分布式数据库是可以横向扩展的“一”数据库,一个数据存储既可以用于事务处理,也可以用于分析处理。它具有“一个数据库”、横向可伸缩性和HTAP三个重要特征。
杨振坤引用了Google Spanner论文中的一段话:虽然有人说“一刀切”,但包括交易处理、分析处理、全文搜索在内的单一系统才是客户的最高优先级。人类的智慧是无限的。HTAP面临的一些挑战已经被克服,所有这些挑战都将在不久的将来被克服。
腾讯分布式数据库TDSQL首席架构师李介绍了TDSQL的关键技术,《数据异常体系化技术研究》,主要讲解了为什么要定义数据异常,为什么要定义系统性数据异常。如何系统地定义数据异常;如何使用数据异常来阐明数据异常与隔离级别的关系;解释清楚数据异常和一致性的关系。明确整个数据库事务处理领域的几个重要概念,从数据异常的角度明确什么是一致性,什么是隔离级别。
近年来,随着云计算的不断发展,分布式数据库和云计算可谓密不可分。华为数据库首席架构师冯轲现场分享解读了《华为云 GaussDB 深耕创新,打造根技术竞争力》,帮助与会者了解华为的数据库战略以及基于该战略确定的六大基础研究方向:高可用、软硬协同、混合负载、云原生、安全可靠、智能化。
除了六大基础研究方向,华为在数据库战略上还有三大优势:研发;d能力、全站仪能力、生态建设。基于以上三大优势,最终确定华为的数据库战略,通过软硬件协同的应用,打造开放生态,打造全场景的GaussDB云服务。
最后,ocean base CEO宾洋分享了33,360,010-30,000。通过回顾过去一年行业和OceanBase的发展,再次证实分布式数据库的发展势不可挡。
主论坛专家对话环节聚焦传统数据库向分布式数据库转型的价值和趋势。感谢国内顶级分布式数据库行业代表的精彩分享,让我们更清晰的看到分布式数据库的发展和行业现状。时代的浪潮不会无风不起浪,无数优秀的开发者和创新者是这股浪潮的推动者。
OceanBase 在行业中的实践与方法
在上午的活动中,值得关注的当属 OceanBase CTO 杨传辉对于分布式数据库整体的技术发展进行的解读。从 2010 年开始蚂蚁集团便致力于 OceanBase 的研发,如今不论在性能、可扩展性、兼容性还是开源方面都取得了不错的成果。
一体化架构作为原生分布式数据库的佼佼者,OceanBase 背后的主要核心技术就是一体化架构。通过一体化架构,OB 能够发挥出双重技术优势:
分布式:底层是原生分布式架构,依然拥有分布式技术无限扩展,动态增减服务器的技术红利。
集中式:完全兼容集中式数据库功能和单机性能,同时支持 OLTP 和 OLAP,简称 HTAP。
OceanBase 一体化架构的核心技术理念那就是既要分布式,又不能牺牲性能,用一个通俗的话来讲就是两手抓,两手都要硬!每一个数据库都离不开 SQL、事务和存储三个技术模块,如果将事务层和存储层分离,再抽取一个单独的分布式KV系统,可以简单直接的实现一个分布式数据库,但是会牺牲单机性能,造成系统高延迟,不适合在核心业务系统使用;然而,OceanBase 通过一体化架构将事务层和存储层有机结合,不牺牲单机性能的同时又能做到与集中数据库相当的水平,完全可以适用于核心业务场景。
OceanBase 的一体化架构包括了三个核心技术模块:
原生分布式:底层是基于 Paxos 的灵活容灾架构,其上一层是一个一体化架构,兼具单机性能优势,易用性以及扩展性,并且保证全机的强一致性。
HTAP:OceanBase 在一套 HTAP 引擎中同时支持 OLAP 和 OLTP 混合负载,并且做到了良好的资源隔离。
两种兼容模式:同时兼容两种 SQL 使用接口,商业数据库 Oracle 和开源数据库 MySQL,保证集中式数据库到分布式数据库的平滑迁移。
OceanBase 的核心理念是把简单留给客户,把复杂留给数据库,因此选择了对客户更加友好,更加简单的一体化架构。
开源版本在 2021 年 6 月份,OceanBase 正式面向全球开源开放,每一个用户都可以通过下载 OceanBase 社区版快速学习和使用。OceanBase 在开源上与其他项目可能不同,十年内核能力的积累,大量的代码开源,必然花费了很多心思和努力。开源是为了更好的发展,相信点点滴滴将汇聚成满天星河,开源会越做越好。
同时,OceanBase 在社区建设上也是大力发展,一个好的社区必然离不开开源的支撑,能够加速生态建设。通过开源,能够更快速让更多的数据库管理者,使用者或者说学习者,都能够参与到这个分布式数据库生态里面,这样能够比以前 Oracle 建设生态要更快,通过开源能够更快的完成生态建设。
技术路径OceanBase 自 2010 年立项以来,已经过了 11 年,一直保持着不断的突破和创新。同样的,分布式数据库也经历了三次技术迭代,从最早的 NoSQL 系统走向今天的原生分布式数据库。
第一代分布式数据库是一个分布式的存储系统,也被称为 NoSQL。
第二代分布式数据库采用搭积木的方式,在 NoSQL 的基础之上引入了 SQL 的支持,支持基本的 SQL 功能,但是往往都牺牲了单机的性能和成本。
第三代原生分布式数据库,追求极致,支持完整的企业级 SQL 功能,并且做到单机性能与集中数据库基本相当。
OceanBase 十一年以来一直坚持自主研发,秉持只有自主研发才能完全掌控内核,只有完全掌控内核才能够持续在原生分布式数据库领域开拓创新。所以,OceanBase 的原生分布式数据库也经历了三次迭代:
第一代分布式存储系统:将 LSM 首次引入到关键数据库领域里面,大幅降低关键数据库的存储成本。
第二代分布式数据库:OceanBase 再次将 paxos 协议引入到关键数据库领域里面,首次做到 IPO 等于零。
第三代原生分布式数据库:OceanBase 做到在一套引擎同时支持 OLTP 与 OLAP 混合负载,并且参与 TPC-C 和 TPC-H 打榜都取得世界第一的成绩。
2021 年 OceanBase 又取得五大核心产品技术突破:
从 OLTP 到 HTAP,TPC-H 整体性能提升 620%,30TB 打榜排名世界第一。
单核性价比大幅提升,Sysbanch 整体性能提升 68%,支持小规格部署,性价比在全球分布式数据库领域遥遥领先。
更强的跑批能力,支持超大事务,能够在一套引擎同时梳理交易和跑批两类工作负载,并且确保跑批负载不会影响正在进行的交易业务,并行 DML 和大数据导入性能分别提升 270% 和 58%。
Oracle 平滑迁移,OceanBase 是业内首个支持平滑迁移 Oracle 的原生分布式数据库,并且得到银行、保险、证券、运营商、公共事业等多个行业核心业务场景的应用证明。
易用性提升,实现了不依赖单点的分布式检测,也能够通过全链路监控来大幅降低问题排查成本。
OceanBase 也是全球唯一一个在事务处理和数据分析两个领域都获得过世界第一的原生分布式数据库。

产业进步与开源发展
长期以来,数据库领域并没有太大的突破或进展,由于它本身是一个门槛比较高的行业,长期就是由几家公司来占据市场份额,所以导致很长一段时间内的开源分布式数据库发展升量很足,但是在整个市场份额上未必有优势,这是很长一段时间里整个开源分布式数据库发展的整体情况。
但是从 2021 年 1 月开始出现了一个很大的变化,在市场产品占有率层面,开源的产品第一次超过了闭源的商业产品,这是一个好的现象,同样的,分布式数据库在市场上的竞争也是日渐增长,说明分布式数据库的价值以及它的架构上的优势正在越来越被大家所认可。
OceanBase 在社区开源发展方面做的可圈可点。从数据层面来看,社区总用户 23000 名,百名外部开发者, 超百企业用户在社区进行深度的探索。在社区建设上,在 Gitee 和 GitHup上Star 数已经超过 4000 次,社区 Fork 数 860,Commit数超过 640。在最为关键的社区活跃度上,每日和用户的沟通数次数超过了 300 次,并且社区问答数迄今为止已经超过 4600 次。在技术布道方向连接了超过 3500 名开发者。这些数据表明:OceanBase 社区正在蓬勃发展,在未来将会更上一个台阶。
国外和国内对开源社区的组织形式有什么区别呢?主要有几下几点:
开源生态:社区与代码的重要性
研发门槛:专利和论文数量
起跑线:起步时间
持久性:研发是长期的持久战
总体来说,现在是一个后来者可以居上,技术价值可以无限接近于商业价值的美好时代。而未来,分布式数据库的发展基于开源和技术的发展,无疑将会有更加广阔的发展前景。
<
以上就是帮企客小编为大家带来的全部内容,希望可以帮助到大家。免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
如有疑问请发送邮件至:bangqikeconnect@gmail.com