分布式数据库时代,需要什么样的产品?

腾讯云数据库

共 5212字,需浏览 11分钟

 ·

2024-06-26 13:04

分布式数据库,正当时

向下发挥硬件算力,向上支持上层应用,数据库作为IT行业的根基,不可或缺。

数据库是基础软件皇冠上的明珠,几十年来与操作系统齐名,是每一家公司业务系统的核心,以刚需“收割”企业利润。

在过去几十年间,集中式数据库占主流。

如果将数据库的处理能力和容量类比为“马拉车”,集中式数据库的解决方案是把“马”做大,让单机实力更加强劲,带动数据的存储和处理。

「数据库的速度、易用性、稳定性、扩展性、成本等对企业的基础业务以及增长弹性至关重要。」

数据的产生速度和使用方式都发生了翻天覆地的变化。数据呈现出海量规模和高速增长的态势,数据的部署环境也日益复杂。

数据量爆发式增长、应用负载快速增加,容量需求急剧增加。但面对新时代,集中式数据库已分身乏术。

一是“马”的增长很难跟上“车”的速度,二来集中式数据库存在容量限制,一般只能达到TB级别,无法适应大数据时代数据快速增长的存储和处理需求,再者持续的金钱投入,让成本大大提升。

另一方面,传统集中式数据库整体性能和稳定性,过分依赖于底层硬件本身的性能及稳定性,这也是为什么传统核心数据库往往采用小机型及高端存储设备,这样一来就大大增加了客户的建设成本,以及后期运维成本 。

既然独木难支,为何不“众人拾柴”?

「分布式数据库,就是动用许多“小马”,一起来拉动这辆“大车”。」

相比传统的集中式数据库,分布式数据库可扩展性更强。面对飞速增长的需求,后者不依赖单机,可以做到简单、便宜的扩容。

分布式数据库容灾性也更强。分布式数据库“不把鸡蛋放在一个篮子里”,当体系中某个单机出现问题时,数据库仍然能够稳定运行。“两地三中心,同城双机房”,提供超高系统可用性。

分布式关系型数据库利用分布式技术,突破了传统集中数据库的容量与性能瓶颈,简化了运维工作,并有助于降低对高性能硬件的依赖。

其实,分布式数据库时代,已经势不可挡。

「过去数十年内,数据库的牌桌上鲜有中国厂商的身影,但大数据和云计算的出现,让中国厂商有了更多底牌。」

业务上,企业数字化转型的不断深入,业务对数据库的高可用性、并发处理能力、弹性扩展等方面要求更高。分布式数据库能够根据需求弹性伸缩,能处理几乎无限量的数据。

云计算场景,分布式数据库将数据库进行资源池化管理, 具备多模式、多租户、HTAP、弹性扩张、高可用等特性,与云计算、分布式应用开发模式恰如其分地匹配。

云与数据库的融合,快速部署、高扩展性、高可用性、可迁移性、易运维性和资源隔离,减少了数据库参数的重复配置。

曾有知名数据库厂商CTO对雷峰网表示:“相比于传统单机版的经典数据库,由于其积累的时间更长,自主创新的数据库的成熟度肯定还是会差一些。但是在云数据库领域,我国与国外的同类产品相比,技术上已经没有任何差距,甚至在一些高并发的场景上更具有优势。”

政策上,国家和行业层面不断出台各种政策文件牵引分布式数据库产品的发展与落地,自主创新的步伐已经快步走。

而分布式数据库技术也逐渐成熟。场景应用的逐步增多,数据库厂商和产品自身迭代加速,技术成熟度比前十年有了长足的进步。

「在这个赛道上,如今已是群雄逐鹿,中国数百家数据库厂商,传统数据库厂商、云厂商、新兴数据库厂商、大数据厂商、数据库服务商、系统集成商等多种类型供应商都相继推出产品,市场异常火热,其中,分布式数据库产品就有100多款。」

云数据库的发展让自主创新数据库实现了“变道超车”。


数据库+服务器的珠联璧合

数据库是基础软件的三驾马车之一,关乎企业核心业务系统,可这一领域属性重、壁垒高:

它需要各类数据库专业技术人才,它需要高并发、大数据量的严格复杂业务场景验证,才能锤炼产品的稳定性和性能,但不是每家公司具备企业给予的验证机会。

它需要经过时间的运行沉淀,才能锤炼产品的成熟度,不是每家公司都有足够的时间和资金去投资一项长期才会见效的产品。

换句话说,数据库产品研发门槛极高,需要花费极大的时间、资金、精力,不是基于“开源中间件+开源数据库”就可研发出一款合格的市场产品,厂商必须戒骄戒躁,沉下心来长期投入。

「利刃磨成,非一日之功。“长期投入”应该有多长,没有标准答案,而腾讯云数据库已经度过了十七年。」

腾讯云企业级分布式数据库TDSQL从2007年就开始内部孵化,2009年,互联网进入全面社交高速发展时期,腾讯云数据库支撑计费支付业务,在7*24小时高可用、数据强一致的基础上,对高性能吞吐、分布式水平扩展、分布式KV存储等进行了研发布局,帮助摆脱业务系统流量对服务器数量的依赖,以及突破了性能瓶颈、数据可靠性保障、高可用等“不可能三角”的技术难题。

云计算时代,腾讯云数据库产品能力,经历了公有云上海量实际用户场景的打磨。

「微众银行是国内首家采用互联网分布式技术架构的银行,也是首家核心系统未采用Oracle等集中式商业数据库的银行。在其背后,TDSQL作为其分布式数据库底座承担了非常核心的作用。」

2020年12月腾讯云数据库品牌升级,腾讯云原有的TDSQL、TBase、CynosDB三大产品线将统一升级为“腾讯云企业级分布式数据库TDSQL” 。全新升级后的腾讯云TDSQL针对不同场景的应用需求,涵盖分布式、分析型、云原生等多引擎融合的完整数据库产品体系。

TDSQL产品体系中的金融级引擎,具备极高事务处理能力,支持全局一致性,在金融、保险、运营商等行业应用中,TDSQL的Oracle兼容引擎转为去“O”而生,兼容度高达95%以上,超高压缩比,大幅节省资源,帮助行业低成本、快速、平稳地完成数据库替换升级,加速在传统领域的落地实践。

TDSQL还曾助力10亿级数据规模的第七次全国人口普查,实现全面电子化。如今TDSQL服务横跨金融、公共服务和电信等多个垂直领域,超过4000家客户。

而浪潮信息,则是服务器领域的老大。

「浪潮信息作为全球领先的服务器和数据中心解决方案提供商,拥有强大的技术实力和丰富的行业经验,能够为腾讯云提供高性能、高可靠性的硬件支持。」

浪潮信息和腾讯云不只是技术上的互补。

在市场共享上浪潮信息在国内外市场具有广泛的客户基础和市场渠道,能够帮助腾讯云拓展市场覆盖范围,提升市场份额。腾讯云则在互联网、金融、电商、游戏等多个行业具有广泛的应用场景和客户资源,能够为浪潮信息的硬件产品提供更多的应用机会和市场需求。

客户需求上,浪潮信息深入了解企业级客户的需求,能够为腾讯云提供符合市场需求的定制化硬件解决方案。而腾讯云能够为客户提供更加完整和优化的云计算解决方案。

魏健表示,未来高性价比、高性能、高可靠性是数据库方案重要三大衡量标准,而TDSQL都有着优异的表现。

同时,浪潮信息也是腾讯云最大的服务器合作伙伴,因此在深化合作上也有着天然的优势。

双方基于历史友好合作经验,进一步结合各自优势产品强强联合,实现软硬件深度融合优化,推出了如今的分布式数据库一体机产品。


元脑TDSQL数据库一体机过人之处

将核心业务迁移到自主创新分布式数据库是一项重大的工程,并非所有的迁移都是简单的数据库替换,更多的是关于整个技术堆栈的替换,并且涉及整个业务链路自上而下的信息传递。

客户对分布式数据库选型,有五大核心要素分别是可靠性和稳定性、整体成本、产品功能和易用性、兼容性,以及可扩展性。


可靠性、稳定性和可用性。数据库是整个应用系统的核心,一旦瘫痪意味着承载应用和业务中断。

魏健告诉雷峰网,高可用是一个系统的概念,单一某一模块/层的高可用设计都不足以为用户需要的系统高可用性。

「金融领域,其安全级别高、交易频次高、数据环境复杂、技术标准严格,高并发、高可靠需求最为突出。」

因此,他们在元脑TDSQL一体机的设计上,实现了从架构、软硬件配置、最终到方案上实现全维度的高可用性、可靠性和稳定性设计,让任意节点故障都不会影响到用户的使用体感,实现故障无感知,比如:

架构上,浪潮信息在整体架构上构建了全冗余的分布式软硬件集群,避免单点故障,任何节点故障都不会影响到业务的稳定性和可用性。

软、硬件机制/配置上,软件上有一主多从、分片、副本、强一致性等机制;硬件上利于内存自动故障隔离及“预诊愈”、硬件冗余阵列、多网卡绑定等机制确保各模块的可靠性及可用性。

魏健表示,分布式数据库一体机对于硬件的要求能力比传统集中式数据库更高,他们从内部的研发质量、生产测试、交付,它所遵循的质量流程、质量标准是比通常的服务器更严格。通常的服务器24小时的老化时间足够,他们基于数据库的关键业务的场景,对元脑TDSQL一体机进行了48小时的老化时间。加倍老化测试,只为打磨更好的落地能力。

公共事业、企业客户,可能对于一体化智能运维管理、多系统数据库统一纳管等方面有所要求。

对于运维部分,使用分布式架构会导致整个数据集群运维和备份等操作的难度增大,同时运维人员也会担忧迁移到自主创新分布式数据库后,运维技能和方式与原来相比有过大差异,无法对数据库进行有效运维。

元脑TDSQL一体机为了客户使用的高效便捷,在交付管理、运营体验上,腾讯云和浪潮信息通过软硬件优化、预制,一体式交付,避免传统交付的复杂度和风险不可控的问题;利用软、硬件统一的运维管理界面,以及全白屏可视化、智能分析的工具降低用户的运维难度。

「“元脑TDSQL一体机做到了开箱即用,把复杂留给我们自己,我们做好各种的联调、联试,让用户能够把更主要的精力放在应用上去。”魏健表示,数据库一体机的调优与否差距非常大,他们做到了让客户开箱即用。」

一款真正的一体机的技术壁垒并不低,它不是组装的,而是软硬件结合。

软硬件联合调优,比如BMC调什么,不同场景下怎么调,软件厂商并不熟悉,还有OS层面、数据库层面的参数组合,是一个庞大的工作量,没有多年积累,难以做到极致,浪潮信息和腾讯云发挥各自优势,联合做软硬件联合调优,让元脑TDSQL一体机达到最优水平。

其次,元脑TDSQL数据库一体机软硬件管理系统,实时监控系统运行状态,一旦检测到数据库及硬件设备异常情况,将触发自动告警,以降低故障风险。

另外,元脑TDSQL一体机提供完善的备份、容灾机制,从方案层面,避免从人为误操作、到自然灾害对业务可用性的影响。

可扩展性被认为是分布式数据库最具吸引力的特性之一。分布式产品过去更多用于泛互联网领域,因此可扩展性高。

未来,在应用场景上,基于双方强的研发实力,结合行业需求,他们将持续优化创新,为用户提供更优的、更加满足其需求的一体机专属产品。

*本文转载自雷峰网



-- 更多精彩 --

报名开启|7月5日,WAIC腾讯论坛邀您一起智创未来


中国唯一云厂商!腾讯云入选Gartner®亚太区云数据库管理系统客户之声“客户之选”


云数据库技术发展趋势


浏览 90
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报