数据库春风得意，一文看尽花落何方
共 6691字，需浏览 14分钟
·
2021-01-22 20:19
2020年，新冠疫情既带给我们伤痛和教训，也带给我们很多启迪和机会。
毫无疑问，疫情加速了企业与整个社会的数字化，数据作为一种资产，逐渐成为至关重要的生产要素。连带数字化科技普遍看涨，包括微软、苹果、亚马逊、谷歌、英伟达等美国7家大科技公司市值一年增长了3.4万亿美元。
管理数据资产离不开数据库，甚至可以说每个应用都需要数据库。数据库也已经从传统的关系型数据库，发展出十几种新的类型，如关系、非关系（文档/键值/宽列/图）、地理空间、时间序列及其他数据模型等，满足用户越来越多的应用需求。
一篇文章写不完数据库的未来，但是循着2020年以及过往数据库的发展脉络，中国软件网想抓住2021年甚至更远未来数据库发展的几个方向，与我们的用户、读者一起赢。
01
向云转移趋势加快
数据库向云转移的大趋势势不可挡，在2021年的表现就更加强劲。
第一，超过一半的数据库应用将被部署或迁移到云平台。
数据库本地部署还是上云托管，以前对大多数用户而言，都是一个大问题，这么关键的数据资产放到云上，是否会安全呢？云能保证数据库实时运营吗？
事实证明，云上的数据库托管不但安全，而且用户应用的成本大大降低。
2020年12月2日，AWS就宣称使用AWS数据库迁移服务（DMS）将30多万个数据库迁移到了其云平台上。Amazon DMS早在2016年推出，使亚马逊的客户可以将传统的关系数据库、非关系数据库和数据仓库轻松地迁移到其云基础架构上，同时避免停机。
在过去几年，成千上万的客户包括三星电子、道琼斯等已使用AWS数据库迁移服务迁移了数据库。
云服务商自己也身先士卒。2009年，阿里巴巴用开源的MySQL替代了Oracle。2010年，阿里巴巴又基于MySQL着手打造开源数据库AliSQL，并对淘宝商品库进行改造。2012年，AliSQL支撑了首个“双11”。2013年，已经家喻户晓的淘宝下线最后一个Oracle数据库
早在2019年，AWS就将其消费者业务近7500个Oracle数据库迁移到了多个AWS数据库服务，涉及超过75 PB的内部数据。
2020年10月，Gartner发布的报告称，到2022年，所有数据库中的75%将被部署或迁移到云平台，只有5%被考虑返回到本地部署环境。到2023年，云数据库管理系统的收入将占DBMS市场收入总额的50%。
中国软件网认为，2021年，在国内超过一半的数据库应用将被部署或迁移到云平台。
第二，将数据库应用迁移到云上，其优势不断得到强化。
Amazon DMS总经理Dan Neault曾在一篇博文中表示，客户改用亚马逊的替代云托管数据库，获得诸多好处，比如降低资金和运营成本，提高可扩展性，以及享用按需付费的商业模式，仅针对使用的服务向客户收费等。
正如前文所说，AWS将存储在近7500个Oracle数据库中的75 PB内部数据迁移到多项AWS数据库服务，仔细分析了成本和性能，并得出如下的结论：
降低成本。基于AWS的应用规模以及所享受的折扣率，将数据库成本降低了60％以上。从Oracle切换到AWS可使周期客户报告的成本节省90％。
提升性能。面向消费者的应用程序延迟降低40％。
管理简化。切换到托管服务可将数据库管理支出减少70％。
三星电子将三大洲的逾11亿用户从Oracle数据库迁移到了Amazon Aurora，数据库成本降低了44%。益百利将其消费者平台从Microsoft SQL Server迁移到了Amazon DynamoDB，将之前的整体式架构改造成了基于微服务的架构。因此，处理数据最多增加75%，并将服务器的部署时间从60天至90天缩减至数小时。
第三，云数据库成为数据库应用增长最快的领域。
Gartner DBMS市场数据表明，2020年DBMS的市场总收入为554亿美元，其中170亿美元来自云DBMS产品,占DBMS市场总额的31%。在DBMS收入增长的76亿美元总额中，云DBMS这个部分贡献了60亿美元，占DBMS总收入增长的70%。
云收入在DBMS总收入中占比增加，用户对本地产品的兴趣不断下降。AWS就宣称，数据库服务是其业务增长最快的领域。
Forrester的研究发现，自动化、性能和安全性是数据库云服务三个关键的差异化因素。AWS、Oracle、MongoDB、微软和谷歌是这个市场的领导者；Redis Labs、阿里云、SAP和IBM是强劲表现者；腾讯、EnterpriseDB和Rackspace是竞争者。
02
我家的数据库“云原生”了吗？
参加数据库应用的大会，几乎没有不谈云原生数据库。2021的发展趋势是云原生数据库实力越来越大，用户不得不考虑，“我家的数据库云原生了吗？”
第一，云原生数据库发展迅猛。
数据库上云是将传统的数据库搬迁到云上，在云上进行托管，形成搬迁式的云数据库，保留了传统数据库的问题，有可能不适合于云环境的发展。
云原生数据库是一种通过云平台构建、部署并交付给用户的服务。与其他类型的数据库相比，它最大的不同是完全基于云环境构建。随着云原生数据和海量计算的重要性不断提高，企业比以往任何时候都更加重视部署此类服务，为企业提供增强的可靠性和可伸缩性。
图片来源：信通院
信通院领导制定了云原生数据库标准。标准分为基础能力要求、平台可观测能力要求、资源管理能力要求、服务可用性、数据可靠性、安全性、按需付费能力及数据库性能八大方面。
目前已有阿里云、华为、腾讯云三家厂商通过云原生数据库的首批评估。
第二，云原生数据库的核心是存储与计算分离。
相关专家认为，云原生数据库的核心是存储与计算分离，同时还必须具备高性能、高可扩展、一致性、符合标准、容错、易于管理和多云支持等特性。
从数据库用户的角度来说，计算和存储分离架构可以使得计算和存储独立伸缩，需要存储时添加存储，需要计算时增加计算，云计算中存储和计算独立计费的模式，可以弹性满足用户的需求。
同时，使用同样的计算环境下拥有更优的查询响应时间，并支持高并发，得到更好的用户体验。
阿里云李飞飞曾经表示，“传统数据库会像马车一样被淘汰。” 而在云生态发展下，云原生数据库已成为不可逆的趋势之一。在规模化带来的边际成本下降即云原生带来的技术红利以及经济红利，向云原生技术演进的趋势是自然发生并非常清晰的，不论用公共云还是专有云私有化部署，都一样。
03
Serverless数据库青出于蓝而胜于蓝
从开发者角度而言，云原生是一种最大化享受云计算红利的技术理念，包括但不限于弹性伸缩、按量付费、开放标准、Serverless化等能力，将推动软件重塑生命周期。在支持Serverless化等能力方面，数据库应用走到前面。
第一，推出Serverless数据库服务的企业不断增加。
2018年，Amazon Aurora Serverless v1问世，目前已被成千上万的客户用做高效益的数据库选项，以应对低流量、间歇性或不可预知流量(如测试和开发工作负载)的应用需求。2020年12月，Amazon Aurora Serverless v2推出。
2020年12 月 20 日，腾讯云重磅发布了自研云原生数据库 TDSQL-C Serverless (原 CynosDB Serverless)，这是国内首款计算和存储全Serverless 架构的云原生MySQL。
此前，2020年4月，腾讯云正式发布了国内首个基于Serverless技术开发的新型数据库“PostgreSQL for Serverless”，其具备完全自动化的扩容能力，能够最快1秒完成部署，让成本降低达70%。
阿里云云原生Lindorm重点打造Serverless能力：用户可以通过API定义对数据库资源的要求，包括可用性、延迟、一致性、部署位置等，并且不再需要为不确定的业务流量去评估存储、请求等资源，完全收敛精力到业务的开发，加速数据应用创新，体现云计算的按需使用、极致弹性。
第二，Serverless数据库服务性能越来越好。
Amazon Aurora Serverless v1可在5到50秒内扩展数据库容量，在需要时每次将容量翻倍，且由于它是无服务器的，客户也无需操心数据库容量管理。
升级版本Amazon Aurora Serverless v2能够在不到一秒钟的时间内将数据库工作负载扩展到数十万个事务。它能精细化调整容量，而不是每次需要扩展工作负荷时都将容量翻倍，从而为满足应用程序需求提供合适的数据库资源。
借助Amazon Aurora Serverless v2，客户只需为使用的容量付费，与按高峰负载而配置的容量成本相比，可以节省多达90%的数据库成本。
Serverless具备完全自动化的无感扩容能力，能够随着用户业务的请求数的增加和减少，智能化“膨胀”和“缩小”，实现资源的自动“吞吐”。从此以后，开发者可以真正的完成 Serverless 架构应用的开发，专注于业务本身，免除运维，按需付费。
专家认为，实现真正的数据库Serverless能力的核心关键是隔离和调度，前者需要解决共享资源下的稳定性问题，确保租户之间不会产生影响；后者需要解决资源的按需供应和高效利用，确保集群负载均衡，并能根据业务流量快速弹性伸缩。
04
开源数据库种类和性能双提升
数据库市场一方面传统的商业数据库系统就几个老面孔，增高乏力，排名靠前依然是Oracle、SQL Sever、DB2、Microsoft Access这几个。
另一方面，开源数据库数量逐渐增多，种类增加，应用扩大，与商业数据库几乎平分天下。
因此，开源数据库因倡导群策群力、免费应用而日益壮大。根据DB-Engines相关统计数据，目前商用数据库与开源数据库所占的市场份额日渐趋近对半分的成度，分别接近50%的份额。
第一，开源数据库市场增大，商用数据库市场萎缩。
IDC预计到2021年，年产值296亿美元的商业数据库市场会收缩20%至30%，原因是并认为Oracle无法足够快地从传统的商业数据库转向基于云的订购产品实现转型。
市场发展显示，数据库服务逐渐迁移到SaaS，大多数产品使用免费开源数据库。
社交媒体、物联网和非结构化/半结构化数据等快速的增长，这些使用场合不适合SQL标准。众多的免费开放源代码选项日益稳定、功能日益强大，其中大多数选项是“Not Only SQL”（NoSQL），因此极其适合上述使用场合。
专家认为，由于摩尔定律带来了处理器、内存、固态存储和网络吞吐量等方面的改进，同时提升快速处理NoSQL使用场合和SQL使用场合的能力，并逐渐使纯SQL数据库沦为边缘化。
第二，开源数据库企业上市增多，创造更多高市值神话。
扎根数据服务领域，众多数据库新派企业，在开源自己的产品同时，不断通过商业运营，发展壮大自己。
MongoDB是支持现代商业应用程序的最流行的NoSQL数据库之一。MongoDB的文档式的数据库产品长期位列NoSQL数据库第一。2017年10 月 20 日，MongoDB 在纳斯达克上市。2020年12月市值达到163亿美元。
MongoDB于2016推出了MongoDB的云版本——Atlas。Atlas的产品可以跨多个云平台，可在AWS、谷歌云平台和微软Azure上运行，给客户带来了更多的便利和好处，提供了更多的选择，支持众多使用场景。
云数据库服务供应商Redis Labs是一家专注于内存数据库的公司。和传统开源数据库公司一样，它针对普通用户提供免费的服务，但会对企业用户进行收费。相比同行，公司提供的数据库解决方案的处理速度要更加快，因为它能在服务器的内存里直接对数据库进行操作。
Redis Labs的DBaaS继续扩大产品种类，以支持新的使用场景。Redis Cloud Essentials在众多云平台（包括AWS、谷歌云平台、IBM SoftLayer和微软Azure）上提供全面管理、Serverless和托管的Redis Enterprises数据库即服务。企业使用Redis支持实时分析、大批量事务、社交应用、操作型报告和移动应用。
EnterpriseDB是第一家在云端提供PostgreSQL数据库的供应商。自2012年发布第一个版本以来，它显著改进了服务，更易于支持庞大复杂的数据库部署环境。如今，EnterpriseDB的云端DBaaS for PostgreSQL包括AWS和Azure云平台上的配置和管理。借助EnterpriseDB，所有设置、维护、备份和监控都通过一个简单易用、基于Web的图形界面来进行。
相信不久将来，Redis Labs和EnterpriseDB在IPO时都会创造高估值。
05
国产数据库持续增长步入“好用”阶段
《2019网信自主创新调研报告》就认为，经过多年发展，国产数据库除部分引入商用授权外，大多拥有自主知识产权，在技术、专利、标准等方面实现了可控、可供应、可持续发展的能力，供应链相对安全。
国产数据库已经逐步从“可用”步入“好用”阶段。目前，我国数据库核心关键技术水平与国外基本相当，部分数据库产品的性能和安全指标达到甚至超过国外同类产品。
第一，国产数据库市场在国内市场份额不断扩大。
根据IDC数据，2019年中国关系型数据库软件市场规模为13.4亿美元。其中，传统部署模式市场规模为7.9亿美元，公有云模式市场规模为5.5亿美元，整体市场同比增长30.8%。IDC预测，到2024年，中国关系型数据库软件市场规模将达到38.2亿美元，未来5年整体市场年复合增长率（CAGR）为23.3%。
在云数据库服务市场，阿里巴巴集团（含蚂蚁金服数据库业务收入）以48.1%的市场份额排名第一；腾讯以20.4%的市场份额排名第二，2019年腾讯加快数据库服务产品化的速度，连续发布多款新产品；AWS以10.4%的市场份额排名第三；Oracle、华为、微软分别以7.0%、3.0%、2.5%的市场份额位列第四到第六位。
在中国关系型数据库软件市场中，传统部署模式厂商国际厂商仍占主导地位，Oracle、Microsoft、SAP、IBM分别占据市场第一到第四的位置，超过超过一半的市场份额。
华为、阿里巴巴集团，以及传统数据库厂商南大通用（Gbase）和人大金仓（Kingbase）排在其后，占据近40%市场。
随着国内云厂商技术能力不断提升，数据库等核心技术的国产化也取得重大突破，对本土客户的需求将会有更好的适应和匹配，数据库国产化成为行业发展的必然。
第二，国产数据库产品不断丰富。
在Gartner公布2020年度全球数据库魔力象限中，国内厂商阿里、腾讯、华为入围。其中，阿里云，作为中国科技公司代表，首次挺进全球数据库第一阵营——领导者（LEADERS）象限，这也是中国数据库40年来首次进入全球顶级数据库行列。
各种国产数据库百花齐放，并且应用到各行各业，很多核心系统都开始切换到国产数据库，如PolarDB、TiDB、达梦等等，国产数据库必将全面崛起。
数据库产品对稳定性、安全性、实时性等指标尤为关注，国内数据库在这些特性上接近甚至超越国外同类产品。
阿里云数据库在国际 TPC-C 性能测评达到 6000 万 tpmC 以上。达梦、神通、优炫等企业先后通过数据库安全分级评估 EAL4+ 认证。
第三．国产数据库应用场景不断扩大。
专家介绍，国产数据库的发展一般会经过互联网企业、民生政务、传统行业应用、金融核心业务这几个阶段的打磨，其中金融行业对数据库要求最为苛刻，不仅数据容错度低，而且还要符合信息安全等级规范。
在金融场景中，目前腾讯云数据库已在平安银行信用卡A+新核心系统、人保财险系统、张家港农商行的核心系统中落地应用。
在刚刚过去2020年的“双11”，阿里云的云原生数据库PolarDB和云原生数据仓库AnalyticDB首次在阿里巴巴大规模应用，PolarDB刷新处理峰值新纪录，TPS高达1.4亿，比去年提升60%；AnalyticDB处理了7.7万亿行实时数据。
数据库技术突破的最大动力，一是开源，二是云计算。相信在开源和云计算的加持下，数据库技术与应用进步对突飞猛进。而对于用户而言，最重要的是不要选错了路线。