GaussDB
GaussDB数据库是2019年5月15日由华为技术有限公司推出的企业级分布式关系型数据库。
2019年5月15日,华为技术有限公司正式面向全球推出GaussDB数据库。同年6月30日,GaussDB正式开源,被命名为openGauss。8月,华为将GaussDB数据库并入华为云。GaussDB具备高可用、高安全、高性能、高弹性、高智能的优势,以及易部署、易迁移的特性,是企业核心业务数字化转型升级的坚实数据底座。广泛应用于金融、车联网、政企、电商、能源、电信等多个领域。
2022年8月,GaussDB获得全球权威信息技术安全性评估标准CC EAL4+级别认证。
基本概念
GaussDB是华为技术有限公司深度融合多年数据库领域经验,充分结合企业级场景需求,基于openGauss自研生态推出的企业级分布式关系型数据库。
历史沿革
2001年,华为中央研究院Dopra团队为了支撑华为所生产的电信产品(交换机、路由器等),启动了内存数据存储组件Dopra DB的研发。Dopra DB后来随着业务和组织的切换,成为华为高斯数据库团队的GMDB V1系列产品。2005年,华为技术有限公司的通信产品需要一个以内存处理为中心的数据库,评估了当时最高性能的内存数据库软件,发现其性能和特性无法满足业务诉求,便启动了SMDB(Simple Memory DataBase)的开发。
2007年,在电信计费领域,电信行业对数据库有特殊的要求,有些需要定制化开发。而当时国外的数据库产品主要是标准化产品。华为技术有限公司便开始组织人手自研内存数据库,以此来提升自身解决方案的竞争力,项目代号GMDB,这是可追溯华为最早的数据库研发记录。GMDB只在小范围内进行试用,并没有取得大规模商用。随后一年,华为核心网产品线需要在产品中使用一款轻量级、小型化的磁盘数据库,于是华为基于PostgreSQL开源数据库开发ProtonDB。
2010年,华为数据库研发团队开始对2007年版本进行全面重构。从这之后,华为数据库的定位已经不再仅局限于内存数据库,而是在向通用关系型数据库逐渐转变,重构过程中,开始融入大量非内存数据库的特性,这就是Gauss OLTP数据库的前身。一年后,华为技术有限公司真正把数据库作为一个完整的产品来做。2012年成立实验室,也有了高斯实验室和Gauss DB。华为启动了面向OLAP数据库的研发预演。在华为高斯部成立后,结合电信软件公司在SMDB长期使用中面临的“开发效率低、数据一致性弱”等关键痛点,立项开发了高斯部成立后的第一款产品-GMDB V2系列。随后GMDB开始大规模商用,主要应用于电信计费领域,同时在华为内部,众多配套的解决方案也开始使用GMDB。
2014年,华为技术有限公司孵化出Gauss OLAP数据库第一个产品版本。并且成功击败竞争对手进入中国工商银行总行下一代EDW(Enterprise Data Warehouse,企业数据仓库)联合创新项目。次年,华为与中国工商银行联合创新,Gauss OLAP数据库开始在工商银行上线。此后两年时间,华为高斯部启动分布式OLTP数据库的研发工作。华为也与招商银行开始就GaussDB进行联合创新。同时还启动了面向事务和分析混合处理的数据库研发工作。
2018年3月,Gauss OLTP数据库开始在招商银行综合支付交易系统成功上线投产,顺利承接招商银行 “手机银行”和“掌上生活”两大App交易流水流量,日均请求量高达8500万,峰值TPS达到3500。这一年,华为技术有限公司第一个Gauss HATP数据库问世,并成功落地中国民生银行。
2019年5月15日,GaussDB数据库正式推出。9月,华为技术有限公司宣布将开源 GaussDB,开源后将其命名为 openGauss。2020年6月30日,openGauss 正式面世,数据库源代码对外开放。8月,华为将GaussDB数据库并入华为云。2021年3月31日,openGauss 2.0.0 版本正式上线。2022年8月,GaussDB获得全球权威信息技术安全性评估标准CC EAL4+级别认证。
关键技术
1、分布式执行框架:业务应用下发SQL给Coordinator,SQL可以包含对数据的增(insert)、删(delete/drop)、改(update)、查(select)。Coordinator利用数据库的优化器生成执行计划,每个DN(Data Node)会按照执行计划的要求去处理数据。
因为数据是通过一致性Hash技术均匀分布在每个节点,因此DN在处理数据的过程中,可能需要从其他DN获取数据,GaussDB提供了三种stream流(广播流、聚合流和重分布流)来降低数据在DN节点间的流动。DN将结果集返回给Coordinate进行汇总。Coordinator将汇总后的结果返回给业务应用,从而提升复杂SQL查询的性能。
2、GTM-Lite技术:GTM-Lite可以在保证事务全局强一致的同时,提供高性能的事务处理能力,避免了单GTM的性能瓶颈。这里的高性能事务管理指的是无锁、多版本、高并发事务技术。而且分布式的GTM-Lite方案提供全局事务快照和提交管理,实现强一致性,且无中心节点性能瓶颈。
3、基于NUMA-Aware实现高性能事务处理:结合鲲鹏多核CPU架构优势,通过进行NUMA绑核、对全局数据结构进行NUMA分区改造,减少跨核处理和核间冲突,提升业务并行处理能力;充分利用鲲鹏原生Atomic_LSE指令,实现NUMA-Aware自旋锁,大幅降低指令数,有效提升指令效率,性能更强。
4、集群HA,多层级冗余实现系统无单点故障:GaussDB通过硬件冗余、实例冗余、数据冗余,实现整个系统无单点故障,高可用。其中硬件高可用包括存储磁盘RAID冗余、网络双交换机冗余、多网卡冗余、主机UPS电源保护。软件高可用则包括协调节点CN实例多活冗余、数据节点/全局事务管理/ 集群管理器实例Active-Standby冗余。除此之外,GaussDB还通过全量+增量备份,打造闪回和PITR等企业级能力,实现数据按需回退、任意时间点的数据恢复,最终进一步保障数据库的高可用。
5、跨AZ/Region容灾技术带来的高可用:首先是集群内高可用,实现了数据不丢失和业务秒级中断。同城跨AZ容灾,数据不丢失,实现了分钟级恢复。除了同城跨AZ, GaussDB还推出了同城双集群高可用方案,提供金融级高可用服务,支持RPO=0 、RTO\u003c60s的同城双集群切换,主集群在出现故障的情况下,备集群还具备继续提供服务的能力,尽最大可能保障企业用户的核心业务7x24小时无中断。
6、Scale-out在线横向扩展带来高扩展:GaussDB支持单集群1000+节点,节点扩展下能够获得卓越的性能线性比,同时节点扩容能够做到完全在线,对客户透明。节点扩容完成后DN数据自动重分布,CN自动完成负载均衡。
7、一站式迁移解决方案:GaussDB基于数据库和应用迁移(UGO)和数据复制服务(DRS),从迁移评估、结构迁移、应用迁移、全量+增量数据迁移、数据一致性动态校验、流量回放等方面提供了一站式迁移上云方案,让客户上云更轻松、更高效。
特性和优势
高可用
GaussDB是中国首个软硬件全栈自研,双集群强一致,满足金融大机可靠性要求。
高安全
GaussDB是中国唯一获得CC EAL4+的数据库产品,源码级安全。
高性能
GaussDB是中国首个全自研Ustore存储引擎,海量数据高并发场景下高性能无抖动。
高弹性
GaussDB具有1000+超大分布式集群能力,云原生弹性伸缩,极大提高资源利用率。
高智能
GaussDB是中国首个AI-Native数据库,从应用开发到运维阶段全流程智能化体验。
易部署
GaussDB支持华为云/华为云Stack/轻量化多种部署形态,支持多租户以及数据压缩,实现存储成本下降50%,整体资源利用率提升4倍以上。
易迁移
GaussDB与Oracal/MySQL常用语法高度兼容,结构+数据一站式迁移解决方案,让不确定变确定。
产品应用
GaussDB(DWS)可广泛应用于金融、车联网、政企、电子商务、能源、电信等多个领域。
荣誉认证
参考资料:
参考资料
GaussDB发展.华为云.2024-02-27
云数据库 GaussDB(for openGauss).华为新一代企业级分布式关系型数据库.2021-08-31
稳定支撑国有大行新一代核心系统,华为云数据库GaussDB靠什么?.东方网.2024-02-27
GaussDB(DWS)可以应用在哪些领域.华为云.2024-02-27
稳定支撑国有大行新一代核心系统,华为云数据库GaussDB靠什么?.东方网.2024-02-27
重大突破!华为发布首款全栈自主数据库GaussDB:真正属于中国人自己的数据库来了.快科技.2024-02-27
权威认可!华为云GaussDB通过中国信通院“可信数据库”四项评测.华为云.2024-02-27
官宣|142款产品通过!中国信通院公布第十三批大数据产品能力评测结果.中国信通院云大所.2024-02-27
破解异构数据库迁移难题,华为云UGO正式公测.财报网.2024-02-27
喜讯:华为云首批通过可信云用户数据保护能力认证.华为云.2024-02-27
云数据库 GaussDB.华为云.2024-02-27