作为 TiDB 企业版的全新升级,平凯数据库一经推出便广受媒体及用户关注。 近日,平凯星辰首席科学家丁岩在“平凯数据库全解读”活动中,首次详细介绍了平凯数据库的核心能力。 本文为丁岩演讲实录全文,为方便阅读,已做部分编辑。
平凯数据库(TiDB 企业版)由 TiDB 社区版 + 三个核心组件 + 国产化生态 + 企业级服务组成。平凯数据库依托于 TiDB 社区版,继承了社区版的全部能力,在此基础上增加了图形化平台组件、企业级安全组件和企业级通用组件,全面兼容国产化生态,并提供了增强级的企业级服务。
平凯数据库主要包含以下核心优势:
● 自主研发,代码级可控。平凯数据库核心代码全部自研;
● 平凯数据库高度兼容 MySQL 协议和生态,能够平滑迁移替换 MySQL 数据库。并具备平滑迁移 Oracle 数据库的能力,与 Hadoop、Spark、Flink、Kafka、Pulsar 等大数据技术栈的广泛融合,并与国内主流芯片、整机、操作系统、中间件等国产化软硬件兼容;
● 平凯数据库具备新一代的 HTAP 架构,能够加速业务洞察;
● TiDB 客户有很多来自金融行业,包括银行、保险和证券。平凯数据库具有金融级可靠性与可用性,经过大量用户生产环境实际运维验证;
● 平凯数据库提供了丰富的企业级配套工具,在安全保护方面提供更完善的能力,使客户用起来放心,在信息安全保护方面符合国标及行标。
上图是平凯数据库(TiDB 企业版)功能架构全景图。中间部分是平凯数据库的内核模块,包括计算层、管理层和存储层。计算层负责数据请求的解析、优化和执行;存储层包括行存、列存,负责对数据存储进行分布式一致性管理;管理层负责全局的调度和元数据信息管理。右侧是平凯数据库的配套周边工具,包括自动化部署、数据同步、备份恢复、数据导入、云原生管控、仪表盘、大数据生态等等。左侧是平凯数据库的三个图形化组件,包括企业级异构迁移平台 TMS,它提供数据的采集、迁移、过滤、同步、加密传输、比对等等一系列功能,帮助用户将业务从 Oracle 数据库迁移到平凯数据库;企业级运维管理平台 TEM,帮助用户通过一个图形化的统一运营管理平台,一体化管理几十套集群,甚至上千个平凯数据库服务器,提供数据库集群的部署、配置、升级、备份恢复、监控告警等任务,通过一套完整的运维平台,用户可以轻松降低管理的复杂度和运维成本;企业级开发编辑器 SQL edit,可以帮助平凯数据库的开发者和管理者进行图形化的 SQL 编辑交互操作、并将执行与结果反馈在图形化平台界面上,提高 SQL 的编辑效率。在整个功能架构图的最下面是平凯数据库的安全机制。针对敏感数据,平凯数据库专门增强了安全机制,包括审计、档案控制、加密解密、权限控制。在安全方面,平凯数据库严格符合国标、行标,让用户用起来放心。最后,平凯数据库提供灵活的基础设施部署方式,无论在 X86 体系下还是在国产化的体系下,均支持物理机环境和云化环境的部署方式。
顺便介绍一下 TiDB 7.5 LTS 版本,作为 TiDB 内核的稳定版本,它将在年底发布,会推出更多的内核特性,全面兼容 MySQL 8.0、更强大的资源管控能力,DDL 并行执行框架正式发布等等。TiDB 内核将在可扩展性、性能表现方面全面提升,同时稳定性、高可用性、SQL、管理可观测性等方面也将大幅提升。右侧是 TiDB 7.5 LTS 详细的新特性,包括增强 TiKV 副本读写能力,TiFlash 支持 S3 存储,支持后台任务的资源管控,用 SQL 接口支持导入、备份和恢复,TiCDC 支持多个上游和大数据系统的集成,升级期间自动暂停/恢复 DDL 等等。
下面来看一下平凯数据库的发展路线。 现阶段,平凯数据库在 TiDB 内核的基础上新增支持了如下特性:
● 兼容 MySQL 存储过程。有一些用户过去使用了 MySQL 存储过程的特性,在迁移过程中,平凯数据库支持 MySQL 的存储过程,方便业务的迁移;
● 平凯数据库是第一批支持国标 GB18030-2022 标准测试的数据库;
● 支持 CHECK 约束;
● 支持被动恢复存储级的备份恢复,比逻辑级的备份恢复效率有大幅的提升;
● 支持 LDAP 第三方认证;
● 支持白名单/审计;
● 支持用户历史登陆信息查询;
● 支持用户级最大连接数设置。
● 支持国产化芯片、操作系统、中间件、服务器兼容
下一阶段,平凯数据库会加入更多支持企业级特性,丰富大数据生态,支持 ORC 格式文件的导入;支持 IPv4/IPv6 双栈模式;存储过程加强更多的特性与性能优化;安全方面支持更细粒度的权限控制、标签控制。
第三阶段,平凯数据库将进一步提升安全功能方面的需求支持,以及特定化场景的功能支持如 UDV 等。
平凯数据库除了产品本身,还提供全方位的解决方案。包括 用户在 面向未来的数据库选型、咨询、规划方面的方案 ,平 凯数据库提供选型咨询和规划建议,以及数据应用 5R 模型; 现有数据库迁移的方案 , 例如上游超大规模数据导入,我们在大行有数百 TB 级别替换 Oracle 和 MongoDB 的成熟案例。向下游数据库进行数据复制方面,我们有非常稳定的复制工具。此外,还有两地三中心,双活等数据库高可用方案,以及数据库云方案; 系统重构、新建数据库应用/行业方案 ,如复杂数据密集型应用方案、降本增效方案、数据库行业场景方案。平凯数据库还可以根据用户的需求和业务特点,制定不同的解决方案覆盖各行各业。
平凯星辰成立八年多来,随着用户不断增多,产业影响力也在持续提升。我们积极参加国家和行业标准制定,例如第一个分布式数据库技术要求国标,事务分析混合型数据库的技术要求,金融应用规范技术架构行业标准等等。我们还参与了各种行业课题和研究报告,如人行的分布式数据库上云及多租户的研究,金融行业国产数据库运维体系建设,金融应用国产化全栈适配性研究,工信部的电子五所的中国数据库产业发展研究报告、分布式事务的评测技术白皮书,信通院的开源社区成熟度白皮书等等。中国工程院倪光南院士也给平凯星辰寄予厚望,希望继续通过自主和开源两大战略,构建具有国际影响力的数据库开源社区,在全球数据库产业新一轮变革中强占话语权、主导权。
在国产化生态方面,平凯数据库依托 TiDB 的开源社区,从基础架构、行业科技、解决方案、服务、交付、云、战略合作等等各个方面,实现了全方面的国产化生态兼容。在基础架构方面,支持飞腾、鲲鹏、兆芯、龙芯等生态,全面兼容国产服务器技术架构;在行业方面,支持包括平安科技、北银金科、中国太平等等行业科技生态;在解决方案和工具生态方面,支持包括东软、华润、神州数码、宇信等等行业配套解决方案;在产品交付、服务生态方面,也有包括神州数码在内的众多合作伙伴,一起为客户提供高质量的交付;在云方面,与包括阿里云、移动云、金山云、青云等都有全面合作;在战略合作生态方面,与神州数码、天翼云、中电金信、中科软等等都是战略合作伙伴。
数据库是用出来的,平凯数据库的用户几乎覆盖了所有行业,比如银行、保险、证券等金融行业,包括国有大行、股份制、城商行、证券,保险等都是我们的客户。其他行业,如政府和公共服务、通信领域、能源电网、物流、制造与高科技、快消和零售、互联网创新等等都与我们有合作。由此可以看出,平凯数据库的行业的覆盖非常全面。不同行业对数据库有着不同的关键应用,对数据库的能力要求也是不一样的。平凯星辰能够在这么多行业里广泛应用,也说明了它的产品能力是得到广泛验证的。
数据库的迁移路径主要有两类,一种是经典的单机数据库。比如从 Oracle 迁移到平凯数据库,这是由一个从封闭的、闭源的数据库、闭源的生态,迁移到一个开放的生态,开源的数据库产品;另一种就是从经典的开源数据库,比如 MySQL,迁移到平凯数据库来,通常是从分散到很多个 MySQL 实例上整合到一个平凯数据库集群。在这种迁移中,用户就获得了更强的扩展性,以及 HTAP 的能力,获得了自主和可持续的能力与生态,同时带给用户省钱、省心两方面的价值。
案例一是某大行的经典单机数据库升级。上图左侧是一个 Oracle 的经典数据库一体机系统。各个交易系统把交易明细通过夜间平移写入数据库一体机来处理,作为会计引擎业务,再同步给数仓系统。客户的挑战一方面是这个单机系统,无论数据容量,还是处理能力,都已经无法满足业务的快速发展,装不下,也算不出来,这是单机系统的上限限制。右侧是迁移到平凯数据库之后的情况,超过八天的数据量放在 A 集群里面,这部分数据更重要,可靠性要求更高,承载着 100% 的读写逻辑。八天之后的放在 B 集群,由于它主要承担读的负载,容量非常少,所以大大减少机器的配置。可以看出,在新的架构上面,无论是存储容量,还是数据库的处理能力,都获得了大幅度提升,能够很好满足客户业务快速发展的需求,给客户带来一个全新的支撑能力,满足客户未来十年、二十年的发展需要,这也是分布式数据库横向扩展能力的体现。
案例二是某证券公司的数据库整合的降本增效。左侧是该公司从前使用的多个 MySQL 实例方案,有多个 MySQL 节点,多个库,多个实例。由于它需要为未来业务增长预留资源,所以造成部分业务资源的利用率高,部分资源的利用率非常低,总体上资源是非常浪费的。从图中可以看到占有率是 10%、40%、20%、10%,这对硬件资源的浪费非常大。现在几乎所有用户都要求降本增效,从右侧图可以看出,通过一套平凯数据库集群,借助多租户的资源池能力、弹性扩缩容的能力,用户的硬件成本和运维成本降低了 40%。同时,一套平凯数据库集群承担这么多业务,整体的资源利用率却达到 80%,给客户带来了极大的成本节约,运维成本也极大降低了。
最后来看一下平凯数据库的市场竞争力,主要分为三个方面:
第一,自主可信。平凯数据库有一个可靠的、稳定的软件供应链,没有使用 MySQL、 PG 一行代码,核心部分的代码完全自研;自营产业上游社区,平凯数据库产品上游是平凯星辰 主导的开源根社区。
第二,产品能力。数据库是用出来的,平凯星辰全球有 3000 多个客户,产品经过千锤百炼。同时,平凯数据库通过了国家工信安全发展研究中心、工信部电子四院、工信部电子五所、中国信通院、赛迪、国家金融科技认证中心等权威机构的测试评估,获得了产品、性能、质量、标准符合性等一系列证书和报告。
第三,落地能力。平凯数据库依托自主开源,已验证信息创新领域,用起来,走出去的自我造血能力双循环的模式。并坚持研发的长期战略,理念先行,而不是项目先行,技术理念被业界广泛引用;生态非常繁荣,具有可持续竞争力。数据库要用的好,必须有一个全面的、完整的生态,平凯数据库拥有海量的业务场景和客户案例,200 多个应用解决方案,超过 30000 多人的活跃用户社区,并联合国内五所顶级数据库特色名校,把核心技术纳入大学课程,有培训上万人的认证考试。
业务场景的多元化对海量数据高并发读写、实时分析的需求成为常态,传统商业数据库支撑乏力。从敏捷开发、技术自主、业务连续性等角度考虑,企业用户更倾向选用国产分布式数据库实现架构的跃迁。平凯数据库( TiDB 企业版)在企业级管理、异构迁移的机制和生态层面实现了全面增强,成为用户数据库升级和国产化改造的重要选择。