旗下微信矩阵:

拥抱变革,逐浪前行:张程伟、金毅纵论云和恩墨数据库技术演进与布局

2024-04-24 10:35 · 互联网     

数据库作为企业核心业务系统的重要基座,其技术架构和性能都将直接影响企业的运营效率与成本。在2024“数据技术嘉年华”大会现场,笔者采访到了云和恩墨·本原数据的两位技术合伙人——MogDB数据库研发负责人张程伟、下一代原生HTAP企业级数据库研发负责人金毅。两位专家和笔者就国产数据库的演进趋势、技术挑战以及未来发展等进行了深入交流,同时揭秘了云和恩墨在数据库产业发展中的布局。

https://img2.danews.cc/upload/images/20240423/72d248e4c3a87d385bec65726eb94eb6.png

张程伟(左)、金毅(右)接受采访

应对市场困境,成本效能视角下的数据库性能优化策略

在全球经济增速放缓的大背景下,企业普遍面临着市场需求疲软、成本压力加大、技术与数字化转型要求紧迫等多重挑战。为了应对这些挑战,企业需要加强市场策略调整、成本控制、技术创新等方面的能力,以保持竞争力和稳健发展。

那么,一款*的数据库产品应具备怎样的核心能力以帮助用户持续成功?张程伟认为,从客户的成本效能角度考虑,不断挑战数据库的性能上限是重中之重,而伴随着新型硬件的发展,CPU核数增多、内存容量扩大、磁盘I/O能力增强,如何有效地利用这些硬件资源,充分发挥异构算力,成为提升数据库*性能的关键所在。

金毅补充说道,面对当前市场对分布式数据库的热议,企业在追求成本优化和业务竞争力提升的过程中,不仅需要关注技术的先进性,更要回归到业务的本质需求。虽然分布式架构在某些场景下具有容量优势,但由于先天技术原理上的设计存在网络通信延迟等固有问题,使得使用成本不可避免地会增加。因此,从企业竞争力的角度考虑,并非所有业务场景都需要牺牲成本效益来换取分布式解决方案。“我们追求技术的关键,还是要回到帮助客户实现真正的业务价值。”他如是说道。

对此,张程伟表示,云和恩墨的MogDB数据库,以及正在研发的下一代原生HTAP数据库产品,都选择了以“单机大容量”为核心目标,专注于提升数据库的“性能密度”。这种选择正是出于对客户成本控制和保护已有投资的深入洞察。可以说,提升数据库的“单机大容量”不仅仅是一种成本优化策略,更是提升客户业务竞争力的有效途径。

从边缘到核心,国产数据库需要实现从能用到好用的蜕变

据张程伟观察,当前,各个企业和组织在实施国产化改造过程中面临以下几方面痛点:

首先,许多客户正在尝试将现有的Oracle、DB2、MySQL等数据库替换为国产数据库。这一过程的关键挑战在于如何在有限的时间和成本约束下,确保业务系统能稳定高效地运行在国产数据库之上。替换的成功与否主要依赖于国产数据库对原数据库的兼容程度,以及能否平滑快速地完成数据及对象的迁移。为此,云和恩墨大力投入研发以提升MogDB对国外数据库产品的兼容性,并结合端到端的异构数据库迁移解决方案,能够协助客户平滑、准确地完成数据和对象的迁移工作。

其次,在业务正常运转和用户体验保障的要求下,客户对国产化改造的关注点还体现在性能的不下滑。为此,张程伟表示,除了针对TPC-C和TPC-H等基准测试进行优化外,MogDB研发团队正致力于全局 PL/SQL 缓存机制、多核并行能力、基础算子性能等客户业务场景下的优化。此外,研发团队还在实现对原位更新存储引擎Ustore的增强,以及在资源池化架构及数存融合技术上的演进。以上在性能优化方面的工作,其目标正是为了在相同资源消耗和成本下完成数据库的“平替”。

最后,张程伟强调,关系型数据库的替换过程往往是从边缘系统向次核心,再向核心业务系统推进。当数据库应用于核心业务系统时,其高可用能力和容灾能力都将受到更严苛的考验。对此,MogDB研发团队在高可用、容灾、极限情况下的数据恢复以及服务保障等方面进行了详尽的规划并大力投入研发。

传统架构重构与新型算法应用,革新数据库单机承载能力

针对云和恩墨的下一代原生HTAP企业级数据库产品,金毅在采访中进一步阐述了其两大核心优势:

第 一,优化联机交易负载。这意味着该数据库能够提升对高价值业务的支撑能力,从而大幅简化IT方案的实施复杂度,并能在生命周期内实现数量级的成本节约。

第 二,原生HTAP实现。该数据库的设计解决了传统HTAP方案中数据新鲜度的问题,即可以直接使用最新的数据进行高性能分析,同时还能保障高效率的事务处理。这样的设计实现了交易与分析负载在同一数据库内核上的高效融合,为客户提供了更加简洁、易用且低成本的解决方案。

谈到下一代原生HTAP数据库所采用的关键技术时,金毅透露了四点其在计算角度的提升:

1. 重构内存数据结构。随着现代硬件基础设施如SSD和PCIe的普及,以及CPU算力和内存容量的大幅提升,磁盘I/O延迟已从过去的毫秒级降低到了百微秒级。这意味着传统的数据库内核技术栈需要与时俱进。为了充分利用硬件优势,研发团队正在着力于重构内存数据结构,采用新型算法来重构内存中数据页的组织方式。这就使得数据访问无需每次全局查表定位数据页,从而大幅减少了数据页的访问成本。

2. 优化并行算法。在并行计算领域,当前比较常见的方法是采用轻量锁和无锁数据结构来提高并行效率。然而,这些方法在众核级别的并行计算中仍然会产生很大的竞争热点。因此,在下一代原生HTAP数据库的研发中,研发团队在当前的并行算法基础上做了进一步的优化,通过拆开数据访问的热点,使其适应更高级别的并行所带来的性能影响和阻塞,充分有效地避免物理核之间产生竞争。

3. 引入主存计算优化算法。研发团队还将填补现有工程实践中对主存与CPU交互瓶颈优化的空白,引入针对主存计算优化的新算法,以充分发挥CPU的缓冲能力,力求在百纳秒级别降低计算延时,从而实现全链路性能的提升。

4. 采用用户态轻量级协程模式。针对容量提升所带来的并发会话挑战,研发团队采用了用户态轻量级协程的上下文切换技术,以取代传统的进程或线程模式。这种技术以更低的成本实现了更大规模并行计算会话的上下文快速切换,从执行角度应对未来以数量级增长的并发会话数,从而提高单机大容量数据库的实际承载能力。

笔者从金毅的演讲中获悉,云和恩墨的下一代数据库产品针对联机处理负载的优化已经取得显著成果——使用2路服务器,在NVMe SSD磁盘存在I/O交换场景下,服务器端TPCC负载达成吞吐4200万tpmTotal、1900万tpmC的成绩。这一突破性的进展将为企业带来更高效、更稳定的联机处理负载解决方案。

聚焦内核基础能力提升,蓄力数据技术长远发展

在谈及国产数据库的发展趋势时,两位专家一致认为,随着国产化替代进程的加速,未来两到三年将是国产数据库发展的关键时期,市场格局将逐渐趋于收敛。在市场竞争加剧的情况下,更具竞争力的数据库一定是那些依靠自身技术的产品,所以国产数据库厂商需要抓住这一历史性机遇,不断提升产品的硬核实力。

对此,金毅进一步肯定地表示:“从客户的角度来看,一款数据库的价值,最终还是要通过评估其带来的收益所体现。因此,持续在根本性的技术问题上深耕和打磨是十分必要的。”他特别提到,即便是像PostgreSQL这样世界一流的开源数据库在其快速发展阶段,每年的代码增长量也仅有7万行,这更加证明了技术的积累和打磨是一个长期且必要的过程。

在这一背景下,云和恩墨将继续坚定自己的研发方向,聚焦数据库内核基础能力的提升。“也许在短期内进展会稍慢,或者看起来效果没有那么直接,但我相信,持续地聚焦于根本性技术问题并坚定地投入,我们会在激烈的市场竞争中脱颖而出。”金毅说道。同时,云和恩墨也一直投入于开源生态的建设,与openGauss社区共同推动数据库技术的发展,并通过持续创新和技术沉淀,为中国数据库产业的未来发展做出更大的贡献。

通过这次专访,笔者看到了云和恩墨矢志成为数据技术引领者、智能未来构建者的决心,也深刻感受到中国数据库厂商在技术创新和市场拓展方面的努力与坚持。我们有充分的理由相信,在不久的将来,中国数据库将在全球数据库市场中占据更加重要的地位。

(免责声明:本文转载自其它媒体,转载目的在于传递更多信息,并不代表本站赞同其观点和对其真实性负责。请读者仅做参考,并请自行承担全部责任。)