新(xīn)闻动态-DSG动态
全球领先的数据管理(lǐ)软件、应用(yòng)开发统一提供商(shāng),致力于為(wèi)企业级的大型数据中(zhōng)心提供解决方案。
國(guó)有(yǒu)大行信创國(guó)产(chǎn)化复杂性场景的落地实践
发布时间:2023.09.15

+ + + + + + + + + + + 


首次作(zuò)為(wèi)整个國(guó)有(yǒu)大行指定重要國(guó)产(chǎn)化目标实现工(gōng)具(jù);首个GoldenDB作(zuò)為(wèi)数据源项目;一次关于GoldenDB、Kafka、MySQL、TDSQL、TiDB、OpenGuass的复杂性场景;一场金融行业信创國(guó)产(chǎn)化替代的重大变革。


+ + + + + 

疫情过往的2年,DSG有(yǒu)点忙。


2021年8月,迪思杰作(zuò)為(wèi)数据同步服務(wù)方,进入某國(guó)有(yǒu)大行國(guó)产(chǎn)化入围测试。自此,一场重大的國(guó)产(chǎn)化变革拉开帷幕。


此次变革,基于客户尚处于國(guó)产(chǎn)数据库的选型阶段,面临数据库种类多(duō)、不确定性强、时间紧、任務(wù)重的境遇,迪思杰需应对更多(duō)國(guó)产(chǎn)化需求。


所幸,不负所托,从数据同步到数据迁移,再到后续的解决方案与技(jì )术支持,变革顺利进行,也未完待续...


首先开启的,便是数据实时同步阶段,当时主要任務(wù)是完成核心系统数据从國(guó)产(chǎn)数据库到大数据平台的实时同步。


相比DSG过往已有(yǒu)的经验,國(guó)有(yǒu)大行的核心数据库管理(lǐ)更复杂,技(jì )术要求更高,社会影响面更广。保证交易的完整性及数据的一致性,是國(guó)有(yǒu)大行的核心诉求,对应的数据同步建设也提出了更高要求。


01


同步要求

1.数据源自动切换:双中(zhōng)心场景下,采集库為(wèi)主备集群,当采集的数据库出现网络故障或服務(wù)器本身故障时,如何自动切换到另外的一个采集源;自动切换到采集源后,对于分(fēn)布式节点库,如何保障数据的连续性与一致性;

2.采集中(zhōng)间机高可(kě)用(yòng)支持能(néng)力,单点故障应对能(néng)力;

3.自动恢复运行能(néng)力:当遇到加载端到Kafka集群网络故障或Kafka集群节点故障时,Kafka及加载网络故障,在外部异常恢复后,要求同步工(gōng)具(jù)有(yǒu)能(néng)力在非人為(wèi)干预下,进行一个自动恢复且正常运行;

4.GoldenDB孤岛问题解决方案


对此,迪思杰联合产(chǎn)研协作(zuò), 通过对程序进行针对性优化,对产(chǎn)品进行了全方位的完善和提高,完全满足了國(guó)有(yǒu)大行对数据安(ān)全性和准确性要求。


数据同步的首战告捷,专业的技(jì )术团队,负责的服務(wù)态度,大大加深了國(guó)有(yǒu)大行与迪思杰的合作(zuò)信心。


3月,顺应数字经济转型趋势,走向國(guó)产(chǎn)化安(ān)全可(kě)靠、自主可(kě)控,实现自身高质(zhì)量发展的战略选择,國(guó)产(chǎn)化数据迁移又(yòu)拉开帷幕。


曾经占据國(guó)内大半市场的國(guó)外主流数据库Oracle便是此次迁移的主角之一。作(zuò)為(wèi)一款老牌传统数据库,Oracle 支持的内容比较多(duō),如生僻字、大字段、过程、函数、包、类等,而國(guó)产(chǎn)化数据库则对这方面的内容支持较低,加之之前许多(duō)上游数据是通过第三方工(gōng)具(jù)导入的,导入时对数据的一致性要求也没那么高,造成记录被截断,报错等。因此,项目迁移中(zhōng)也有(yǒu)一些难点问题。

02


数据迁移问题

1. 生僻字问题

2. 对象问题

3. 数据超長(cháng)

4. 数据库特性问题


针对上述问题,加之异构数据库特性差异、数据质(zhì)量不规范等问题,便又(yòu)是一场强沟通、高协作(zuò)的作(zuò)战體(tǐ)验。


而在数据迁移项目实施过程中(zhōng),某个时间节点,更是遇上了时间紧,任務(wù)重,但又(yòu)全员抗“羊”的境遇,项目完成困难重重。众人拾柴方得火焰,在各方协同共进的努力下,在当年完成50余套系统的数据迁移,圆满完成行方任務(wù)


信创数据迁移架构示例


01

技(jì )术架构


技(jì )术架构图


采取双节点部署,采集程序、装(zhuāng)载程序分(fēn)离部署于源端IDC和目标端IDC两台AP,数据压缩后跨异地网络传输。

02

数据架构



数据架构图


源端数据库停机场景(停止写入数据):使用(yòng)数据迁移工(gōng)具(jù)一次性全量将数据传输至目标异构数据库。

源端数据库不停机场景(迁移过程中(zhōng)还有(yǒu)数据写入):数据迁移工(gōng)具(jù)支持全增量数据迁移,全量完成后可(kě)继续同步增量数据,直到源端数据库在规定时刻停止写入数据后切换。

Buffer运行机制:数据迁移组件需要对采集的数据进行格式转换并存储,需要一定的硬盘存储空间,这些缓冲数据存放在每个迁移任務(wù)各自的目录中(zhōng);存放数据是临时性的,在迁移运行过程中(zhōng),数据加载回放到目标数据库后,这些暂存数据会被标记清理(lǐ),為(wèi)后续另一个迁移任務(wù)腾出空间。

03

数据隔离机制


数据隔离机制


数据迁移通道隔离:一个源端数据库到一个目标数据库的单次迁移作(zuò)為(wèi)一个数据迁移通道,每个通道在数据迁移平台中(zhōng)对应单独的数据目录,用(yòng)来存放采集装(zhuāng)载的缓冲数据,保证不同数据迁移任務(wù)的数据隔离性。


此次数字变革建设,DSG SuperSync大型数据库高性能(néng)复制平台便是作(zuò)為(wèi)整个國(guó)有(yǒu)大行指定的最重要的國(guó)产(chǎn)化目标实现工(gōng)具(jù),不仅在兼容更多(duō)國(guó)产(chǎn)化数据库种类和适配速率上获得了新(xīn)的突破,更积累了一次集团规模极具(jù)代表性的实战经验。


03


DSG SuperSync产(chǎn)品功能(néng)表

1.高性能(néng)、低干扰数据库日志(zhì)分(fēn)析

2.一體(tǐ)化全量、增量的首次同步

3.可(kě)实时切换的双活复制

4.可(kě)灵活部署复制系统和复制架构

5.传输压缩、rowid映射加载技(jì )术   

6.全量crc校验比对

7.差异性数据比对技(jì )术

8.异构数据支持


从外部生态汲取力量,从自身积累向下扎根,迪思杰始终秉持自主可(kě)控、合作(zuò)共赢原则,以更高的产(chǎn)品品质(zhì)、更强的技(jì )术能(néng)力、更佳的用(yòng)户體(tǐ)验,助力客户更好实现数字化转型!未来,國(guó)产(chǎn)信创,一定拥有(yǒu)更多(duō)机遇!

热门动态
警告弹窗