+ + + + + + + + + + +
首次作(zuò)為(wèi)整个國(guó)有(yǒu)大行指定重要國(guó)产(chǎn)化目标实现工(gōng)具(jù);首个GoldenDB作(zuò)為(wèi)数据源项目;一次关于GoldenDB、Kafka、MySQL、TDSQL、TiDB、OpenGuass的复杂性场景;一场金融行业信创國(guó)产(chǎn)化替代的重大变革。
+ + + + +
疫情过往的2年,DSG有(yǒu)点忙。
2021年8月,迪思杰作(zuò)為(wèi)数据同步服務(wù)方,进入某國(guó)有(yǒu)大行國(guó)产(chǎn)化入围测试。自此,一场重大的國(guó)产(chǎn)化变革拉开帷幕。
此次变革,基于客户尚处于國(guó)产(chǎn)数据库的选型阶段,面临数据库种类多(duō)、不确定性强、时间紧、任務(wù)重的境遇,迪思杰需应对更多(duō)國(guó)产(chǎn)化需求。
所幸,不负所托,从数据同步到数据迁移,再到后续的解决方案与技(jì )术支持,变革顺利进行,也未完待续...
首先开启的,便是数据实时同步阶段,当时主要任務(wù)是完成核心系统数据从國(guó)产(chǎn)数据库到大数据平台的实时同步。
相比DSG过往已有(yǒu)的经验,國(guó)有(yǒu)大行的核心数据库管理(lǐ)更复杂,技(jì )术要求更高,社会影响面更广。保证交易的完整性及数据的一致性,是國(guó)有(yǒu)大行的核心诉求,对应的数据同步建设也提出了更高要求。
同步要求
1.数据源自动切换:双中(zhōng)心场景下,采集库為(wèi)主备集群,当采集的数据库出现网络故障或服務(wù)器本身故障时,如何自动切换到另外的一个采集源;自动切换到采集源后,对于分(fēn)布式节点库,如何保障数据的连续性与一致性;
2.采集中(zhōng)间机高可(kě)用(yòng)支持能(néng)力,单点故障应对能(néng)力;
3.自动恢复运行能(néng)力:当遇到加载端到Kafka集群网络故障或Kafka集群节点故障时,Kafka及加载网络故障,在外部异常恢复后,要求同步工(gōng)具(jù)有(yǒu)能(néng)力在非人為(wèi)干预下,进行一个自动恢复且正常运行;
4.GoldenDB孤岛问题解决方案。
对此,迪思杰联合产(chǎn)研协作(zuò), 通过对程序进行针对性优化,对产(chǎn)品进行了全方位的完善和提高,完全满足了國(guó)有(yǒu)大行对数据安(ān)全性和准确性要求。
数据同步的首战告捷,专业的技(jì )术团队,负责的服務(wù)态度,大大加深了國(guó)有(yǒu)大行与迪思杰的合作(zuò)信心。
3月,顺应数字经济转型趋势,走向國(guó)产(chǎn)化安(ān)全可(kě)靠、自主可(kě)控,实现自身高质(zhì)量发展的战略选择,國(guó)产(chǎn)化数据迁移又(yòu)拉开帷幕。
曾经占据國(guó)内大半市场的國(guó)外主流数据库Oracle便是此次迁移的主角之一。作(zuò)為(wèi)一款老牌传统数据库,Oracle 支持的内容比较多(duō),如生僻字、大字段、过程、函数、包、类等,而國(guó)产(chǎn)化数据库则对这方面的内容支持较低,加之之前许多(duō)上游数据是通过第三方工(gōng)具(jù)导入的,导入时对数据的一致性要求也没那么高,造成记录被截断,报错等。因此,项目迁移中(zhōng)也有(yǒu)一些难点问题。
数据迁移问题
1. 生僻字问题
2. 对象问题
3. 数据超長(cháng)
4. 数据库特性问题
针对上述问题,加之异构数据库特性差异、数据质(zhì)量不规范等问题,便又(yòu)是一场强沟通、高协作(zuò)的作(zuò)战體(tǐ)验。
而在数据迁移项目实施过程中(zhōng),某个时间节点,更是遇上了时间紧,任務(wù)重,但又(yòu)全员抗“羊”的境遇,项目完成困难重重。众人拾柴方得火焰,在各方协同共进的努力下,在当年完成50余套系统的数据迁移,圆满完成行方任務(wù)。
信创数据迁移架构示例
技(jì )术架构
技(jì )术架构图
采取双节点部署,采集程序、装(zhuāng)载程序分(fēn)离部署于源端IDC和目标端IDC两台AP,数据压缩后跨异地网络传输。
数据架构
数据架构图
源端数据库停机场景(停止写入数据):使用(yòng)数据迁移工(gōng)具(jù)一次性全量将数据传输至目标异构数据库。
源端数据库不停机场景(迁移过程中(zhōng)还有(yǒu)数据写入):数据迁移工(gōng)具(jù)支持全增量数据迁移,全量完成后可(kě)继续同步增量数据,直到源端数据库在规定时刻停止写入数据后切换。
Buffer运行机制:数据迁移组件需要对采集的数据进行格式转换并存储,需要一定的硬盘存储空间,这些缓冲数据存放在每个迁移任務(wù)各自的目录中(zhōng);存放数据是临时性的,在迁移运行过程中(zhōng),数据加载回放到目标数据库后,这些暂存数据会被标记清理(lǐ),為(wèi)后续另一个迁移任務(wù)腾出空间。
数据隔离机制
数据隔离机制
数据迁移通道隔离:一个源端数据库到一个目标数据库的单次迁移作(zuò)為(wèi)一个数据迁移通道,每个通道在数据迁移平台中(zhōng)对应单独的数据目录,用(yòng)来存放采集装(zhuāng)载的缓冲数据,保证不同数据迁移任務(wù)的数据隔离性。
此次数字变革建设,DSG SuperSync大型数据库高性能(néng)复制平台便是作(zuò)為(wèi)整个國(guó)有(yǒu)大行指定的最重要的國(guó)产(chǎn)化目标实现工(gōng)具(jù),不仅在兼容更多(duō)國(guó)产(chǎn)化数据库种类和适配速率上获得了新(xīn)的突破,更积累了一次集团规模极具(jù)代表性的实战经验。
DSG SuperSync产(chǎn)品功能(néng)表
1.高性能(néng)、低干扰数据库日志(zhì)分(fēn)析
2.一體(tǐ)化全量、增量的首次同步
3.可(kě)实时切换的双活复制
4.可(kě)灵活部署复制系统和复制架构
5.传输压缩、rowid映射加载技(jì )术
6.全量crc校验比对
7.差异性数据比对技(jì )术
8.异构数据支持
从外部生态汲取力量,从自身积累向下扎根,迪思杰始终秉持自主可(kě)控、合作(zuò)共赢原则,以更高的产(chǎn)品品质(zhì)、更强的技(jì )术能(néng)力、更佳的用(yòng)户體(tǐ)验,助力客户更好实现数字化转型!未来,國(guó)产(chǎn)信创,一定拥有(yǒu)更多(duō)机遇!
2025.03.10
了解详情>
2025.02.17
了解详情>
2025.01.20
了解详情>
2024.12.30
了解详情>
2024.12.09
了解详情>
2024.10.08
了解详情>
2024.09.29
了解详情>
2024.09.25
了解详情>
2024.08.12
了解详情>
2024.07.22
了解详情>
2024.07.08
了解详情>
2024.07.01
了解详情>
2024.05.16
了解详情>
2024.04.01
了解详情>
2024.03.25
了解详情>
2024.03.18
了解详情>
2024.03.04
了解详情>
2024.02.19
了解详情>
2024.02.04
了解详情>
2024.01.22
了解详情>
2024.01.15
了解详情>
2024.01.02
了解详情>
2023.12.25
了解详情>
2023.12.20
了解详情>
2023.12.11
了解详情>
2023.12.04
了解详情>
2023.11.20
了解详情>
2023.11.13
了解详情>
2023.10.30
了解详情>
2023.10.11
了解详情>
2023.09.15
了解详情>
2023.08.01
了解详情>
2023.07.25
了解详情>
2023.07.04
了解详情>
2023.05.29
了解详情>
2023.05.08
了解详情>
2023.03.06
了解详情>
2022.11.14
了解详情>
2022.09.26
了解详情>