去IOE,OceanBase替换Oracle
近年来,数据安(ān)全意识增强,技(jì )术创新(xīn)迅猛发展,國(guó)内企业对于数据的安(ān)全性和可(kě)控性要求越来越高。根据《中(zhōng)华人民(mín)共和國(guó)國(guó)民(mín)经济和社会发展第十四个五年规划和2035 年遠(yuǎn)景目标纲要》、《中(zhōng)共中(zhōng)央政治局就实施网络强國(guó)战略进行第三十六次集體(tǐ)學(xué)习》中(zhōng)的要求,企业需加快推进國(guó)产(chǎn)自主可(kě)控计划,构建安(ān)全可(kě)控的信息技(jì )术體(tǐ)系。
某运营商(shāng)集团总公(gōng)司响应國(guó)家号召,下发文(wén)件要求各公(gōng)司分(fēn)步骤有(yǒu)序去“IOE”,加强数据安(ān)全。该运营商(shāng)支付公(gōng)司,作(zuò)為(wèi)集团总公(gōng)司旗下一家庞大的支付平台,开始了一场去IOE的实践行动。
一期项目主要围绕其支付链路,对其核心系统进行数据迁移与割接,实现新(xīn)旧系统替换,业務(wù)接管。
核心系统原数据库為(wèi)Oracle数据库,维护成本高,且无法支撑新(xīn)一代技(jì )术架构全面升级,满足“容量”弹性伸缩能(néng)力,以及“容灾”异地多(duō)活需求。OceanBase作(zuò)為(wèi)一款完全意义上自主研发掌控的國(guó)产(chǎn)分(fēn)布式数据库,成為(wèi)此次替换Oracle数据库的主角,基于通用(yòng)服務(wù)器,能(néng)够实现企业级、金融级高可(kě)用(yòng)及数据一致性,為(wèi)客户系统带来更好的性能(néng)、安(ān)全性和可(kě)持续发展的机会。
OceanBase优势
容量:从传统集中(zhōng)式,到单一IDC分(fēn)布式,最后跨越到了多(duō)城市、多(duō)IDC并行计算;
容灾:异地多(duō)活,达到银监会最高第6等级容灾水平:异地(>1000公(gōng)里) rpo=0、rto<10分(fēn)钟;
安(ān)全性:提供数据冗余备份和自动故障恢复的功能(néng),支持数据加密和访问控制等安(ān)全特性,加强系统数据安(ān)全防护。
迁移+比对,迪思杰护航系统割接上線(xiàn)
项目运行过程中(zhōng),原Oracle数据库大量的存量、增量数据如何完整有(yǒu)效的迁移到新(xīn)OceanBase数据库,并确保割接业務(wù)的正常运行,是项目的一大重点,迪思杰成為(wèi)此次数据迁移的护航者。
项目围绕支付链路,整體(tǐ)呈迁移数据量大、割接时间短、比对要求高等特点。
项目特点
数据量大:基本都是十几T的数据且系统割接频繁(一个月2套、一个月4套系统),需要在2-3天将oracle数据迁移到ob_oracle,并在2-3左右完成全量校验;
割接时间短:割接窗口只有(yǒu)10分(fēn)钟,全量比对结束+后面增量数据需要实时增量比对(保障数据的一致性),割接操作(zuò)不能(néng)超过3分(fēn)钟(增量数据校验完成-停正向同步-启动反向同步);
比对要求高:存在4-6T的大表,需对比对工(gōng)具(jù)优化,全量通过id或者分(fēn)區(qū)自动拆分(fēn),增量联合主键比对、指定主键,确保数据一致性。
此次迁移主要包括6套系统,即代扣、收单、支付、交易、cif和账務(wù)系统,通过迪思杰自主研发的DSG SuperSync大型数据库高性能(néng)复制工(gōng)具(jù)和DSG XCMP数据比对平台,实现其核心系统从Oracle迁移割接至OceanBase。
数据迁移和同步过程中(zhōng),采用(yòng)全量+差异+实时增量比对的方法,以确保数据的准确性和完整性。同时,為(wèi)了保障数据的安(ān)全性和可(kě)靠性,回流链路保障措施同步实施。这意味着在出现异常情况时,可(kě)以及时回滚或恢复数据,以确保系统的稳定性和业務(wù)的连续性。
迁移架构图
项目自去年9月26日开始入场测试,并于10月20日完成了代扣系统的现场测试验证。随后,到2022年11月17日,完成了第一套系统的上線(xiàn)工(gōng)作(zuò)。之后陆续上線(xiàn)了大小(xiǎo)共9套系统,最终于2023年6月20日完成了支付链路所有(yǒu)系统的上線(xiàn)工(gōng)作(zuò)。
项目阶段里程碑
大迈进,优势与突破并发
对于金融行业而言,数据的准确性、完整性、实时性尤為(wèi)重要的,不负众望的是,迪思杰产(chǎn)品在整个项目运行过程中(zhōng),优势凸出。
全量同步性能(néng):560G/H;比对性能(néng):860G/H。
DSG产(chǎn)品优势
1.数据迁移、校验效率高:能(néng)够在较短时间内完成大数据量的迁移和数据校验工(gōng)作(zuò):如现场10-20T左右的数据,能(néng)在2-3天内完成迁移,并在2-3天内完成第一轮的全量数据校验;
2.数据实时校验:能(néng)够做到数据实时校验,全量迁移完成后,即可(kě)在较短时间内进行全量数据校验和实时增量比对,确保数据的一致性,保障了系统的正常上線(xiàn);
3.增量比对效率高:对于已上線(xiàn)的系统,增量比对都是在割接窗口1分(fēn)钟以内完成了数据的比对,另外反向同步可(kě)以指定时间点进行增量同步,这些都大大减少业務(wù)的停机时间,极大程度降低停机给客户带来的损失和风险;
4.迁移工(gōng)具(jù)灵活:针对客户采用(yòng)不停机割接、源端read only表、灰度验证模式,可(kě)以在割接时候反向同步,仅仅需要只获取数据不装(zhuāng)载即可(kě);
5.丢失数据可(kě)以快速发现并修复:一些参数配置和现场误操作(zuò)导致数据丢失,能(néng)在极短时间通过DSG XCMP比对工(gōng)具(jù)及时发现并快速修复;
6.同步工(gōng)具(jù)追增量数据快:在现场每天客户业務(wù)繁忙数据巨大情况下,追一天的增量数据仅仅需要一个小(xiǎo)时;
此次项目,于迪思杰而言,是一次TB级别数据量的全量比对,也是DSG首次项目使用(yòng)增量比对,是对DSG比对产(chǎn)品的一次挑战!
DSG产(chǎn)品优化
全量比对
自动分(fēn)區(qū)拆分(fēn)比对:针对现场源端oracle和ob_oracle分(fēn)區(qū)表名(míng)不一致情况,修改两边数据库取分(fēn)區(qū)的方式,实现自动分(fēn)區(qū)拆分(fēn)比对;
高可(kě)用(yòng):取数过程中(zhōng)有(yǒu)报错或者查询超时,会重连并重新(xīn)取数;
增量比对
修改源端、目标端抽取增量数据的逻辑:之前版本源端和目标端分(fēn)别抽取各自监控到的变化数据 ,同步上无法避免延迟,导致特殊情况下会有(yǒu)数据遗漏的风险。通过优化取数模式,现版本可(kě)以保证数据不会遗漏;
新(xīn)增比对类型,提升比对效率:优化了源端oracle dbink查询的sql,并支持多(duō)种类型主键的比对功能(néng),现场开发支持number、字段串、和时间类型,对现场单表上几T分(fēn)區(qū)表,从增量比对用(yòng)时2000多(duō)秒(miǎo)优化到秒(miǎo)级别;
源端和目标端主键不一样的情况下进行增量比对:ob_oracle数据库分(fēn)區(qū)表主键必须带上分(fēn)區(qū)键,这样导致现场源端oracle单一主键,到目标端主键為(wèi)主键加分(fēn)區(qū)键的联合主键,经现场开发,实现当源端和目标端主键不一样的情况下进行增量比对;
源端监控新(xīn)增支持ddl操作(zuò):原版本仅支持dml监控,但现场源端oracle分(fēn)區(qū)表每天都会自动创建一个新(xīn)的分(fēn)區(qū),监控不支持ddl操作(zuò),导致监控报错,经修改已支持ddl操作(zuò)。
小(xiǎo)总结,工(gōng)程与研发的火花(huā)碰撞
此次项目是一个多(duō)系统,阶段化,环环相扣的迁移,难度高,数据量大,迁移窗口极短,工(gōng)程能(néng)力和研发能(néng)力是此次迁移实现的关键!面对现场问题,迪思杰全程以工(gōng)程推动+研发适配开发的模式,保障项目的顺利完成!整个项目,迪思杰与各方团队都做出了巨大努力,克服了各种挑战。
项目割接现场留念
对于客户来说,该项目的顺利完成,提升了系统的稳定性和可(kě)靠性,也為(wèi)企业未来提供了更大的发展空间和潜力。对于自身而言,迪思杰通过参与这一项目,不仅提升了技(jì )术实力,也树立了良好的行业声誉,在國(guó)产(chǎn)信创自主可(kě)控实践行动中(zhōng)划下标志(zhì)性的一筆(bǐ),為(wèi)未来发展留下更多(duō)可(kě)能(néng)!
2025.03.10
了解详情>
2025.02.17
了解详情>
2025.01.20
了解详情>
2024.12.30
了解详情>
2024.12.09
了解详情>
2024.10.08
了解详情>
2024.09.29
了解详情>
2024.09.25
了解详情>
2024.08.12
了解详情>
2024.07.22
了解详情>
2024.07.08
了解详情>
2024.07.01
了解详情>
2024.05.16
了解详情>
2024.04.01
了解详情>
2024.03.25
了解详情>
2024.03.18
了解详情>
2024.03.04
了解详情>
2024.02.19
了解详情>
2024.02.04
了解详情>
2024.01.22
了解详情>
2024.01.15
了解详情>
2024.01.02
了解详情>
2023.12.25
了解详情>
2023.12.20
了解详情>
2023.12.11
了解详情>
2023.12.04
了解详情>
2023.11.20
了解详情>
2023.11.13
了解详情>
2023.10.30
了解详情>
2023.10.11
了解详情>
2023.09.15
了解详情>
2023.08.01
了解详情>
2023.07.25
了解详情>
2023.07.04
了解详情>
2023.05.29
了解详情>
2023.05.08
了解详情>
2023.03.06
了解详情>
2022.11.14
了解详情>
2022.09.26
了解详情>