项目背景及情况说明
近年来,随着國(guó)内数据库技(jì )术的不断发展,更多(duō)的企业开始关注國(guó)产(chǎn)数据库的应用(yòng)。河北移动作(zuò)為(wèi)國(guó)内领先的通信运营商(shāng),积极推进CRM系统的國(guó)产(chǎn)化替换。
河北移动原有(yǒu)的营业F库基于Oracle 19C数据库,数据量约為(wèi)15T,每日增量数据约300G。為(wèi)从根本上确保企业数据安(ān)全,实现核心技(jì )术自主可(kě)控,河北移动决定将营业F库迁移到國(guó)产(chǎn)的OceanBase数据库上。项目中(zhōng),迪思杰公(gōng)司作(zuò)為(wèi)移动运营商(shāng)资深合作(zuò)伙伴,负责实现此次数据的迁移。
现场情况说明
- 源端Oracle 19C数据库采用(yòng)西文(wén)字符集,目标端OceanBase 数据库采用(yòng)utf8字符集;
- 源端通过ADG同步,同步/比对程序均部署在中(zhōng)间机;
- 正向迁移链路20条,备用(yòng)链路7条,根据分(fēn)區(qū)表、HOT表、LOB表、乱码表以及需要手动改造的表和pkuk_uidx_flag进行拆分(fēn);
- 定期比对正向实时迁移链路全量数据一致性。
同步要求
- 同步16410张表,有(yǒu)pkuk表8033张,无pkuk表8377张,项目要求在4小(xiǎo)时内完成全量同步,过程中(zhōng)产(chǎn)生的增量数据要求半小(xiǎo)时内追平;
- 通过ADG停机校验,要求2小(xiǎo)时内完成全库内容稽核;
- 白天正常业務(wù)期间延时在0-5s之间;晚上跑批持续时间1.5-3小(xiǎo)时左右,DML操作(zuò)量/小(xiǎo)时约1亿,每小(xiǎo)时延时不超过10min。
迁移特点
- Oracle端存在大量无pkuk表;
- 支持河北移动营业库独特的西欧字符集(GB18030)转码到utf8,保证数据质(zhì)量;
- 将无法转换的乱码通过日志(zhì)输出,协助业務(wù)进行乱码数据改造。
项目部署架构
项目架构图
项目采用(yòng)双向回流方案,中(zhōng)间机部署模式。迪思杰自主研发的國(guó)产(chǎn)大型数据库高性能(néng)复制工(gōng)具(jù)DSG SuperSync负责链路的搭建,实现Oracle 19c到 OceanBase 数据库的全量+增量数据迁移,OceanBase到Oracle 19c数据库的增量数据迁移。完成國(guó)产(chǎn)化替代的同时,保障回流链路,以应对突发情况下业務(wù)回切的可(kě)能(néng)性。
為(wèi)了保障数据的一致性,项目还采用(yòng)了DSG XCMP数据比对平台,实现少有(yǒu)的Oracle 19c西文(wén)字符集(WE8ISO8859P1)数据比对,跨字符集比对,多(duō)种数据类型数据比对等,确保数据的有(yǒu)效性和完整性。
项目性能(néng)及难点
此次项目,数据量大,数据类型复杂,数据一致性、可(kě)用(yòng)性要求高。整个项目,迪思杰团队做出了巨大努力,克服了各种挑战,最终圆满完成了此次國(guó)产(chǎn)化替代项目。
性能(néng)指标
- 割接当晚,核心系统表600+稽核,两百亿条数据内容比对耗时50分(fēn)钟;
- 并发sort,单表数亿条,2045s内容比对;
- 全库10000+表,涉及1T+lob数据,四百亿+条数据内容比对2H。
项目难点及创新(xīn)
- 解决OB无rowid数据类型,Oracle的rowid无法插入到urowid中(zhōng)问题;
- 自动修正源端Oracle存储日期负值;
- 源端导出大量空表时,速度过慢,修改配置后, 导出近万张表, 用(yòng)时三分(fēn)钟;
- 保证数据唯一性, 简化数据校验配置;
- 比对数亿条的单表,提升排序效率。
结语
迪思杰公(gōng)司在河北移动CRM系统國(guó)产(chǎn)化替换项目中(zhōng),充分(fēn)发挥了自身在数据库迁移方面的技(jì )术优势,為(wèi)河北移动提供了一个高效、稳定、安(ān)全的迁移方案。
这一项目的成功实施不仅提升了河北移动CRM系统的自主可(kě)控性,降低了运维成本,同时也為(wèi)國(guó)内其他(tā)企业提供了一个成功的國(guó)产(chǎn)数据库迁移案例。未来,迪思杰公(gōng)司将继续為(wèi)客户提供高效、稳定的数据库解决方案,為(wèi)推动数据库的國(guó)产(chǎn)化替代做出积极贡献!
2025.03.10
了解详情>
2025.02.17
了解详情>
2025.01.20
了解详情>
2024.12.30
了解详情>
2024.12.09
了解详情>
2024.10.08
了解详情>
2024.09.29
了解详情>
2024.09.25
了解详情>
2024.08.12
了解详情>
2024.07.22
了解详情>
2024.07.08
了解详情>
2024.07.01
了解详情>
2024.05.16
了解详情>
2024.04.01
了解详情>
2024.03.25
了解详情>
2024.03.18
了解详情>
2024.03.04
了解详情>
2024.02.19
了解详情>
2024.02.04
了解详情>
2024.01.22
了解详情>
2024.01.15
了解详情>
2024.01.02
了解详情>
2023.12.25
了解详情>
2023.12.20
了解详情>
2023.12.11
了解详情>
2023.12.04
了解详情>
2023.11.20
了解详情>
2023.11.13
了解详情>
2023.10.30
了解详情>
2023.10.11
了解详情>
2023.09.15
了解详情>
2023.08.01
了解详情>
2023.07.25
了解详情>
2023.07.04
了解详情>
2023.05.29
了解详情>
2023.05.08
了解详情>
2023.03.06
了解详情>
2022.11.14
了解详情>
2022.09.26
了解详情>