新(xīn)闻动态-DSG动态
全球领先的数据管理(lǐ)软件、应用(yòng)开发统一提供商(shāng),致力于為(wèi)企业级的大型数据中(zhōng)心提供解决方案。
Oracle到OceanBase:迪思杰助力河北移动CRM系统迈向國(guó)产(chǎn)化替代
发布时间:2023.12.11

近日,迪思杰公(gōng)司利用(yòng)自身丰富的经验和技(jì )术实力,采用(yòng)双向回流策略,成功助力河北移动完成了Oracle到OceanBase的数据库迁移,实现了國(guó)产(chǎn)化替代,并保障了数据的一致性和安(ān)全性。


01


项目背景及情况说明



近年来,随着國(guó)内数据库技(jì )术的不断发展,更多(duō)的企业开始关注國(guó)产(chǎn)数据库的应用(yòng)。河北移动作(zuò)為(wèi)國(guó)内领先的通信运营商(shāng),积极推进CRM系统的國(guó)产(chǎn)化替换。


河北移动原有(yǒu)的营业F库基于Oracle 19C数据库,数据量约為(wèi)15T,每日增量数据约300G。為(wèi)从根本上确保企业数据安(ān)全,实现核心技(jì )术自主可(kě)控,河北移动决定将营业F库迁移到國(guó)产(chǎn)的OceanBase数据库上。项目中(zhōng),迪思杰公(gōng)司作(zuò)為(wèi)移动运营商(shāng)资深合作(zuò)伙伴,负责实现此次数据的迁移。


现场情况说明

- 源端Oracle 19C数据库采用(yòng)西文(wén)字符集,目标端OceanBase 数据库采用(yòng)utf8字符集

- 源端通过ADG同步,同步/比对程序均部署在中(zhōng)间机

- 正向迁移链路20条,备用(yòng)链路7条,根据分(fēn)區(qū)表、HOT表、LOB表、乱码表以及需要手动改造的表和pkuk_uidx_flag进行拆分(fēn);

定期比对正向实时迁移链路全量数据一致性。


同步要求

同步16410张表,有(yǒu)pkuk表8033张,无pkuk表8377张,项目要求在4小(xiǎo)时内完成全量同步,过程中(zhōng)产(chǎn)生的增量数据要求半小(xiǎo)时内追平;

- 通过ADG停机校验,要求2小(xiǎo)时内完成全库内容稽核;

- 白天正常业務(wù)期间延时在0-5s之间;晚上跑批持续时间1.5-3小(xiǎo)时左右,DML操作(zuò)量/小(xiǎo)时约1亿,每小(xiǎo)时延时不超过10min


迁移特点

Oracle端存在大量无pkuk

- 支持河北移动营业库独特的西欧字符集(GB18030)转码到utf8,保证数据质(zhì)量;

- 将无法转换的乱码通过日志(zhì)输出,协助业務(wù)进行乱码数据改造。


02


项目部署架构



项目架构图


项目采用(yòng)双向回流方案,中(zhōng)间机部署模式。迪思杰自主研发的國(guó)产(chǎn)大型数据库高性能(néng)复制工(gōng)具(jù)DSG SuperSync负责链路的搭建,实现Oracle 19c到 OceanBase 数据库的全量+增量数据迁移,OceanBase到Oracle 19c数据库的增量数据迁移。完成國(guó)产(chǎn)化替代的同时,保障回流链路,以应对突发情况下业務(wù)回切的可(kě)能(néng)性。

 

為(wèi)了保障数据的一致性,项目还采用(yòng)了DSG XCMP数据比对平台,实现少有(yǒu)的Oracle 19c西文(wén)字符集(WE8ISO8859P1)数据比对,跨字符集比对,多(duō)种数据类型数据比对等,确保数据的有(yǒu)效性和完整性。


03


项目性能(néng)及难点



此次项目,数据量大,数据类型复杂,数据一致性、可(kě)用(yòng)性要求高。整个项目,迪思杰团队做出了巨大努力,克服了各种挑战,最终圆满完成了此次國(guó)产(chǎn)化替代项目。


性能(néng)指标

- 割接当晚,核心系统表600+稽核,两百亿条数据内容比对耗时50分(fēn)钟

- 并发sort,单表数亿条,2045s内容比对;

- 全库10000+表,涉及1T+lob数据,四百亿+条数据内容比对2H

 

项目难点及创新(xīn)

- 解决OB无rowid数据类型,Oracle的rowid无法插入到urowid中(zhōng)问题;

- 自动修正源端Oracle存储日期负值;

- 源端导出大量空表时,速度过慢,修改配置后, 导出近万张表, 用(yòng)时三分(fēn)钟;

- 保证数据唯一性, 简化数据校验配置;

- 比对数亿条的单表,提升排序效率。


04


结语



迪思杰公(gōng)司在河北移动CRM系统國(guó)产(chǎn)化替换项目中(zhōng),充分(fēn)发挥了自身在数据库迁移方面的技(jì )术优势,為(wèi)河北移动提供了一个高效、稳定、安(ān)全的迁移方案。


这一项目的成功实施不仅提升了河北移动CRM系统的自主可(kě)控性,降低了运维成本,同时也為(wèi)國(guó)内其他(tā)企业提供了一个成功的國(guó)产(chǎn)数据库迁移案例。未来,迪思杰公(gōng)司将继续為(wèi)客户提供高效、稳定的数据库解决方案,為(wèi)推动数据库的國(guó)产(chǎn)化替代做出积极贡献!


热门动态
警告弹窗