在数字化转型的浪潮中(zhōng)，信创國(guó)产(chǎn)化已成為(wèi)金融行业的一大趋势。近日，迪思杰公(gōng)司凭借自身在数据迁移领域的深厚技(jì )术积累和丰富经验，成功助力上海某股份制银行完成其某分(fēn)布式核心系统的数据迁移，并于2024年9月21日顺利投产(chǎn)，為(wèi)该银行的数字化转型注入了新(xīn)的活力。

1. 数据迁移挑战

- 大量数据迁移: 需要迁移的数据量超过10TB，且源端和目标端的表索引不一致，升级过程中(zhōng)需要反复多(duō)次迁移；

- 频繁的批处理(lǐ)操作(zuò): 源端每天都有(yǒu)大量的批处理(lǐ)任務(wù)，这可(kě)能(néng)导致数据传输延迟；

- 割接时间限制: 业務(wù)允许的停机时间有(yǒu)限，因此必须最小(xiǎo)化数据迁移和割接对业務(wù)的影响；

2. 性能(néng)与资源限制

- 现网主机性能(néng)受限: XCMP和数据同步部署在同一台主机和磁盘上，导致比对数据时对同步性能(néng)产(chǎn)生较大影响；

- 增量数据量大: 实时增量比对不可(kě)行，因為(wèi)增量数据量大，抽取数据已经非常耗时，加上比对，将更是如此；

3. 数据一致性问题

- 数据不一致: 由于源端行迁移频繁，部分(fēn)未收录的格式可(kě)能(néng)导致合成失败，进而造成数据不一致；

- 高数据质(zhì)量要求: 差异数据的修复难度大，且数据一致性的要求非常高，需要进行详细的数据比对校验；

4. 管理(lǐ)复杂性

- 队列管理(lǐ)困难: 為(wèi)了同步和比对，共搭建了20条队列，并且分(fēn)布在两台机器上，管理(lǐ)起来相当复杂。

- 高效同步技(jì )术：DSG SuperSync能(néng)够实现实时数据同步，面对30T的海量数据，也能(néng)将延迟控制在5秒(miǎo)以内；

- 智能(néng)数据比对：通过小(xiǎo)表全量比对、中(zhōng)表近两天数据比对、大表采用(yòng)hash比对的方式，极大地提高了数据比对的效率和准确性；

- 优化措施：迪思杰的技(jì )术团队针对项目中(zhōng)出现的各种问题，快速响应并实施了有(yǒu)效的优化措施，确保了项目的顺利进行。