健康是世人永不落幕关心的话题，数据的世界就像一场无限流的電(diàn)影。

一家具(jù)有(yǒu)前瞻性的健康保险公(gōng)司， 在技(jì )术升级道路上，挑战与机遇交织，实现了一次又(yòu)一次的重大跃迁！

一、商(shāng)保核心系统实时同步

在信息技(jì )术國(guó)产(chǎn)化的大趋势和信创政策的推动下，某健康保险公(gōng)司商(shāng)保新(xīn)核心系统新(xīn)业務(wù)上線(xiàn)，底层数据库采用(yòng)了分(fēn)布式的华為(wèi)GaussDB。

為(wèi)了追求系统更高的安(ān)全性和稳定性，公(gōng)司提出了一项战略——新(xīn)老核心系统并存。

战略实施过程中(zhōng)，最关键的技(jì )术挑战是如何高效同步新(xīn)老系统间的数据。

作(zuò)為(wèi)专业的数据同步解决方案提供商(shāng)，迪思杰利用(yòng)自身深厚的数据技(jì )术和经验，承担了构建新(xīn)老系统间数据同步桥梁的重要任務(wù)。

“第一道鸿沟”，本质(zhì)上是如何实现新(xīn)核心系统中(zhōng)新(xīn)增数据的实时同步，将这些数据从华為(wèi)GaussDB无缝实时同步到老核心系统的DB2数据库中(zhōng)。尽管听起来简单，但实际上，这一过程涉及复杂的技(jì )术细节和严格的性能(néng)要求。

首要的挑战，是新(xīn)核心的增量数据需要被准确、迅速地同步到老核心系统中(zhōng)，以供业務(wù)在下游查询。

客户对数据的准确性和延迟性有(yǒu)极高的要求，目标是实现0-3秒(miǎo)内的延迟。

迪思杰数据实时同步工(gōng)具(jù)可(kě)以实现华為(wèi)GaussDB到DB2端到端的实时同步，但是在数据最终到达DB2之前，客户还需要根据业務(wù)需求对其进行加工(gōng)处理(lǐ)，所以引入了Kafka。Kafka的角色相当于一个暂存数据的中(zhōng)间件，便于客户加工(gōng)处理(lǐ)数据，并最终存储入库。

从端到端的华為(wèi)GaussDB到DB2的同步，任務(wù)变成华為(wèi)GaussDB到Kafka的同步。迪思杰依然借助着自身专业技(jì )术的优势，解决华為(wèi)GaussDB到Kafka数据同步具(jù)有(yǒu)特殊性高危流向的困难：

1. 采用(yòng)slot槽模式分(fēn)析GaussDB数据库交易，一旦slot槽的日志(zhì)被分(fēn)析完毕，就会立即消失，无法进行向前的日志(zhì)指定分(fēn)析，导致同步中(zhōng)断；

2. Kafka也无法通过全量方式对单个表进行修复，一旦出现问题导致数据丢失，就无法补救。

迪思杰不仅要克服这些技(jì )术障碍，还要适配华為(wèi)DRS的Kafka报文(wén)格式，确保数据按照客户要求定制的报文(wén)格式被写入Kafka集群，便于后续处理(lǐ)，并最终落库至老核心DB2数据库。

那么，迪思杰是如何做的呢(ne)？

简而言之，就是持续开发，不断优化。

DSG采用(yòng)自研alp模式拉取slot槽日志(zhì)，并转换為(wèi)独有(yǒu)的xdt格式文(wén)件，保存在中(zhōng)间机缓存目录下。以此来保证当slot槽里数据被消费后自动推进后，仍可(kě)以在DSG缓存目录下找到备份日志(zhì)，并可(kě)以在保留的日志(zhì)范围内，指定时间点，重新(xīn)分(fēn)析之前日志(zhì)，最大限度保障数据安(ān)全。

迪思杰采用(yòng)中(zhōng)间机部署模式，利用(yòng) DSG DataXone，研发适配数据报文(wén)格式，实现实时同步增量数据至Kafka，并部署了监控程序以实时跟踪数据同步的状态。

项目最终圆满完成，满足了客户对实时同步的所有(yǒu)需求，延迟时间稳定控制在0-3秒(miǎo)之内。

并且，自2021年11月上線(xiàn)以来，系统稳定运行一年有(yǒu)余，在完成业務(wù)需求后，顺利下線(xiàn)，深受客户认可(kě)！

二、商(shāng)保核心系统+ecif系统上云迁移

在数据同步项目成功后，為(wèi)方便统一管理(lǐ)服務(wù)器和数据库，客户决定将现有(yǒu)云下华為(wèi)GaussDB数据库数据全部迁移到云上华為(wèi)GaussDB数据库中(zhōng)，逐步替换云下环境。

这次迁移需要在短暂的停机时间内，完成全部数据的迁移以及数据校验，并在迁移完成后，将业務(wù)切换到新(xīn)的云上数据库。

迪思杰再次担起重任。此次上云迁移，规模涉及12个数据库，500G数据量。

迪思杰通过DSG DataXone，采用(yòng)非侵入式中(zhōng)间机模式部署，将云下的华為(wèi)GaussDB数据库数据静态迁移到云上的华為(wèi)GaussDB数据库，并在迁移完成后进行了全面的数据检验，数据校验全部正确后，业務(wù)系统对接到新(xīn)云上数据库中(zhōng)使用(yòng)。

实施结果，令人满意。停机窗口3小(xiǎo)时内，完成500G数据的上云迁移+数据比对，总體(tǐ)数据迁移速度达到62.90MB/s。

后续迁移完成后，新(xīn)商(shāng)保核心系统和ecif系统等业務(wù)系统顺利接入云上数据库，并且正常运行，无任何数据差异。至此，数据上云迁移工(gōng)作(zuò)圆满结束。

话说到此，本次分(fēn)享结束，但该健康保险的数据无限流新(xīn)篇章还在不断被撰写！