保险行业，國(guó)家金融发展重要组成部分(fēn)，关乎國(guó)计民(mín)生，承担着保障國(guó)民(mín)财产(chǎn)和人身安(ān)全的社会责任。

随着國(guó)内保险业的持续壮大发展，保险业以集团化為(wèi)主要模式的混业经营成為(wèi)主流，各大保险集团都呈多(duō)元发展趋势，在发挥主體(tǐ)公(gōng)司统筹建设的基础上，以子公(gōng)司的形式為(wèi)实现专业化经营搭建平台。一个大型保险集团，往往设立财险、寿险、健康险、养老险等子公(gōng)司，达到精(jīng)细化、专业化管理(lǐ)。

在数字化转型的浪潮中(zhōng)，集团与其子公(gōng)司根据各自的发展需求，实施着一系列定制化的数字化策略。

迪思杰，作(zuò)為(wèi)数据管理(lǐ)领域的资深企业，深耕行业二十余年，与多(duō)家保险企业建立了深入的合作(zuò)关系。以某大型保险集团与其旗下财险、寿险、健康险子公(gōng)司為(wèi)例，迪思杰通过定制化的解决方案，积极参与了该集团及其子公(gōng)司的数字化升级过程。

01  保险集团-数据入湖(hú)与迁移同步

集团：数据入湖(hú)+迁移同步

采用(yòng)独特的技(jì )术路線(xiàn)，涉及大数据组件多(duō)。

全量：源库-Hive-Hudi

增量：源库-Kafka-Spark-Hudi

集团统筹各子公(gōng)司，拥有(yǒu)重大决策权。随着数据量的不断增加，原有(yǒu)的环境已无法满足生产(chǎn)上的需求。因此，该保险集团提出了数据入湖(hú)的方案，将旗下各个子公(gōng)司的数据从源库同步到Hudi中(zhōng)，同时对下游应用(yòng)所需要的数据进行迁移，由Gauss200同步到DWS中(zhōng)。

此次数字化项目涉及寿险、健康险、养老险三家子公(gōng)司系统，源端点多(duō)，软件队列多(duō)，维护量大，需收集子公(gōng)司（寿险、健康险、养老险）数据，并对子公(gōng)司数据进行标准化处理(lǐ)，业務(wù)分(fēn)析。

整个数据入湖(hú)项目，DSG SuperSync大型数据库高性能(néng)复制工(gōng)具(jù)全程保驾护航，满足数据同步、数据迁移、ETL（增、删、改列）等场景需求。

项目中(zhōng)，迪思杰采用(yòng)中(zhōng)间机部署模式，通过创新(xīn)技(jì )术方案，开辟独特的技(jì )术路線(xiàn)。利用(yòng)Hive 与Kafka作(zuò)為(wèi)全量、增量数据的临时存储组件，后续用(yòng)Spark引擎(专為(wèi)大规模数据处理(lǐ)而设计的快速通用(yòng)的计算引擎)，提高数据处理(lǐ)(入Hudi)的效率，实现了跨南北数据中(zhōng)心高效数据传输。

迪思杰充分(fēn)发挥自身专业优势，自主研发，定制开发，对写入Hive、Kafka的工(gōng)具(jù)定制修改适配，入湖(hú)Hudi程序全新(xīn)研发，确保了方案与项目需求的完美契合。

02  财险-数据同步与迁移

财险：数据同步、数据迁移

一对一、一对多(duō)、多(duō)对一、多(duō)对多(duō)的多(duō)系统数据同步与迁移

财险公(gōng)司主要承担财产(chǎn)损失的赔付责任，业務(wù)覆盖范围广，IT系统复杂性强，内部数据流转错综复杂。為(wèi)适配业務(wù)发展带来的系统更新(xīn)换代，一对一、一对多(duō)、多(duō)对一、多(duō)对多(duō)数据同步需求多(duō)样。

营销系统作(zuò)為(wèi)财险业務(wù)发展的核心系统，是此次数字化实施的重点。通过DSG SuperSync大型数据库高性能(néng)复制工(gōng)具(jù)完成营销库到各个市级、省级的数据清分(fēn)；营销库-新(xīn)营销系统的数据业務(wù)切换硬件升级，分(fēn)摊压力；营销系统到下属各类报表系统数据多(duō)级同步；营销系统到大数据平台Kafka消费到全量数据平台，供用(yòng)户使用(yòng)查看等等。此外，还对农险、社保、理(lǐ)赔等系统数据进行了实时同步操作(zuò)，并且配合客户进行数据库迁移，通过正向同步以及反向同步进行正反切换。

财险企业，目标端类型多(duō)、点多(duō)，通道多(duō)，维护量非常大，且多(duō)种数据库之间不同字段类型需做特殊处理(lǐ)兼容转换；营销到各地方数据清分(fēn)按表配置过滤条件多(duō)且复杂；营销库-Kafka大数据平台数据(空格、引号等)转义替换多(duō)，数据情况和所需处理(lǐ)方式逻辑复杂；Gbase、Tbase等分(fēn)布式数据库因需考虑节点、表级锁、连接数等限制因素，需灵活改变软件配置来适应各种复杂的环境；日归档TB级别数据，迁移数据达50TB，表数量过万，应用(yòng)难度不言而喻。

03  寿险-异构复制与采集交换

寿险：异构复制+采集交换

替换某知名(míng)复制产(chǎn)品，满足多(duō)场景应用(yòng)需求

随着寿险业務(wù)数据增大、时效性要求提升以及新(xīn)增系统等大数据平台异构复制需求，原某知名(míng)复制产(chǎn)品数据复制已不能(néng)满足寿险现场复制需求，因此采用(yòng)DSG数据复制方案替换该复制产(chǎn)品，保障数据同步、采集交换需求。

项目过程中(zhōng)，DSG通过初始化与断点续传两种模式，实现替换该复制产(chǎn)品，并保障数据的一致性与实时性；对于普通表、压缩表、无主键表，DSG则采用(yòng)不同模式不同配置，保障数据装(zhuāng)载的一致性。针对源端与目标端差异ETL操作(zuò)，DG库导致分(fēn)析延迟超过24h，压缩表差异等问题时，迪思杰抽丁拔楔，也通过有(yǒu)效措施实现满意结果。

迪思杰数据复制方案，為(wèi)寿险基础数据平台、核保前置系统、单证系统、微信系统、核心聚合模型、大数据平台、117 数据报送平台等多(duō)个系统提供准实时数据服務(wù)。

通过部署DSG DataXone数据采集共享交换平台，项目能(néng)够实现：

1. 数据复制流程管理(lǐ)：部署和管理(lǐ)数据复制流程，确保数据的连续性和同步性。

2. 监控与诊断：定期巡检数据复制流程，并排查潜在的数据复制问题。

3. 数据处理(lǐ)：执行数据的抓取、分(fēn)析、发送、接收，以及ETL（提取、转换、加载）过程中(zhōng)的过滤和装(zhuāng)载操作(zuò)。

4. 数据比对：部署数据比对模块，支持历史数据、增量数据、主键字段和全字段基于时间或全表数据比对。

这些功能(néng)共同提升了数据质(zhì)量，确保了各系统在实施数据复制时的完整性、准确性、一致性和时效性。

04  健康险-國(guó)产(chǎn)化与上云迁移

健康险：國(guó)产(chǎn)化与上云迁移

高危流向下的新(xīn)老核心系统数据同步以及上云数据迁移

在國(guó)产(chǎn)化浪潮推动下，健康险商(shāng)保核心系统将新(xīn)业務(wù)底层数据存放在國(guó)产(chǎn)数据库OpenGauss中(zhōng)，而老核心系统底层数据都在DB2上。為(wèi)新(xīn)老核心系统共存，需要把新(xīn)核心系统上新(xīn)增的数据，经过处理(lǐ)后同步更新(xīn)到老核心系统中(zhōng)。同时，為(wèi)方便统一管理(lǐ)服務(wù)器和数据库，企业要将现有(yǒu)云下OpenGauss数据库数据全部迁移到云上OpenGauss数据库中(zhōng)，逐步替换云下环境。

此次数据同步选用(yòng)Kafka為(wèi)中(zhōng)间件，通过DSG  DataXone数据采集共享交换平台将增量数据从OpenGauss数据库同步到Kafka，再由客户k2x程序从Kafka落库到老核心DB2中(zhōng)。

而此项目场景是一个高危流向，一旦出现问题导致丢数，则很(hěn)难补数据，好在迪思杰依托于自研发展，面对OpenGauss到Kafka的同步流向特殊性以及OpenGauss数据库的slot槽导出模式，通过研发适配华為(wèi)drs的Kafka报文(wén)格式，保障数据格式、列值含义完全相同，优化产(chǎn)品工(gōng)具(jù)，实现同步的顺利进行。

此外，DSG DataXone全程提供OpenGauss的上云数据迁移支持，应用(yòng)数据體(tǐ)量正在不断扩大中(zhōng)。

可(kě)以预见，保险集团与其子公(gōng)司的数字化建设之路，各有(yǒu)千秋，亦铺满荆棘，但也不妨碍我们凭借自身强大的数字化解决方案，协助其有(yǒu)效应对挑战，实现业務(wù)升级和转型发展。

未来，迪思杰将在数字化转型服務(wù)的道路上迈出更大的步伐，為(wèi)客户提供更全面、优质(zhì)、高效的服務(wù)方案，在铺满荆棘的路上披荆斩棘。