新(xīn)闻动态-DSG动态
全球领先的数据管理(lǐ)软件、应用(yòng)开发统一提供商(shāng),致力于為(wèi)企业级的大型数据中(zhōng)心提供解决方案。
迪思杰流批一體(tǐ)方案,助力东亚银行(中(zhōng)國(guó))打造大数据实时处理(lǐ)平台
发布时间:2024.02.19

新(xīn)年新(xīn)气象,龙年新(xīn)开,整点儿新(xīn)东西~

新(xīn)的分(fēn)享,新(xīn)的实例,新(xīn)的业務(wù)方向,请查收!


2023年,东亚银行(中(zhōng)國(guó))与迪思杰合作(zuò)建设大数据实时处理(lǐ)平台,满足实时数据分(fēn)析需求,推动数字化转型。目前,建设项目的各项任務(wù)都在有(yǒu)条不紊地进行。


东亚银行有(yǒu)限公(gōng)司(简称“东亚银行”),于1918年在香港成立,总部设在香港中(zhōng)环。它是香港的银行和金融服務(wù)公(gōng)司,也是目前香港最大的独立本地银行。


2007年初,东亚银行在内地注册成立全资附属银行 — 东亚银行(中(zhōng)國(guó))有(yǒu)限公(gōng)司(简称“东亚中(zhōng)國(guó)”)。东亚中(zhōng)國(guó)继承母公(gōng)司庞大的内地业務(wù)网络,致力為(wèi)广大客户提供一应俱全的金融服務(wù)。东亚中(zhōng)國(guó)总部设在上海,是内地分(fēn)支行网络最庞大的外资银行之一。


為(wèi)满足三年数字化转型战略需求,推动科(kē)技(jì )创新(xīn)与经济发展的深度融合,东亚银行(中(zhōng)國(guó))积极推进数据架构基础建设工(gōng)作(zuò)。其中(zhōng),搭建实时数据处理(lǐ)平台是提升决策效率、优化用(yòng)户體(tǐ)验、降低运营成本、保障数据质(zhì)量和推动业務(wù)创新(xīn)等关键环节的重要手段,具(jù)有(yǒu)极高的价值。


什么是实时数据处理(lǐ)平台?


实时数据处理(lǐ)平台是一种能(néng)对现场数据在其发生的实际时间内进行收集和处理(lǐ)的系统。这个过程包括数据从生成->实时采集->实时缓存存储->实时计算->实时落地->实时展示->实时分(fēn)析的全过程。


為(wèi)了确保数据的完整性和准确性,实时数据处理(lǐ)平台需要有(yǒu)高可(kě)靠性,即系统不能(néng)出现问题并且数据不能(néng)丢失。同时,為(wèi)了提高处理(lǐ)效率,平台需要具(jù)备高性能(néng)和低延时的特性。    


面对实时数据处理(lǐ)平台搭建的价值性与重要性,东亚银行(中(zhōng)國(guó))此次数字化建设包含三大核心技(jì )术要求和四大目标!



三大技(jì )术要求


一、实时同步功能(néng)

支持将Oracle、 MySQL、 SQL Server等数据库数据全量+增量, 实时数据导入到Kafka集群,同时保证数据的实时性和完整性。

数据同步具(jù)體(tǐ)功能(néng)要求如下:

- 数据同步:全量同步,实时增量同步,异构同步;

- 数据容灾:双活容灾,容灾增量切换;

- 数据转换:数据ETL,数据脱敏,数据过滤,数据加工(gōng);

- 数据对比:全量对比,增量差异对比,定时对比,异构比对;

- 采集内容:支持结构化,半结构化等数据采集;

- 采集要求:秒(miǎo)级延迟,加密采集,满足实时查询要求及实时数据共享。


二、二次开发功能(néng)

可(kě)提供面向未来实时应用(yòng)场景,支持灵活配置的二次开发能(néng)力。


三、拓展性需求

元数据采集和数据安(ān)全性要求,满足数据ETL转换,确保数据安(ān)全。


四大目标


一、平台建设

实时数据同步软件以及Flink实时流处理(lǐ)平台的安(ān)装(zhuāng)、部署,形成东亚银行统一的实时采集、实时转换处理(lǐ)的流处理(lǐ)平台能(néng)力。


二、数据实时采集实施

根据应用(yòng)场景的指标需求,实时采集业務(wù)数据库(如NDS,YIP)的数据,并按照标准格式加载到Kafka中(zhōng),保证采集数据的完整性、准确性与实时性。


三、应用(yòng)场景开发

针对对私、对公(gōng)和零售业務(wù)场景需求,进行指标定义、模型设计、实时流处理(lǐ)任務(wù)开发、任務(wù)调度以及用(yòng)户要求的其他(tā)数据开发工(gōng)作(zuò)。


四、维护与优化

系统维护;日常维护、软件升级;定制化维护;體(tǐ)系优化。



经过前期的各项测试,东亚银行(中(zhōng)國(guó))与迪思杰达成合作(zuò)意向,决定通过迪思杰搭建实时数据处理(lǐ)平台,以满足业務(wù)用(yòng)户实时报表数据分(fēn)析需求,协助用(yòng)户快速制定出可(kě)行的业務(wù)决策,防止数据价值的流失。同时迪思杰还将提供实时的数据采集、存储、查询、处理(lǐ)等服務(wù)。


2


项目需求


一、数据同步需求

满足异构场景下的全量、增量实时同步需求,整體(tǐ)延迟时间控制在秒(miǎo)级别。同时,在实时采集过程中(zhōng),满足数据的清洗、转换、脱敏等功能(néng)。


二、业務(wù)场景需求

- 对私业務(wù)场景:存款类实时异动提醒、账户金额转出实时异动提醒、理(lǐ)财类实时异动提醒;

- 对公(gōng)业務(wù)场景 :各机构存款余额实时查询、各机构存款余额实时查询、特定客户实时存款查询、反洗钱业務(wù)功能(néng)、实时异动提醒、实时数据预测报表;

- 零售业務(wù)场景 :实时异动提醒(出入账)、实时异动提醒(理(lǐ)财产(chǎn)品購(gòu)买、赎回)。



此次数据实时处理(lǐ)平台建设以DSG DataXone為(wèi)基石,作(zuò)為(wèi)数据采集清洗平台,将生产(chǎn)端的业務(wù)数据实时采集、传输、 加载到Kafka集群,為(wèi)后续的数据实时计算和离線(xiàn)计算提供数据支撑;

 

以迪思杰流批一體(tǐ)方案為(wèi)核心,通过FLink实时流计算引擎,把Kafka内的流式数据进行实时消费,并根据应用(yòng)场景进行实时流计算任務(wù)开发,满足应用(yòng)需求。



技(jì )术架构图


通过DSG DataXone+Kafka+流批一體(tǐ)的技(jì )术方案,迪思杰对客户的多(duō)个核心业務(wù)场景进行了定制开发和改造,将原本基于离線(xiàn)T-1的指标数据分(fēn)析计算进行了实时化。这一转变不仅实现了数据的实时捕获和处理(lǐ),同时提高了业務(wù)的实时性。



定制开发与改造


- 迪思杰采用(yòng)流批一體(tǐ)架构,充分(fēn)利用(yòng)流批一體(tǐ)的能(néng)力,重新(xīn)设计离線(xiàn)指标计算逻辑,使其适用(yòng)于实时流处理(lǐ)。

- 通过状态管理(lǐ)与容错机制的应用(yòng),保障系统在大规模数据和异常情况下的高效和可(kě)靠运行。

- 实时输出与反馈模块的调整,确保结果的即时传递和业務(wù)反馈。

- 配置全面的监控和调试机制,為(wèi)系统的稳定运行提供保障。



面对此次东亚银行(中(zhōng)國(guó))大数据实时处理(lǐ)平台的建设,迪思杰建立了持续优化与扩展机制,以适应未来业務(wù)的发展,并為(wèi)客户提供了全面实时化的业務(wù)解决方案,真正实现了“以客户需求為(wèi)中(zhōng)心”,客户相关场景的数据实时化、业務(wù)实时化





应用(yòng)效果案例图


对于DSG DataXone,相信大家都已不陌生,它是迪思杰自主研发的拥有(yǒu)自主知识产(chǎn)权的数据采集与共享交换平台,但对于DSG流批一體(tǐ)方案,或许会有(yǒu)疑问:迪思杰也能(néng)做数据治理(lǐ)、数据开发、数据服務(wù)、数据门户等业務(wù)了?事实上,流批一體(tǐ)方案迪思杰已布局多(duō)年,现已落地迪思杰流批一體(tǐ)化平台!




关于迪思杰流批一體(tǐ)化平台


迪思杰流批一體(tǐ)化平台是基于Hadoop生态圈的端到端的数据服務(wù)流水線(xiàn),致力于為(wèi)企业内部打造一个具(jù)备自主开发与全栈数据研发能(néng)力的一站式、标准化、可(kě)视化、透明化的智能(néng)大数据全生命周期开发管理(lǐ)平台的目标而诞生。



迪思杰流批一體(tǐ)化平台功能(néng)架构图


迪思杰流批一體(tǐ)化平台能(néng)够同时支持流式数据和批量数据处理(lǐ),实时数据和历史数据处理(lǐ),提供一致的API和开发模型,多(duō)种数据源和数据格式,可(kě)视化工(gōng)具(jù)和监控,具(jù)有(yǒu)数据转换、聚合、过滤、连接等功能(néng)。


其可(kě)以满足数据传输、数据计算、数据治理(lǐ)、数据分(fēn)享等的各类复杂组合应用(yòng)场景,助力用(yòng)户更加高效地进行数据分(fēn)析和应用(yòng)开发,提高数据处理(lǐ)效率,真正实现数据业務(wù)化、业務(wù)数据化。



平台部分(fēn)界面预览图


应用(yòng)场景


01

企业内部数据处理(lǐ)

迪思杰流批一體(tǐ)平台可(kě)以用(yòng)于企业内部数据处理(lǐ),例如实时监控业務(wù)数据、批量分(fēn)析销售数据等;

02

金融行业

迪思杰流批一體(tǐ)平台可(kě)以用(yòng)于金融行业的实时风险控制、实时交易监控等实时数据处理(lǐ)场景,同时也可(kě)以用(yòng)于历史数据分(fēn)析、反欺诈分(fēn)析等批量数据处理(lǐ)场景;

03

物(wù)联网行业

迪思杰流批一體(tǐ)平台可(kě)以用(yòng)于物(wù)联网设备数据的实时处理(lǐ)和批量处理(lǐ),例如实时监控设备状态、批量分(fēn)析设备性能(néng)等;

04

電(diàn)商(shāng)行业

迪思杰流批一體(tǐ)平台可(kě)以用(yòng)于電(diàn)商(shāng)网站的实时数据分(fēn)析和批量数据分(fēn)析,例如实时监控用(yòng)户行為(wèi)、批量分(fēn)析用(yòng)户購(gòu)买行為(wèi)等;

05

互联网广告行业

迪思杰流批一體(tǐ)平台可(kě)以用(yòng)于互联网广告的实时投放和批量数据分(fēn)析,例如实时监控广告效果、批量分(fēn)析广告投放效果等。

此次助力东亚银行(中(zhōng)國(guó))打造大数据实时处理(lǐ)平台,对于迪思杰而言,不仅是一次突破与创新(xīn),更是迪思杰流批一體(tǐ)化产(chǎn)品发展的一次重要里程碑。我们深感荣幸能(néng)够与东亚银行(中(zhōng)國(guó))携手合作(zuò),共同推动数据技(jì )术的发展与应用(yòng)。


在这次合作(zuò)中(zhōng),迪思杰充分(fēn)发挥了自身在数据复制和管理(lǐ)领域的专业优势,為(wèi)东亚银行(中(zhōng)國(guó))提供了高效、可(kě)靠的大数据实时处理(lǐ)方案。通过双方的技(jì )术支持和创新(xīn)思维,东亚银行(中(zhōng)國(guó))的大数据实时处理(lǐ)平台得以实现快速响应、精(jīng)准分(fēn)析和智能(néng)决策,為(wèi)企业的运营和管理(lǐ)提供了强有(yǒu)力的支持。


至此,迪思杰流批一體(tǐ)方案已经应用(yòng)于公(gōng)安(ān)、消防、医(yī)疗、交通、券商(shāng)、银行等行业。未来,迪思杰期待与更多(duō)合作(zuò)伙伴碰撞更多(duō)创新(xīn)灵感,助力企业发挥数据价值,真正实现数据业務(wù)化、业務(wù)数据化!

热门动态
警告弹窗