基金公司核心业务主要分为:
随互联网技术发展,基金销售渠道更加多元化,线上成为基金销售重要渠道。相比传统基金客户,线上渠道具有客户基数大,水平参差不齐的特点。对于那些还不成熟的客户,我们需要做好陪伴,让他们理解风险,理解投资。
基金建立了一套全方位多层次陪伴体系,从用户层面、市场层面和产品层面为用户提供投前、投中、投后的有温度的投资陪伴体验。
每个陪伴场景的达成,需要公司多个部门不同团队协同配合来完成。依赖与投研、合规、运营、大数据等上下游多个系统。
但这些系统采用不同技术架构,实现方式各异,若采用同步调用实现协同,耦合太高,不利扩展。
RocketMQ 提供高效可靠的消息传递特性和发布订阅机制,非常适合用于这种上下游异构系统间的解耦。把原来基于文件、邮件的协作方式全部线上化、流程化和机制化,大大提升了陪伴输出效率。
对于这种涉及多方系统的协作,需要对消息进行合理地归类,以便进行过滤和索引。RocketMQ 提供的 Topic 和 Tags 就是用来做这事。
Topic 与 Tag 作为业务上用来归类的标识,分属一级分类、二级分类。这种层次化的分类标识与企业组织架构类似,可结合起来实现消息过滤。
对于陪伴系统的 Topic:
合规系统需要对运营和陪伴消息进行合规审查,因此它需要订阅 TagA 和 TagC,最后是数据中心,所有的消息都要处理,因此它需要监听所有 Tag。
典型的金融场景 – 优惠购。基金 APP 上申购基金可享受低至 0 折费率优惠,两种实现方式:
领域事件指业务流程的一个步骤将导致进一步的业务操作,比如登录事件、基金购买事件。
领域模型里,领域事件事务采用最终一致性,弱一致性的一种。在领域模型映射到微服务系统架构时,微服务之间数据不必强一致,因此领域事件可解耦微服务。
依据是否跨微服务,可分为两种场景:
基金业务场景,需解决的问题是事务一致性与服务解耦度之间的矛盾,因此目标是让主从事务解耦,保证核心逻辑稳定,同时不因解耦而牺牲最终一致性。可选解决方案:
最常见普通消息 + 异步对账。无法保证主事务的执行和入队同时成功,需要时效性低的对账补偿解决,一致性只是较高
本地消息表,对比上一种做法,它由业务将写入消息表放到主事务中,把主事务和入队变成一个原子操作,然后业务读取入队记录,自己投递给从事务。缺点是主事务和消息表在存储上是耦合的
引入 XA 事务,两阶段提交协议,实现难度较大。且面临两个问题:
TCC,专门处理分布式事务,只侧重于一致性,无解耦度,也不可行
事务消息,兼顾解耦度和一致性,最合适
最终选择 RocketMQ 事务消息作为分布式事务解决方案:
编号 | 方案 | 解耦度 | 一致性 | 特性 |
---|---|---|---|---|
1 | 普通消息+异步对账 | 高 | 较高 | 无法保证主事务的执行和入队同时成功,需要时效性低的对账补偿解决 |
2 | 本地消息表 | 较高 | 高 | 主事务和消息表在存储上是耦合的 |
3 | XA(2PC) | 无 | 高 | 阻塞式协议,强一致 |
4 | TCC | 无 | 高 | 业务侵入大 |
5 | 事务消息 | 高 | 高 | 解构主从事务,达到最终一致 |
基于 RocketMQ 的事务消息搭建事务中心,协调分布式事务的推进和回滚。
以优惠购为例的核心流程:
@startuml participant 业务系统 participant 事务中心 participant 主事务 participant 从事务 业务系统 -> 事务中心: Prepare 事务中心 --> 业务系统: OK 事务中心 -> 主事务: 执行(购买货币基金) 主事务 --> 事务中心: Return alt 主事务执行成功 业务系统 -> 事务中心: Commit 事务中心 --> 业务系统: OK loop 直到从事务执行成功 事务中心 -> 从事务: 执行(购买目标基金) 从事务 --> 事务中心: Return end else 主事务执行失败 业务系统 -> 事务中心: Rollback 事务中心 --> 业务系统: OK end @enduml
由于网络抖动等原因,可能导致事务消息的二次确认丢失。此时需依赖某种机制,恢复整个分布式事务的上下文,RocketMQ提供反查机制正是为解决分布式事务中的超时问题。
先检查事务中心的内部状态,再通过反查接口检查本地事务执行结果,恢复事务上下文后,正常推进后续的流程:
@startuml participant 业务系统 participant 事务中心 participant 主事务 participant 从事务 业务系统 -> 事务中心++: Prepare 事务中心 --> 业务系统--: OK 业务系统 -> 主事务++: 执行(购买货币基金) 主事务 --> 业务系统--: Return 业务系统 -> 业务系统:网络抖动 事务中心 --> 业务系统++: 反查接口 业务系统 -> 主事务++: 查询/执行事务 主事务 --> 业务系统--: Return alt 主事务执行成功 业务系统 --> 事务中心++: Commit end @enduml
Con消费失败后,broker需要进行一定次数重试,需制定合理重试策略。
因为消费重试,就要求Con接口实现幂等性;若重试多次后仍失败,把消息压入死信队列DLQ,RocketMQ内置死信队列功能,对进入死信队列的消息进行告警处理。
若领域事件逻辑失败概率大,业务要及时将返回码告知客户端,自然不能放在异步流程。
如支付系统,支付扣款前要检查余额是否足够,若余额不足,异步流程中重试多少次都是失败。
如业务系统发送消息时没有确定一个唯一事务ID,那后续业务逻辑就无法保证幂等。
假设其中一个事务是创建订单,若不能保证幂等,重试多次就产生多个订单;所以这里需要用到事务消息,明确一个分布式事务的开始,生成一个唯一事务 ID,让后续流程能以该事务 ID 保证幂等。
支持事务消息的分布式消息队列,必然是数字化转型过程中的技术支柱,值得信赖!
目前,我们基于 RocketMQ 在客户陪伴体系上解耦了上下游的服务,提升了运营和陪伴的效率。同时,我们在 RocketMQ 事务消息的基础上,搭建了这样一个支持分布式事务的服务协调平台,也就是我们的事务中心,大大提升了对金融场景化的产品包装能力。未来,我们将围绕着事务中心,拓宽更多的金融应用场景,创造更大业务价值。
关注我,紧跟本系列专栏文章,咱们下篇再续!
作者简介:魔都架构师,多家大厂后端一线研发经验,在分布式系统设计、数据平台架构和AI应用开发等领域都有丰富实践经验。
各大技术社区头部专家博主。具有丰富的引领团队经验,深厚业务架构和解决方案的积累。
负责:
- 中央/分销预订系统性能优化
- 活动&券等营销中台建设
- 交易平台及数据中台等架构和开发设计
- 车联网核心平台-物联网连接平台、大数据平台架构设计及优化
- LLM Agent应用开发
- 区块链应用开发
- 大数据开发挖掘经验
- 推荐系统项目
目前主攻市级软件项目设计、构建服务全社会的应用系统。
参考: