BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

这篇具有很好参考价值的文章主要介绍了BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

首先感谢王晓老师的[接口优化的常见方案实战总结]一文总结,恰巧最近在对稳健理财BFF层聚合查询服务优化治理,针对文章内的串行改并行章节进行展开,分享下实践经验,主要涉及原同步改异步的过程、全异步化后衍生的问题以及治理方面的思考与改进。

希望通过分享这些经验,能够对大家的工作有所启发和帮助。如果有任何问题或建议,请随时提出。

一、问题背景

将不同理财产品(如基金、券商、保险、银行理财等)针对不同投放渠道人群进行个性化商品推荐,每个渠道或人群看到的商品或特性数据又各不相同,为方便渠道快速对接,由BFF层统一对所有数据进行聚合下发,因此BFF层聚集依赖了大量底层原子服务,所以主要问题是在依赖大量上游接口的场景下保障TP99、以及可用率。

案例:

以其中比较典型的商品推荐接口为例,需要依赖本地商品池缓存、算法推荐服务、商品基础信息服务、持仓查询服务、人群标签服务、券配置服务,可领用券服务、其他数据服务ServN……等等,其中大部分上游原子接口对单次批量查询支持有限,所以极端情况,单个推品接口单次推荐1-n个推品,每个商品如果要绑定10个动态属性,至少需要发起(1~n)*10次io调用。

改造前的流程和问题:

流程:

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

问题:

  • 一是逻辑流程强耦合,很多上下游服务强同步依赖;

  • 二是链路较长,其中某个上游服务不稳定时很容易造成整体链路失败。

改造后的流程和实现的目标:

流程:

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

目标:

  • 改造目标也很明确,就是对现有逻辑改造,尽可能增加弱依赖比例,一是方便异步提前加载,二是弱依赖代表可摘除,为降级操作奠定基础,减少因某个链路抖动影响整体链路失败;

初步改造后的新问题【【重点解决】】:

▪逻辑上解耦比较简单,无非就是前置参数或冗余加载,本次不展开探讨;

▪技术上改造前期异步逻辑主要是采用@Async("tpXXX")标注,这也是最快捷实现的方式,但也存在以下几个问题,主要是涉及治理方面:

  1. 随着项目和人员不断迭代,造成@Async注解满天飞;

  2. 不同人员在不熟悉其他模块的情况下,无法界定不同线程池的是否可公用,大多都会采用声明新的线程池,造成线程池资源泛滥;

  3. 部分调用场景不合理造成@Async嵌套过多或注解失效问题;

  4. 降级机制重复代码太多,需要频繁手动声明各种降级开关;

  5. 缺少统一的请求级别的缓存机制,虽然jsf已经提供了一定程度的支持;

  6. 线程池上下文传递问题;

  7. 缺少线程池状态的统一监控报警,无法观测实际运行过程中的每个线程池状态,可能每次都是拍脑袋觉设置线程池参数。

二、整体改造路径

切入点:

鉴于大部分项目都会封装单独的io调用层,比如 com.xx.package.xxx.client,所以以此为切入点进行重点改造治理。

最终目标:

实现、应用简单,对老代码改造友好,尽可能降低改造成本;

  1. 抽象io调用模板,统一io调用层封装规范,标准化io调用需要的增强属性声明并提供默认配置,如所属线程池分配、超时、缓存、熔断、降级等;

  2. 优化@Async调用,所有io异步操作统一收缩至io调用层,在模板层实现回调机制,老代码仅继承模板即可实现异步回调;

  3. 请求级别的缓存实现,默认支持r2m;

  4. 请求级别的熔断降级支持,在上游故障时使服务实现一定程度的自治理;

  5. 线程池集中管理,对上下文自动传递MDC参数提供支持;

  6. 线程池状态自动可视化监控、报警实现;

  7. 支持配置中心动态设置。

具体实现:

1. io调用抽象模板

模板主要作用是进行规范和增强,目前提供两种模板,默认模板、缓存模板,核心思想就是对io操作涉及的大部分行为进行声明,比如当前服务所属线程池分组、请求分组等,由委托组件按照声明的属性进行增强实现,示例如下:

主要是提供代码级别的默认声明,从日常实践看大部分采用开发时的代码级别的配置即可。

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

2. 委托代理

此委托属于整个执行过程的桥接实现,io封装实现继承抽象模板后,由模板创建委托代理实例,主要用于对io封装进行增强实现,比如调用前、调用后、以及调用失败自动调用声明的降级方法等处理。

可以理解为:模板专注请求行为,委托关注对象行为进行组合增强。

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

3. 执行器选型

基于前面的实现目标,减少自研成本,调研目前已有框架,如 hystrix、sentinel、resilience4j,由于主要目的是期望支持线程池级别的壁舱模式实现,且hystrix集成度要优于resilience4j,最终选型默认集成hystrix,备选resilience4j, 以此实现线程池的动态创建管理、熔断降级、半连接重试等机制,HystrixCommander实现如下:

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

4. hystrix 适配 concrete 动态配置

1、继承concrete.PropertiesNotifier, 注册HystrixPropertiesNotifier监听器,缓存配置中心所有以hystrix起始的key配置;

2、实现HystrixDynamicProperties,注册ConcreteHystrixDynamicProperties替换默认实现,最终支持所有的hystrix配置项,具体用法参考hystrix文档。

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

5. hystrix 线程池上下文传递改造

hystrix已经提供了改造点,主要是对HystrixConcurrencyStrategy#wrapCallable方法重写实现即可,在submit任务前暂存主线程上下文进行传递。

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

6. hystrix、jsf、spring注册线程池状态多维可视化监控、报警

主要依赖以下三个自定义组件,注册一个状态监控处理器,单独启动一个线程,定期(每秒)收集所有实现数据上报模板的实例,通过指定的通道实现状态数据推送,目前默认使用PFinder上报:

  • ThreadPoolMonitorHandler 定义一个线程状态监控处理器,定期执行上报过程;

  • ThreadPoolEndpointMetrics 定义要上报的数据模板,包括应用实例、线程类型(spring、jsf、hystrix……)、类型线程分组、以及线程池的几个核心参数;

  • AbstractThreadPoolMetricsPublisher 定义监控处理器执行上报时依赖的通道(Micrometer、PFinder、UMP……)。

例如以下是hystrix的状态收集实现,最终可实现基于机房、分组、实例、线程池类型、名称等不同维度的状态监控:

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

PFinder实际效果:支持不同维度组合查看及报警

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

7. 提供统一await future工具类

由于大部分调用是基于列表形式的异步结果List<Future>、Map<String,Future>,并且hystrix目前暂不支持返回CompletableFuture,方便统一await,提供工具类:

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

8. 其他小功能

1、除了sgm traceId支持,同时内置自定义的traceId实现,主要是处理sgm在子线程内打印traceId需要在控制台手动添加监控方法的问题以及提供对部分无sgm环境的链路Id支持,方便日志跟踪;

2、比如针对jsf调用,基于jsf过滤器实现跨应用级别的前后请求id传递支持;

3、默认增加jsf过滤器实现日志打印,同时支持provider、consume的动态日志打印开关,方便线上随时开关jsf日志,不再需要在client层重复logger.isDebugerEnabled();

4、代理层自动上报io调用方法、fallback等信息至ump,方便监控报警。

日常使用示例:

1. 一个最简单的io调用封装

仅增加继承即可支持异步回调,不重写线程池分组时使用默认分组。

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

2. 一个支持请求级别熔断的io调用封装

默认支持的熔断级别是服务级别,老服务仅需要继承原请求参数,实现FallbackRequest接口即可,可防止因为某一个特殊参数引起的整体接口熔断。

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

3. 一个支持请求级别缓存、接口级别熔断降级、独立线程池的io调用封装

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

4. 上层调用,实际效果

1、直接将一个商品列表转换成一个异步属性绑定任务;

2、利用工具类await List<Future>;

3、在上层无感知的状态下,实现线程池的管理、熔断、降级、或缓存逻辑的增强,且可根据pfinder监控的可视化线程池状态,通过concrete实时调整线程池及超时或熔断参数;

4、举例:比如某接口频繁500ms超时,可通过配置直接打开短路返回降级结果,或者调低超时为100ms,快速触发熔断,默认10s内请求总数达到20个,50%失败时打开断路器,每隔5s半链接重试。

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队

三、最后

本篇主要是思考如何依赖现有框架、环境的能力,从代码层面系统化的实现相关治理规范。

最后仍引用王晓老师文章结尾来结束

接口性能问题形成的原因思考我相信很多接口的效率问题不是一朝一夕形成的,在需求迭代的过程中,为了需求快速上线,采取直接累加代码的方式去实现功能,这样会造成以上这些接口性能问题。 变换思路,更高一级思考问题,站在接口设计者的角度去开发需求,会避免很多这样的问题,也是降本增效的一种行之有效的方式。 以上,共勉!

作者:京东科技 刘大朋

来源:京东云开发者社区文章来源地址https://www.toymoban.com/news/detail-468216.html

到了这里,关于BFF层聚合查询服务异步改造及治理实践 | 京东云技术团队的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 查询网络服务和端口

      文章最前 : 我是Octopus,这个名字来源于我的中文名--章鱼;我热爱编程、热爱算法、热爱开源。所有源码在我的个人github ;这博客是记录我学习的点点滴滴,如果您对 Python、Java、AI、算法有兴趣,可以关注我的动态,一起学习,共同进步。          netstat 命令用于

    2024年02月16日
    浏览(37)
  • 微服务——RestClient查询文档

    返回结果直接把json风格的结果封装为SearchReponse对象返回    默认只返回前10条数据       在.source()中query,排序,分页,高亮等功能 QueryBuildes中准备了所有查询,match,match_all,boolean等   对比match和match_all,不同的地方只有一点点,这里直接抽取4往后的公共部分,使用ctrl+alt

    2024年02月14日
    浏览(43)
  • 全国省市区地址查询API:简单易用的地址查询服务

      在现代社会,我们经常需要使用地址信息进行各类操作。然而,对于普通用户来说,经纬度坐标和结构化地址可能并不是很好理解,这就给我们的日常生活带来了一些困扰。 为了解决这个问题,WAPI平台推出了一款全国省市区地址查询API。这个API能够将用户输入的地理位置

    2024年04月23日
    浏览(42)
  • 千寻服务及覆盖范围查询

    千寻跬步-FindM(亚米级高精度定位服务)在设备支持、监测环境良好的情况下,精度可达0.5m左右; 千寻知寸-FindCM(厘米级高精度定位服务)在设备支持、监测环境良好的情况下,精度可达1-5cm左右; 千寻见微-FindMM(静态毫米级高精度定位服务)在设备支持、监测环境良好的

    2024年02月10日
    浏览(43)
  • zookeeper 查询注册的 dubbo 服务

    1. 连接zookeeper 服务端 使用bin 目录下zk客户端连接服务器, ./zkCli.sh -server  127.0.0.1:2181 2. 查询Dubbo 服务 # 查询所有服务 ls /dubbo   # 查询指定服务调用 ls /dubbo/服务名(接口地址)/consumers   # 查询指定服务调用 ls /dubbo/服务名(接口地址)/providers 3. 返回值实例 返回值查看不是很明显

    2024年02月10日
    浏览(48)
  • sqlserver2012 跨服务器查询

    在 SQL Server 2012 中,跨服务器查询可以通过链接服务器来实现。以下是执行跨服务器查询的步骤: 创建链接服务器: 首先,你需要在 SQL Server 2012 上创建一个链接服务器对象。可以使用系统存储过程 sp_addlinkedserver 来完成这一操作。以下是创建链接服务器的示例语法:   在上

    2024年01月17日
    浏览(39)
  • MySQL跨服务器关联查询

    1. 首先确认服务器的Federated引擎是否开启  修改数据库的配制文件my.ini,(我的my.ini的路径为:D:ProgramDataMySQLMySQL Server 5.7/my.ini),将federated添加到my.ini文件中 CONNECTION还可以使用另外一种方式(需要注意的是SERVER , WRAPPER):

    2024年02月22日
    浏览(41)
  • SQL Server 跨库/服务器查询

    在同一服务器下的跨库查询较为简单,示例 进行跨服务器查询前提是在本地服务器上创建链接服务器。 1.2.1 创建链接服务器 方法一:利用系统存储过程 sp_addlinkedserver sp_addlinkedserver 创建链接服务器。 链接服务器提供对 OLE DB 数据源的分布式异类查询的访问权限。 使用 sp_a

    2024年02月09日
    浏览(43)
  • 自己电脑服务器地址的查询办法

    方法一:使用快捷指令:“WIN”+“R” 1.同时按住“ WIN” 和 “ R” 键,弹出以下界面,输入:cmd;  2.输入:ipconfig/all;  3.IPv4 地址: 10.102.128.83(首选),即为服务器地址。(温馨提示:断网/重启的情况下,服务器地址都可能会发生变化,需要远程连接的小伙伴,记得及时查

    2024年02月16日
    浏览(39)
  • 本机DNS服务器地址查询

    一.方法一 1、点击电脑左下角的开始图标,然后点击“运行”,输入cmd命令,点击确定。 2、在打开的命令运行窗口中,在下面输入ipconfig /all ,之后按回车键。 3、显示出本机的DNS服务器地址 二.方法二 1.在右下角的无线网络图标上,点击右键,点击“网络和Internet设置”

    2024年02月13日
    浏览(58)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包