架构设计内容分享(四十一):100万级连接,爱奇艺WebSocket网关如何架构

这篇具有很好参考价值的文章主要介绍了架构设计内容分享(四十一):100万级连接,爱奇艺WebSocket网关如何架构。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

100W级连接,爱奇艺WebSocket推送网关架构

1、旧方案存在的技术痛点

2、新方案的技术目标

3、新方案的技术选型

4、新方案的实现思路

4.1 系统架构

4.2 会话管理

4.3 监控与报警

5、新方案的性能压测

6、新方案的实际应用案例

7、总结


100W级连接,爱奇艺WebSocket推送网关架构

HTTP 协议属于一种无状态、基于 TCP 的请求/响应模式的协议,

HTTP 协议中,只有客户端能发起请求,由服务端进行回应。

虽然,在许多情况下,这种请求/响应的拉取模式能够满足需求。

然而,在特定情况下,例如实时通知(如 IM 中的离线消息推送最为典型)和消息推送等应用场景,需要将数据实时推到客户端,这就要求服务端具备主动推送数据的能力。

如何推呢?

传统的 Web 服务端推送技术,包括短轮询、长轮询等,虽然能在一定程度上解决问题,但也存在如时效性、资源浪费等问题。

HTML5 标准推出的 WebSocket 规范基本改变了这种状况,已经成为当前服务端消息推送技术的主流。

本文将分享爱奇艺在基于 Netty 实现 WebSocket 长连接实时推送网关过程中的实践经验和总结。

1、旧方案存在的技术痛点

爱奇艺号作为我们内容生态的关键部分,作为前端系统,对用户体验有着较高的要求,这直接影响着创作者的创作热情。

当前,爱奇艺号在多个业务场景中应用了 WebSocket 实时推送技术,包括

1)用户评论:实时地将评论消息推送至浏览器;

2)实名认证:在合同签署前,需要对用户进行实名认证,用户扫描二维码后进入第三方的认证页面,认证完成后异步通知浏览器认证状态;

3)活体识别:类似于实名认证,当活体识别完成后,异步将结果通知浏览器。

在实际业务开发中,我们发现 WebSocket 实时推送技术在使用过程中存在一些问题。

这些问题是

1)首先:WebSocket 技术栈不统一,既有基于 Netty 实现的,也有基于 Web 容器实现的,给开发和维护带来困难;

2)其次:WebSocket 实现分散在各个工程中,与业务系统紧密耦合,如果有其他业务需要集成 WebSocket,将面临重复开发的困境,浪费成本、效率低下;

3)第三:WebSocket 是有状态协议,客户端连接服务器时只与集群中一个节点连接,数据传输过程中也只与这一节点通信。WebSocket 集群需要解决会话共享的问题。如果只采用单节点部署,虽然可以避免这一问题,但无法水平扩展以支持更高的负载,存在单点故障风险;

4)最后:最后:缺乏监控与报警,虽然可以通过 Linux 的 Socket 连接数大致评估 WebSocket 长连接数,但数字并不准确,也无法得知用户数等具有业务含义的指标数据;无法与现有的微服务监控整合,实现统一监控和报警。

2、新方案的技术目标

如上所述,为了解决旧方案中存在的问题,我们需要实现统一的 WebSocket 长连接实时推送网关。

这套新的网关需要具备以下特点

1)集中实现长连接管理和推送能力:采用统一的技术栈,将长连接作为基础功能进行沉淀,以便于功能的迭代和维护;

2)与业务解耦:将业务逻辑与长连接通信分离,使得业务系统无需关心通信细节,避免了重复开发,节约了研发成本;

3)使用简单:提供 HTTP 推送通道,便于各种开发语言的接入。业务系统只需进行简单的调用,便可实现数据推送,从而提高研发效率;

4)分布式架构:构建多节点的集群,支持水平扩展以应对业务增长带来的挑战;节点故障不会影响服务的整体可用性,确保高可靠性;

5)多端消息同步:允许用户使用多个浏览器或标签页同时登录在线,确保消息同步发送;

6)多维度监控与报警:将自定义监控指标与现有的微服务监控系统连接,当出现问题时可以及时报警,保证服务的稳定性。

3、新方案的技术选型

在众多的 WebSocket 实现中,经过对性能、扩展性、社区支持等各方面的权衡,我们最终确定了 Netty。

Netty 是一个高性能、事件驱动、异步非阻塞的网络通信框架,已在许多知名的开源项目中得到广泛应用。

WebSocket 具有状态特性,这与 HTTP 的无状态特性不同,因此无法像 HTTP 一样通过集群方式实现负载均衡。在长连接建立后,它会与服务端的某个节点保持会话,所以在集群环境下,要确定会话属于哪个节点会有些困难。

解决以上问题一般有两种技术方案

1)一种是使用类似于微服务注册中心的技术来维护全局的会话映射关系;

2)另一种是使用事件广播,由各节点自行判断是否持有会话。这两种方案的对比如下表所示。

WebSocket集群方案

方案 优点 缺点
注册中心 会话映射关系清晰,集群规模较大时更合适 实现复杂,强依赖注册中心,有额外运维成本
事件广播 实现简单更加轻量 节点较多时,所有节点均被广播,资源浪费

考虑到实现成本和集群规模,我们选择了轻量级的事件广播方案。

实现广播的方法有多种,如基于 RocketMQ 的消息广播、基于 Redis 的 Publish/Subscribe、基于 ZooKeeper 的通知等。

这些方案的优缺点对比如下表所示。在考虑到吞吐量、实时性、持久化和实现难易程度等因素后,我们最终选择了 RocketMQ。

广播的实现方案对比

方案 优点 缺点
基于RocketMQ 吞吐量高、高可用、保证可靠 实时性不如Redis
基于Redis 实时性高、实现简单 不保证可靠
基于ZooKeeper 实现简单 写入性能较差,不适合频繁写入场景

4、新方案的实现思路

4.1 系统架构

网关的整体架构如下图所示架构设计内容分享(四十一):100万级连接,爱奇艺WebSocket网关如何架构,架构设计 内容分享,API网关 内容分享,websocket,架构,网络协议

网关的整体流程如下

1)客户端与网关的任何一个节点建立长连接,节点会将其加入到内存中的长连接队列。客户端会定期向服务端发送心跳消息,若超过设定时间还未收到心跳,则认为客户端与服务端的长连接已断开,服务端会关闭连接,清理内存中的会话。

2)当业务系统需要向客户端推送数据时,通过网关提供的HTTP接口将数据发送至网关。

3)在收到推送请求后,网关会将消息写入RocketMQ

4)网关作为消费者,以广播模式消费消息,所有节点都能收到消息。

5)节点在收到消息后会判断推送的消息目标是否在其内存中维护的长连接队列里,如果存在则通过长连接推送数据,否则直接忽略。

网关通过多节点构成集群,每个节点负责一部分长连接,实现负载均衡。当面临大量连接时,也可以通过增加节点来分散压力,实现水平扩展。

同时,当节点出现故障时,客户端会尝试与其他节点重新建立长连接,确保服务的整体可用性。

4.2 会话管理

在 WebSocket 长连接建立后,会话信息会保存在各个节点的内存中。

SessionManager 组件负责管理会话,它内部使用哈希表来维护 UID 与 UserSession 的关联。

UserSession 表示用户层面的会话,一个用户可能同时拥有多个长连接,因此 UserSession 内部同样使用哈希表来维护 Channel 与 ChannelSession 的关联。

为了防止用户无休止地创建长连接,当 UserSession 内部的 ChannelSession 超过一定数量时,它会关闭最早建立的 ChannelSession,以减少服务器资源的占用。

SessionManager、UserSession、ChannelSession 的关系如下图所示。

SessionManager组件架构设计内容分享(四十一):100万级连接,爱奇艺WebSocket网关如何架构,架构设计 内容分享,API网关 内容分享,websocket,架构,网络协议

4.3 监控与报警

为了掌握集群中建立的长连接数量和包含的用户数量,网关提供了基本的监控和报警功能。

网关接入了 Micrometer (https://www.oschina.net/p/micrometer?hmsr=aladdin1e1),将连接数和用户数作为自定义指标暴露,供 Prometheus (https://prometheus.io/)进行采集,从而实现了与现有的微服务监控系统打通。

Grafana (https://grafana.com/)中,可以方便地查看连接数、用户数、JVM、CPU、内存等指标数据,了解网关当前的服务能力和压力。报警规则也可以在 Grafana 中配置,当数据异常时触发奇信(内部报警平台)报警。

5、新方案的性能压测

压测准备

  • 1)选择两台配置为 4 核 16G 的虚拟机,分别作为服务器和客户端;

  • 2)在压力测试时,为网关开放 20 个端口,同时启动 20 个客户端

  • 3)每个客户端使用一个服务器端口建立 5 万个连接,从而可以同时创建百万个连接。

连接数(百万级)与内存使用情况如下图所示

[root@sy-dev-1de4f0c2a target]# ss -s ; free -h
Total: 1002168 (kernel 1002250)
TCP: 1002047 (estab 1002015, closed 4, orphaned 0, synrecv 0, timewait 4/0), ports 0
Transport Total   IP      IPv6
*         1002250 -       -
RAW       0       0       0
UDP       4       2       2
TCP       1002043 1002041 2
INET      1002047 1002043 4
FRAG      0       0       0

          total   used    free  shared  buff/cache  available
Mem:      15G     4.5G    4.5G  232K    6.5G        8.2G
Swap:     4.0G    14M     4.0G

给百万个长连接同时发送一条消息,采用单线程发送,服务器发送完成的平均耗时在10s左右,如下图所示。

服务器推送耗时

2021-01-25 20:51:02.614 INFO [mp-tcp-gateway,54d52e7e4240b65a,54d52e7e4240b65a,false]
[600ebeb62@2559f4507adee3b316c571/507adee3b316c571] 89558 --- [nio-8080-exec-6]
c.i.m.t.g.controller.NotifyController: [] [UID:] send message ...
2021-01-25 20:51:11.973 INF0 [mp-tcp-gateway,54d52e7e4240b65a,54d52e7e4240b65a,false]
[1600ebeb62@2559f4507adee3b316c571/507adee3b316c571] 89558 --- [nio-8080-exec-6]
c.i.m.t.g.controller.NotifyController: [] [UID:] send message to 1001174 channels

一般同一用户同时建立的长连接都在个位数。

以10个长连接为例,在并发数600、持续时间120s条件下压测,推送接口的TPS大约在1600+,如下图所示。

长连接10、并发600、持续时间120s的压测数据

架构设计内容分享(四十一):100万级连接,爱奇艺WebSocket网关如何架构,架构设计 内容分享,API网关 内容分享,websocket,架构,网络协议

当前的性能指标已满足我们的实际业务场景,可支持未来的业务增长。

6、新方案的实际应用案例

为了更形象地展示优化效果,文章最后,我们以封面图添加滤镜效果为例,介绍了一个爱奇艺号采用新 WebSocket 网关方案的实例。

爱奇艺号自媒体在发布视频时,可以选择为封面图添加滤镜效果,引导用户提供更高质量的封面。

当用户选择封面图后,会提交一个异步的后台处理任务。

一旦异步任务完成,通过 WebSocket 将不同滤镜效果处理后的图片返回给浏览器,业务场景如下图所示。

架构设计内容分享(四十一):100万级连接,爱奇艺WebSocket网关如何架构,架构设计 内容分享,API网关 内容分享,websocket,架构,网络协议

从研发效率的角度来看,如果在业务系统中集成 WebSocket,至少需要 1-2 天的开发时间。

而直接使用新的 WebSocket 网关的推送功能,只需简单的接口调用就能实现数据推送,将开发时间降低到分钟级别,大幅提高研发效率。

从运维成本的角度来看,业务系统不再包含与业务逻辑无关的通信细节,代码的可维护性更强,系统架构变得更简单,运维成本大幅降低。

7、总结

WebSocket 是实现服务端推送的主流技术,适当使用可以有效提升系统响应能力,增强用户体验。

通过 WebSocket 长连接网关,可以迅速为系统增加数据推送能力,有效降低运维成本,提高开发效率。

长连接网关的价值在于

  • 1)它封装了 WebSocket 通信细节,与业务系统解耦,使得长连接网关与业务系统可独立优化迭代,避免重复开发,便于开发与维护;

  • 2)网关提供了简单易用的 HTTP 推送通道,支持多种开发语言接入,便于系统集成和使用;

  • 3)网关采用了分布式架构,可以实现服务的水平扩容、负载均衡与高可用;

  • 4)网关集成了监控与报警,当系统异常时能及时预警,确保服务的健康和稳定。

目前,新的 WebSocket 长连接实时网关已在爱奇艺号图片滤镜结果通知、MCN 电子签章等多个业务场景中得到应用。

未来还有许多方面需要探索,例如消息的重发与 ACK、WebSocket 二进制数据的支持、多租户的支持等。文章来源地址https://www.toymoban.com/news/detail-817456.html

到了这里,关于架构设计内容分享(四十一):100万级连接,爱奇艺WebSocket网关如何架构的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 架构设计内容分享(二百零一):什么是数据仓库的架构?企业数据仓库架构如何建设?

    目录 企业数据仓库架构 单层架构(直连) 两层数据架构(数据集市层) 三层架构(OLAP) 数据仓库数据库 1、采用传统关系型数据库,或经过功能扩展的MPP数据库 2、大数据平台架构:Hadoop+Hive 采集、收集、清洗和转换工具(ETL) 1、抽取 2、清洗 3、转化和加载 前端应用工具

    2024年02月21日
    浏览(49)
  • 架构设计内容分享(一百三十六):Spring AI 项目简介

    目录 1、概览 2、Spring AI 的主要概念 2.1、高级的 Prompt 和 AiResponse 3、Spring AI 入门 4、Spring AI 实践 4.1、在 Spring Boot 中注入 AiClient 4.2、使用 PromptTemplate 配置查询 5、Error 处理 6、总结 Spring 通过 Spring AI 项目正式启用了 AI(人工智能)生成提示功能。本文将带你了解如何在 Spri

    2024年02月22日
    浏览(49)
  • 架构设计内容分享(一百九十五):揭秘微服务容错处理技术

    目录 容错处理 01 超时控制 02 熔断机制 03 重试机制 04 负载均衡与故障转移 05 服务降级 微服务治理涉及多个方面,包括服务注册与发现、负载均衡、容错处理、服务配置管理等,这些技术共同确保微服务架构的稳定运行。 在微服务架构中,容错处理技术是确保系统高可用性

    2024年02月21日
    浏览(62)
  • 架构设计内容分享(一百三十三):ES+Redis+MySQL高可用,如何试实现?

    目录 背景: ES 高可用方案: ES 双中心主备集群架构 ES 流量隔离三集群架构 ES 集群深度优化提升 会员 Redis 缓存方案: ES 近一秒延时导致的 Redis 缓存数据不一致问题的解决方案 Redis 双中心多集群架构 高可用会员主库方案: MySQL 双中心 Partition 集群方案 会员主库平滑迁移方

    2024年02月22日
    浏览(50)
  • AIGC内容分享(四十三):AIGC黑马: Comfyui快捷操作整理

    目录 Ctrl加回车 Ctrl加shift加回车 Ctrl加S Ctrl加D Ctrl加O Ctrl加A Alt加C Ctrl加M Ctrl加B Ctrl加左键 Shift 首先,我们要介绍的是Ctrl加回车的神奇组合。这个组合键的作用是执行节点生成图。 一旦按下,你的生成请求将进入队列,等待处理。 而Ctrl加shift加回车则更为强大,它能将你最

    2024年04月17日
    浏览(40)
  • AIGC内容分享(四十):生成式人工智能(AIGC)应用进展浅析

    目录 0   引言 1   以ChatGPT为代表的AIGC发展现状 1.1  国外AIGC应用发展现状 1.2  国内AIGC应用发展现状 2   AIGC的技术架构 (1)数据层 (2)算力基础设施层 (3)算法及大模型层 (4)AIGC能力层 (5)AIGC功能层 (6)AIGC应用层 3   AIGC面临的机遇与挑战 3.1  AIGC带来的机遇 (

    2024年02月19日
    浏览(60)
  • AIGC内容分享(四十五):AIGC绘画 | OutfitAnyone在线试衣&AnimateAnyone你的科目三

    ⚡  AIGC绘画 | outfit anyone 虚拟试衣 animate anyone 图像动画化 本文主要介绍2篇最新研究,outfit anyone 虚拟试衣 和 animate anyone 图像动画化,在在线购物试衣和动画制作上迈出了一小步! An Asian girl, smiling, dancing in central park, wearing long shirt and long jeans. 先选择衣服和模特进行试衣

    2024年01月21日
    浏览(54)
  • AIGC内容分享(五十一):音韵如诗如斯:AIGC音乐创新工具之Suno

    目录 Suno是谁? 先听为快 如何使用Suno 歌曲的结构及如何使用Metatags Suno收费吗? Suno的模型 朋友与对手 结语 AI生成音乐是一种创新的音乐创作方式,通过人工智能技术,使任何人都能够轻松地创作出引人入胜的音乐作品。与传统的音乐创作方式不同,AI生成音乐不要求用户具

    2024年04月15日
    浏览(57)
  • Flink 内容分享(二十一):通过Flink CDC一键整库同步MongoDB到Paimon

    目录 导言 Paimon CDC Demo 说明 Demo 准备 Demo 开始 总结 MongoDB 是一个比较成熟的文档数据库,在业务场景中,通常需要采集 MongoDB 的数据到数据仓库或数据湖中,面向分析场景使用。 Flink MongoDB CDC 是 Flink CDC 社区提供的一个用于捕获变更数据(Change Data Capturing)的 Flink 连接器,

    2024年01月20日
    浏览(47)
  • 数据仓库内容分享(十七):Doris实践分享:它做了哪些架构优化和场景优化?

    Apache Doris是一款开源的实时数据仓库,由百度旗下的技术团队开发。它具有高性能、高可靠性、易扩展等特点,能够满足大规模数据实时查询和分析的需求。目前,Apache Doris已经成为国内外众多企业的首选数据仓库解决方案,包括阿里巴巴、美团、京东、滴滴等知名企业。

    2024年02月21日
    浏览(55)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包