一次网络请求中的流量分发过程 | 京东云技术团队

这篇具有很好参考价值的文章主要介绍了一次网络请求中的流量分发过程 | 京东云技术团队。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1. 摘要

现代的企业级或互联网系统往往需要进行流量规划,达成透明多级分流。流量从客户端发出到服务端处理这个过程里,流经的与功能无关的技术部件有(达成“透明分流”这个目标所采用的工具与手段):客户端缓存、域名服务器、传输链路、内容分发网络、负载均衡器、服务端缓存。透明分流带来的价值:高可用架构、高并发。

本文主要介绍流量规划中的网络请求过程过程及:

第一部分:对一次网络请求的过程作简要介绍,然后介绍自己目前了解到的前端网络组件搭配方式、后端网络组件搭配方式

第二部分:介绍LB负载系统 、vip与rip 的映射关系

第三部分:介绍内网域名解析及公网域名解析

2. 网络请求过程

通用请求过程及请求过程名词解释来源于: https://cf.jd.com/pages/viewpage.action?pageId=766717554

2.1 通用请求过程

一次网络请求中的流量分发过程 | 京东云技术团队

2.2 请求过程名词解释

rip: 真实ip,指虚拟机或容器ip

vip: 虚拟ip,不可跨机房,online申请,负载、自动探活等功能,分公网vip与内网vip

内网: 专指机房内部,严格的防火墙策略,内网之间无防火墙,可申请内网vip 提供负载均衡供应用间互访;内网≠办公网

办公网: 办公区个人电脑网络,通过反向代理访问内网机房应用

公网: 互联网用户网络,通过DNS + 公网vip 访问内网机房应用

备注(自己理解 ,有可能理解不正确):

公网vip 即公网虚拟ip,虚拟不是说公网上找不到这个ip,虚拟是相对于服务器ip(rip)来说的,vip不直接承担业务逻辑

公网VIP在公网真实存在、内网vip在公司内网真实存在

2.3 前端网络组件搭配方式

引用链接: http://jdthelp.jdos.jd.com/help/bestpractice/multi-web-demo.html

外网访问需满足如下图架构:VIP后面挂 jen-nginx 来代理前端的主应用,jen代理后面挂静态应用1~N

一次网络请求中的流量分发过程 | 京东云技术团队

测试环境:多个前端项目可能存在下列架构方式: 域名 -> VIP -> JEN代理(根据不同域名访问不同文件夹下的文件)-> 静态应用

一次网络请求中的流量分发过程 | 京东云技术团队

2.4 后端网络组件搭配方式

后端应用从调用方式来说分为两种 (http调用 JSF调用)

前端应用 ---(协议http或者https)---后端前置应用 --(协议 jsf私有协议)----JSF微服务应用

后端前置应用 -----jsf微服务应用,之间的负载由消费者来决定,所以一般无须关注这两者之间的负载。

方式1: vip下的负载(LB负载系统) + Nginx

一次网络请求中的流量分发过程 | 京东云技术团队

方式1备注:

VIP下可以直接挂载服务器,这里Nginx不是必须的,除非你需要 nginx 提供的功能(除了负载)。

如果你仅仅是用nginx来做负载,那么请去除nginx组件,没有必要加一这个组件,集团的vip的LB已经包含负载功能,不要加重系统的复杂性。

方式2:容器K8S层面的负载

vip提供的LB:

vip提供的LB下是直接挂机器IP,其中多个ip之间没有分组的概念,并且没有探活机制

每次上线需要摘掉负载下的机器,上线完成后,再把机器挂上去

行云部署-高级功能-负载均衡 ( 容器k8s层面的负载 ) 优点:

有机器分组的概念: 按照机房或者 机房+机房集群的维度分组后,每个分组申请自己的负载均衡。

具有探活机制: 设置健康探活路径,针对负载进行探活。每次上线无须摘掉负载下的机器。

一次网络请求中的流量分发过程 | 京东云技术团队

3. LB负载系统简介

其实吧,vip本身就是个ip,没有多少真正的价值。vip可以理解为是集团LB负载均衡的入口ip,而LB负载均衡才是真正的分流组件。

vip 是系统自动分配复用的(vip资源珍贵,系统分配的vip有可能复用),LB负载均衡有两种分流规则:

1. 分流规则的实现方式

分流规则两种实现方式,默认规则、专用规则。

默认规则:面向域名,流量接入到后端集群。此为模板,可选择应用范围。

专用规则:面向VIP,可为某VIP独立指定后端集群。 其中专用规则优先级高。

默认规则、专用规则两者关系:

共同点 不同点
默认规则面向域名的一个端口有且只有一条分流规则 专用规则面向VIP的一个端口有且只有一条分流规则 默认规则必须存在; 专用规则优先级高; 专用规则无设置时,继承默认规则指向的后端

3.1 默认规则: 默认分流规则:域名+端口+集群,分流规则唯一性

备注: 系统分配的vip有可能复用

在默认规则中, 假设系统分配的vip都是 111.111.111

域名A (www.a.jdcom)+ 域名的一个端口port(80) 通过配置的 vip (111.111.111) 将请求转发到 后端集群A。

域名B (www.b.jd.com) + 域名的一个端口port(443) 通过配置的 vip (111.111.111) 将请求转发到 后端集群B。

3.2 专用规则: 面向vip的一个端口有且只有1条分流规则

备注:(猜测 不确定):专用规则中的vip可能不是复用的。

一次网络请求中的流量分发过程 | 京东云技术团队

备注:一个VIP 也可以用多个端口,比如HTTP 是80和443,TCP是2000-2014

4. vip 和 rip的映射关系 (重要 非常重要)

一对一:一个机房,一个vip 对应一个rip

一对多:一个机房,一个vip 对应多个rip

多对多: 多个机房,每个机房的vip对应 其机房下的多个rip

4.1 vip下挂载rip的约定

  1. vip(机房入口)是机房维度的,当然如果说vip出问题了,一般情况下就是机房出问题了,这个出现的几率会比较小。

  2. vip是机房维度的,但是vip下挂哪些机器 是由研发人员决定的,因此vip下的机器是有可能跨机房的。但是研发人员应该 根据机房视图( 机器的机房所在地 )来对应此所在地的机房入口( vip ),应尽可能遵守 这个规定。

4.2 为什么要遵守这个约定呢?

1. 尽可能缩小问题影响的范围: 如果你VIP下的机器跨机房,如果Vip出问题,导致多个机房的机器都无法接收流量

2. 尽可能匹配断网演练的目标: 机房断网演练,估计VIP 也不会让流量进入到下一层,如果你vip下挂载跨机房的rip,直接让 机房的断网演练,变成了 跨机房演练(因为多个机房的机器不会接收到流量)

5. 内网域名解析(机房视图与机房入口说明)

  1. 内网域名解析时: vip是根据 机房入口(目前有 廊坊vip 马驹桥vip 印尼vip) 走的。

  2. 每个视图必须解析。 廊坊视图—>廊坊VIP,马驹桥视图—>马驹桥VIP,其他的视图—>选择马驹桥或者廊坊VIP(必须指向线上可用VIP)

  3. 为优化机房内访问,优先选择本机房VIP。

  4. 考虑到旧的机房已下架或者正在下架,旧机房优先选择廊坊、马驹桥VIP,国外应用优先选择国外的VIP。

6. 公网域名解析

pop入口 在计算机网络中,pop表示入网点(pop),pop位于网络企业的边缘外侧,是访问企业网络内部的进入点,外界提供的服务通过pop进入,这些服务包括Internet接入,广域连接以及电话服务(PSTN)。

pop入口 :新应用上线时应该申请入网点(pop)处的vip。

域名解析:

不需要VIP: 直接填写自己的公网IP

需要VIP:

  1. 请提前申请POP入口的VIP

  2. 解析前请线下绑定host测试VIP业务可用性

  3. 按照运营商对应的POP入口VIP进行解析

7. 总结

简单的请求过程最实用,实用的请求过程最简单。

用简单实用的搭配方式满足流量分发,不要随意搭配,增加系统的复杂性。

作者:京东保险 张江涛

来源:京东云开发者文章来源地址https://www.toymoban.com/news/detail-468126.html

到了这里,关于一次网络请求中的流量分发过程 | 京东云技术团队的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • springboot升级过程中踩坑定位分析记录 | 京东云技术团队

    作者:京东零售 李文龙 “ 俗话说:为了修复一个小bug而引入了一个更大bug ” 因所负责的系统使用的spring框架版本5.1.5.RELEASE在线上出过一个偶发的小事故,最后定位为spring-context中的一个bug导致的。 为了修复此bug进行了spring版本的升级,最终定的版本为收银台团队使用的版

    2024年02月01日
    浏览(44)
  • 云计算 - 内容分发网络CDN技术与应用全解

    在这篇全面解析CDN的技术文章中,我们深入探讨了CDN的基础概念、核心架构、多样化产品和在不同行业中的应用案例。文章揭示了CDN技术如何优化内容分发,提升用户体验,并展望了CDN面临的挑战和未来发展趋势。 关注【TechLeadCloud】,分享互联网架构、云服务技术的全维度

    2024年03月11日
    浏览(47)
  • 私域流量分发渠道的三个重要选择原则

    私域流量在当今的营销领域扮演着至关重要的角色。与传统的广告推广相比,私域流量更加注重与用户的关系建立和维护,通过精细化的营销策略实现更高的转化率和用户忠诚度。在选择私域流量分发渠道时,有三个重要的选择原则需要考虑。 首先,用户活跃度是选择渠道的

    2024年02月12日
    浏览(42)
  • 【PyTorch】记一次卷积神经网络优化过程

    在深度学习的世界中,图像分类任务是一个经典的问题,它涉及到识别给定图像中的对象类别。CIFAR-10数据集是一个常用的基准数据集,包含了10个类别的60000张32x32彩色图像。在上一篇博客中,我们已经探讨如何使用PyTorch框架创建一个简单的卷积神经网络(CNN)来对CIFAR-10数

    2024年01月24日
    浏览(47)
  • 记一次uni-app中调用java代码中的方法全过程

    一、 开发环境 • JAVA环境 jdk1.8 • AndroidStudio 下载地址:Android Studio官网 : https://developer.android.google.cn/studio/index.html • App离线SDK下载 请下载2.9.8+版本的android平台SDK. https://nativesupport.dcloud.net.cn/AppDocs/download/android.html# • HBuilderX下载 官方下载地址: https://www.dcloud.io/hbuilderx.ht

    2024年02月12日
    浏览(64)
  • 这是一篇ChatGPT写的博客:vue3&js坑——在循环中发起网络请求,返回结果只有最后一次网络请求的数据

    在开发过程中,本想记录遇到的一个bug,自己写完博客之后,突发奇想,请 ChatGPT 帮我写了一篇同样内容的博客。 我需要在循环中发起网络请求,每次循环都把网络请求返回来的数据存入前端数据库RxDB中。我使用forEach方法,来实现: 上述代码是一个3次循环,每次循环都向

    2024年02月03日
    浏览(42)
  • 以用户角度理解网络-静态IP和动态IP-DNS域名系统-网关- DHCP协议- 一次简单的网络请求

    本机的IP地址 子网掩码 网关的IP地址 DNS的IP地址 静态IP指的是计算机每次开机都分到相同的IP地址,动态IP指的是计算机开机后自动地分配一个IP地址,不用人为设定。 动态IP所使用的协议就是DHCP协议。 TCP/IP提供了通过IP地址来连接到设备的功能,但对用户来讲,记住某台设备

    2024年02月02日
    浏览(46)
  • 从输入URL到页面展示过程:深入解析网络请求与渲染

    在代码中,我们使用了JavaScript的fetch API来发起网络请求,并将服务器响应转换为文本输出到控制台。 在发送网络请求前,浏览器首先需要将URL中的域名解析成对应的IP地址。这个过程称为DNS解析。下面是一个简化版的DNS解析示例代码: 上述代码中,我们使用Node.js的 dns 模块

    2024年02月09日
    浏览(36)
  • 过程控制系统中的模块技术MTP

            在过程自动化行业中,模块化设备概念近年来越来越受欢迎。 其中最热门的是MTP。 MTP 称为模块类型封装,它是 过程工业自动化技术用户协会(NAMUR)提出的过程自动化行业的模块化标准,通过这种模型,开发工作的重点从以设备为中心转移到以模块为中心,从而

    2023年04月09日
    浏览(32)
  • Flutter中的http网络请求

    } 以上代码中httpClient.getUrl(uri)方法即是根据uri发起get请求,post请求用法和get请求只是调用方法不同,包括参数设置等其他用法都一样。请求抓包结果如下: get请求 post请求 请求成功之后以上代码输出结果如下: I/flutter (19183): 请求成功 I/flutter (19183): responseBody={“resultcode”

    2024年04月16日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包