传输优化是非谈

这篇具有很好参考价值的文章主要介绍了传输优化是非谈。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

曾倾向于优化异常流的做法竟然最保守,异常是小概率事件,处理它只保障可用性,而不是优化性能,恰恰需要加速大概率的正常流处理,数据中心传输优化投入大量精力在丢包检测和重传上的思路需重估。

为 1% 的可能性而增加的 if 判断,将给 99% 的逻辑增加指令周期,对数据中心这种主机处理时延占比很大的场景影响巨大。我为什么一开始极力为数据中心传输增加 sack,后来又为此而忏悔,原因正在于此。

其实丢包并不可怕,也不怕丢包检测和重传,应该惧怕的是 TCP 那个 AIMD 中的 cwnd = cwnd / 2,即过激反应。

一毫克毒药就能毒死人,但没必要为避开毒药,每顿饭都毒检,我们需要解药。但这似乎又和 “别让拥塞发生,而不是拥塞了之后去恢复” 相违背,正确的做法是减少对异常的过激反应,集中优化正常流,我们既不能每顿饭都毒检,也不要找解药,但异常必须反应,严重后果可能真的就过激,此时需要依靠自身免疫。这种方式的极端就是过度免疫的 BBR。

BBR 属大开合算法,也就是王八拳。BBR 高吞吐依托的大开合招式有 “maxbw-filter 足够持久,乘性 probe 足够频,cwnd gain 足够大”,这些不涉及精细控制,几乎无需任何 if 条件判断,全属上述 “正常流下的优化”,但 BBR 有些过度免疫,以至于它几乎不对任何 event 做哪怕合理的反应。BBR2 认识到这一点,引入对丢包的反应,但吞吐也降低了。所以 BBRv1 并非一个合适的算法,大摆拳固然厉害,却上不了台面。

BBRv2 稍回归,你会发现,只要回归了正常,就再也看不到 BBRv1 那种秒杀的效果。

当把所有条件都加上,效果就差不多了。经常有人说 UDP 比 TCP 快得多,我说你给 UDP 加上可靠和保序后看看还剩多少优势。最终你会发现绕了一圈就是拆东墙补西墙,怎么都不行。

所谓优化,是一个把约束换成假设的过程,但假设在多大程度上意味着承诺,取决于你有多少信息量。

以丢包重传为例,总有人比较 FEC 和 ARQ,但其实两者是等价的,不同手段而已,FEC 用空间换时间,ARQ 用时间换空间,但如果没有精确信息区分拥塞丢包 or 随机丢包,两者都换不成。如果很确定是随机丢包,则 FEC 则用冗余的带宽代价换来了时间不浪费,而 ARQ 则花费一个 RTT 重传后 restore cwnd 而不浪费带宽。两者都 OK。但如果拥塞丢包误判为随机丢包,FEC 和 ARQ 均加重拥塞。问题的关键并不在 FEC 和 ARQ 哪个更好,而是你如何区别丢包的原因。

如果被承诺一条完全不丢包的链路,传输协议就可以卸掉丢包检测和重传逻辑,这将极大优化性能,这意味着端到端优化不如优化下层来得划算,即使链路只是承诺不会轻易丢包,传输层也可用 unlikely 加速异常判断。

越下层的承诺收益越大,并不是简单将上层问题推到了下层:
传输优化是非谈

只有 A,B,C 同时丢包,才等价于一次 S-D 端到端丢包,而底层链路丢包是 “or” 关系,全部丢包的概率极低。
这意味着提供好的底层支撑要远好于提供好的端到端算法。

回到开头点个题,有好的底层支撑,上层才能更好地假设,将时间片更多用在正常流,而非异常流处理。

最高效的优化就是提供一条好链路,从而可以依赖这条链路的承诺而做出假设。

浙江温州皮鞋湿,下雨进水不会胖。文章来源地址https://www.toymoban.com/news/detail-471074.html

到了这里,关于传输优化是非谈的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • C语言中到底是非0表示真,还是1表示真?

    我是荔园微风,作为一名在IT界整整25年的老兵,今天我们来重点说一说C语言中到底是非0表示真,还是1表示真?这就是说到C语言中的两个常见运算形式,即关系运算符和逻辑运算符。 为照顾急性子的同学,先直接说结论: 关系运算符和逻辑运算符用“真”和“假”表示运算

    2024年02月04日
    浏览(59)
  • 小说情感倾向分析工具

     目前有很多中英文小说情感倾向工具,以下是一些常用的工具: 情感分析工具:可以对文本进行情感识别,根据文本中包含的情感信息,将其转化成情感值,通常有积极情感值、消极情感值、中性情感值等,常用的工具有情感词典和机器学习模型。 情感标签工具:可以通过

    2023年04月18日
    浏览(34)
  • Nginx静态资源传输优化,文件高效传输,事半功倍

    Nginx可以作为静态资源服务器,比如我们访问 192.168.110.97:80 ,熟悉的nginx欢迎界面,这其实也是nginx为我们提供的一个静态文件: index.html 。 既然是静态资源,那我们能否优化一下传输效率呢? 1)sendfile文件高效传输模式。如何开启?它的原理到底是什么呢? 2)数据量大,

    2024年02月03日
    浏览(48)
  • 倾向得分匹配(PSM)的原理以及应用

    该文章主要介绍倾向得分匹配(PSM, Propensity Score Matching)方法的原理以及实现。这是一种理论稍微复杂、但实现较为容易的分析方法,适合非算法同学的使用。可用于(基于观察数据的)AB实验、增量模型搭建等领域。 文章主要分为四部分:前置知识(因果推断)介绍、倾向

    2024年02月06日
    浏览(37)
  • 久菜盒子:stata-广义倾向得分匹配

    广义倾向得分匹配(Generalized Propensity Score Matching,GPSM)是一种常用的处理非随机样本选择偏差的方法。以下是GPSM在Stata中的一个示例代码: 导入数据集,假设要处理的变量是y和treat: use\\\"data.dta\\\", clear 生成倾向得分,假设使用logistic回归模型生成倾向得分: logistic treat x1 x2

    2024年02月06日
    浏览(53)
  • 倾向得分匹配只看这篇就够了

    倾向得分匹配模型是由Rosenbaum和Rubin在1983年提出的,首次运用在生物医药领域,后来被广泛运用在药物治疗、计量研究、政策实施评价等领域。倾向得分匹配模型主要用来解决非处理因素(干扰因素)的偏差。 ‍1、基本原理——反事实推断 基本原理是 :根据处理组的特征,

    2024年02月05日
    浏览(47)
  • 代码+视频R语言3组以上倾向评分逆概率加权(IPTW)

    基于 PS (倾向评分)的IPTW 法首先由Rosenbaum作为一种以模型为基础的直接标准化法提出,属于边际结构模型。简单来说,就是把许多协变量和混杂因素打包成一个概率并进行加权,这样的话,我只用计算它的权重就可以了,方便了许多。那么,如何将多个协变量的影响用一

    2024年01月18日
    浏览(32)
  • 网站优化之开启tomcat的gzip压缩传输特性

    本文于2015年底完成,发布在个人博客网站上。 考虑个人博客因某种原因无法修复,于是在博客园安家,之前发布的文章逐步搬迁过来。 基于tomcat 8.0.x版本的文档,可以了解到tomcat支持基于 gzip 实现的压缩返回数据的特性。 最简单的配置样例如下: 关于启用gzip压缩传输特性

    2024年02月03日
    浏览(40)
  • 【NLP教程】用python调用百度AI开放平台进行情感倾向分析

    目录 一、背景 二、操作步骤 2.1 创建应用 2.2 获取token 2.3 情感倾向分析 三、其他情感分析 四、讲解视频 Hi,大家!我是 @马哥python说 ,一名10年程序猿。 今天我来演示一下:通过百度AI开放平台,利用python调用百度接口进行中文情感倾向分析,并得出情感极性分为积极、消

    2023年04月25日
    浏览(49)
  • Hive连接异常:无法通过JDBC连接打开客户端传输(JDBC Uri: jdbc:hive2:// 大数据)

    Hive连接异常:无法通过JDBC连接打开客户端传输(JDBC Uri: jdbc:hive2:// 大数据) 在大数据领域中,Hive是一个常用的数据仓库解决方案,可以用于处理和分析大规模的结构化数据。然而,在使用Hive时,我们有时会遇到一些连接问题。其中之一就是\\\"Hive连接报错:Could not open clien

    2024年02月08日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包