当前分布式存储、HPC(High Performance Computing)高性能计算、AI人工智能等场景采用RoCEv2(RDMA over Converged Ethernet version 2)协议来降低CPU的处理和延迟,提升应用的性能。这些分布式高性能应用的特点是“多打一”的Incast流量模型。对于以太交换机,Incast流量易造成交换机内部队列缓存的瞬时突发拥塞甚至丢包,带来应用时延的增加和吞吐的下降,从而损害分布式应用的性能。
智能无损网络是通过AI Ready的硬件架构及AI智能无损算法,为AI人工智能、存储、HPC高性能计算等应用场景提供提供“无丢包、低时延、高吞吐”的网络环境,加速计算和存储的效率,为未来的DC数据中心构建统一融合的网络。
智能无损网络有哪些优势?
2016年人机围棋大战Alpha Go的胜利向全世界强势宣告,以AI为代表的第四次工业革命来临了。越来越多的企业将AI视为数字化转型的下一站,AI时代数据中心的使命正在从聚焦业务快速发放向聚焦数据高效处理进行转变。计算、存储、网络是数据中心的三大要素,三个要素互相促进,共同发展。随着人工智能应用数据的急速增加,GPU(General Process Unit,通用处理器)/AI芯片异构计算得到了蓬勃发展,近五年计算性能提升了600倍;在数据存储领域,固态硬盘相比机械硬盘的访问性能提升了100倍,NVMe(Non-Volatile Memory Express,非易失性高速传输总线)又相比固态硬盘的性能提升了100倍......计算和存储的快速发展,都对数据中心网络提出了新的要求:无丢包、高吞吐、低时延,智能无损网络应运而生。
智能无损网络解决方案愿景如下:
-
实现全以太融合网络
智能无损网络目标是借助RoCEv2技术实现前端业务网络、后端计算网络、存储网络三网Ethernet化统一技术栈统一管理,解决传统数据中心网络IP、FC时代一个数据中心多种技术多张网络的问题,同时满足数据中心存储网络低时延需求。
-
全以太融合网络
-
为承载的应用加速
智能无损网络目标提供CNN、DQN等智能无损算法,解决网络拥塞,将应用卸载到网络,实现计算和存储等应用加速。
-
实现网络自动驾驶
智能无损网络目标通过CNN、DQN等智能无损算法,实现网络参数自动学习,网络自主调整,以达到零丢包、最高吞吐、最低时延的效果。
智能无损网络方案的关键技术
流量控制
流量控制技术是保障网络零丢包的基础技术。在数据通信中,流量控制提供了一种机制,此机制用于解决发送端与接收端的速率匹配问题,做到无丢包。
-
PFC(Priority-based Flow Control,基于优先级的流量控制):是目前应用最广泛的流量控制技术。对于PFC控制的队列,当队列在下游设备发生拥塞时,上游设备会停止发送该队列的流量,从而实现报文的零丢包传输。
-
PFC storm control:PFC风暴控制,主要解决由PFC风暴引起网络断流的问题,也称为PFC死锁检测。
-
PFC deadlock free:通过识别环形缓存依赖并破除其产生的必要条件,从而解决PFC死锁的问题,提高网络可靠性。
拥塞控制
拥塞控制是指对进入网络的数据总量进行控制,使网络流量保持在可接受水平的一种控制方法。拥塞控制与流量控制的区别在于,流量控制作用于接收者,而拥塞控制作用于网络,往往需要转发设备、流量发送端、流量接收端协同作用,并结合网络中的拥塞反馈机制来调节整网流量才能起到缓解拥塞、解除拥塞的效果。
-
ECN(Explicit Congestion Notification,显式拥塞通知):是指流量接收端感知到网络上发生拥塞后,通过协议报文通知流量发送端,使得流量发送端降低报文的发送速率,从而从早期避免拥塞而导致的丢包,实现网络性能的最大利用。
-
AI ECN:是指通过iLossless智能无损算法,根据现网流量模型进行AI训练,以对网络流量变化进行预测,及时推理出最优的ECN门限,并且支持根据现网流量变化实时调整ECN门限,进行无损队列缓存的精确管控,保障整网的最优性能。同时,AI ECN功能与队列调度技术配合使用时,可以实现网络中TCP流量与RoCEv2流量的混合调度,保障RoCEv2流量无损传输的同时实现低时延和高吞吐,让无损业务达到最优性能。
-
NPCC(Network Proactive Congestion Control):是一种以网络设备为核心的主动拥塞控制技术,可以在网络设备上智能识别设备端口的拥塞状态,主动发送CNP(Congestion Notification Packets,拥塞通知报文)报文,准确控制服务器发送RoCEv2报文的速率,既可以确保拥塞时的及时降速,又可以避免拥塞已经缓解时的过度降速,最终确保数据中心互联这种长距场景中RoCEv2业务的低时延和高吞吐。
-
iQCN(intelligent Quantized Congestion Notification):转发设备智能识别网络拥塞状况,同时根据流量接收端返回CNP报文的时间间隔和网卡升速时间间隔,主动对CNP报文进行补偿发送,避免流量发送端网卡未及时收到CNP报文而迅速升速带来的网络拥塞加剧的问题。
流量调度
流量调度技术主要用于解决业务流量与网络链路的负载均衡性问题,做到不同业务流量的服务质量保障。
-
动态负载分担:是指在转发数据报文时,根据流量带宽大小和负载分担链路中各成员链路负载轻重情况,来动态选择合适的链路,使得流量分担更均匀,尽量避免出现某个链路负载过重带来过大的队列时延或丢包。
-
队列调度:用于控制不同队列之间流量的发送策略,为不同队列的流量提供差异化的质量保障。
网算一体
通过对超算网络的流量模型分析可知,超算网络的流量80%以上均为小于16字节payload的报文,极端考验设备的静态时延。典型的以太网芯片静态时延约500ns,IB芯片时延约90ns。从静态时延角度来看,以太相比IB存在劣势,这种劣势通过网络与计算的协同可以改善甚至消除。
网算一体(Integrated Network and Computing,INC)技术可以在网络设备上通过对MPI通信数据的聚合,保障HPC小字节报文场景的低时延效果,降低任务完成时的通信等待时间,提高HPC的应用性能。
iNOF
iNOF(Intelligent Lossless NVMe Over Fabric,智能无损存储网络)是指通过对接入主机的快速管控,将智能无损网络应用到存储系统,实现计算和存储网络融合的技术。
智能无损网络的应用场景
分布式存储场景
传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。
分布式存储系统,是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。
集中式存储场景
所谓集中式存储,是和分布式存储相对的,从概念上可以看出来是具有集中性的,也就是整个存储是集中在一个系统中的。但集中式存储并不是一个单独的设备,是集中在一套系统当中的多个设备。集中式存储按照技术架构可以划分为SAN和NAS,基于RoCEv2的智能无损网络针对服务器和存储设备之间传输的大块数据进行优化, 对于以下应用来说是理想的选择:
-
关键任务数据库应用,其中可预计的响应时间、可用性和可扩展性是基本要素。
-
集中的存储备份,其中性能、数据一致性和可靠性可以确保企业关键数据的安全。
-
高可用性和故障切换环境可以确保更低的成本、更高的应用水平。
-
可扩展的存储虚拟化,可使存储与直接主机连接相分离,并确保动态存储分区。
-
改进的灾难容错特性,在主机服务器及其连接设备之间提供光纤通道高性能和扩展的距离。
HPC高性能计算场景
HPC高性能计算,是指利用聚集起来的计算能力来处理标准工作站无法完成的数据密集型计算任务,包括仿真、建模和渲染等。传统的网络密集型HPC高性能计算场景是在服务器侧完成计算任务的,网络侧只负责数据转发;智能无损网络与HPC高性能计算场景融合优化,通过专门或高端的交换设备对集合通信加速,或是将多个单元的计算能力进行整合,可以有效地提高集合通信的效率,从而降低总的任务完成时间。
机器学习场景
机器学习是实现人工智能的一种方式,与传统的为解决特定任务、硬编码的软件程序不同,机器学习是通过多层的神经网络对大量样本进行提取,并结合深度学习算法来解析数据,对参数不断调整、不断学习,然后对真实世界中的事件作出预测和决策。为了提高AI应用计算的能力,通常采用分布式AI集群系统进行AI训练。
智能无损网络通过一系列iLossless技术的相互配合应用,可以解决机器学习场景下的传统以太网络拥塞丢包的问题,在零丢包的基础上实现最高吞吐,最低时延,满足机器学习应用的高性能需求。文章来源:https://www.toymoban.com/news/detail-538771.html
文章来源地址https://www.toymoban.com/news/detail-538771.html
到了这里,关于什么是智能无损网络?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!