RoCEv2网络部署----Mellanox网卡配置

这篇具有很好参考价值的文章主要介绍了RoCEv2网络部署----Mellanox网卡配置。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Mellanox 网卡配置RoCEv2步骤,

1. 设置RDMA CM 模式v2
cma_roce_mode -d mlx5_1 -p 1 -m 2
检查RDMA CM的RoCE模式
roce网络配置,# 无损网络,实验,网络,rocev2,无损网络,roce
2. 开启 DCQCN 在priority 3
echo 1 > /sys/class/net/ens1np0/ecn/roce_np/enable/3
echo 1 > /sys/class/net/ens1np0/ecn/roce_rp/enable/3
DCQCN优先级为priority 3
roce网络配置,# 无损网络,实验,网络,rocev2,无损网络,roce

3. 设置CNP DSCP or 802p (PCP) priority
echo 48 > /sys/class/net/ens1np0/ecn/roce_np/cnp_dscp
echo 6 > /sys/class/net/ens1np0/ecn/roce_np/cnp_802p_prio
设置CNP dscp 和802p(PCP),dscp=48
roce网络配置,# 无损网络,实验,网络,rocev2,无损网络,roce
4. 设置网卡QoS
查看网卡默认当前配置
mlnx_qos -i ens1np0 网卡当前配置
roce网络配置,# 无损网络,实验,网络,rocev2,无损网络,roce

设置队列3 PFC,后面打流测试让RoCEv2流量跑在队列3中,
mlnx_qos -i ens1np0 -f 0,0,0,1,0,0,0,0 开启priority 3 pfc

roce网络配置,# 无损网络,实验,网络,rocev2,无损网络,roce

默认priority 0 对应tc1,priority 1 对应tc0,调整成一一对应,看实际情况也可以不调整。
mlnx_qos -i ens1np0 -p 0,1,2,3,4,5,6,7 设置priority和tc对应关系

roce网络配置,# 无损网络,实验,网络,rocev2,无损网络,roce
一般默认的协议报文跑在队列7,CNP dscp=48 跑在队列6,所以这两个队列优先调度,其它0-5轮询调度,RoCEv2流量在队列3可以加大权重。
mlnx_qos -i ens1np0 -s ets,ets,ets,ets,ets,ets,strict,strict -t 10,10,10,50,10,10,0,0 设置出向队列调度,tc7,tc6严格优先级,tc0-5按权重轮询
roce网络配置,# 无损网络,实验,网络,rocev2,无损网络,roce

一般队列6和7流量不会很大,可以适当设置限速。
mlnx_qos -i ens1np0 -r 0,0,0,0,0,0,30,20 队列限速
roce网络配置,# 无损网络,实验,网络,rocev2,无损网络,roce

网卡优先级类型默认802p(PCP),改成dscp。
mlnx_qos -i ens1np0 --trust=dscp 设置接口信任dscp
roce网络配置,# 无损网络,实验,网络,rocev2,无损网络,roce
5. 网络交换机上配置相应的队列3 FPC,ECN
网络设备如何部署,可以参考这篇文章RoCEv2网络部署实践一起看。

使用ib_send_bw 命令可以打流测试,参数加上 -T 96 可以设置RoCEv2流量的TOS 96 也就是dscp=24 对应priority 3
client 端:
ib_send_bw -d mlx5_1 --report_gbits -F --run_infinitely -R -T 96 192.168.1.99
server 端:
ib_send_bw -d mlx5_1 --report_gbits -F --run_infinitely -R -T 96
roce网络配置,# 无损网络,实验,网络,rocev2,无损网络,roce
5. wireshark抓包
Priority 3 开启ecn能力的流量,ecn=10,dscp=24
roce网络配置,# 无损网络,实验,网络,rocev2,无损网络,roce过滤ip.dsfield.ecn == 0x3 ,拥塞置位的ecn报文
roce网络配置,# 无损网络,实验,网络,rocev2,无损网络,roce
过滤 infiniband.bth.opcode == 0x81,CNP报文 dscp=48

roce网络配置,# 无损网络,实验,网络,rocev2,无损网络,roce文章来源地址https://www.toymoban.com/news/detail-758752.html

到了这里,关于RoCEv2网络部署----Mellanox网卡配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Linux网络配置与网络信息查看讲解(网卡基本配置、网卡会话配置、网卡绑定、主机名配置、路由配置)

    目录 配置网卡基本信息 通过nmcli命令配置网卡 通过配置网卡文件配置网卡 通过nmtui命令配置网卡 通过nm-connection-editor命令配置网卡 网卡高级配置 配置网络会话 配置网卡绑定(Bonding) 通过nmcli命令配置网卡绑定 nm-connection-editor 进行网卡绑定(图形化界面) 通过编辑文件的

    2024年02月07日
    浏览(53)
  • esxi 7.0 安装支持 Mellanox Technologies MT26448 [ConnectX EN 10GigE, PCIe 2.0 5GT/s] 驱动支持 最便宜的10GB双光纤网卡

    esxi 7.0 安装支持 Mellanox Technologies MT26448 [ConnectX EN 10GigE, PCIe 2.0 5GT/s] 驱动支持 最便宜的10GB双光纤网卡     最近部署了两天esxi7.0 u3的测试服务器,安装测试许可的esxi 7.0,翻箱捣鼓找出来2张 双网口10Gb 光纤pci 网卡,想利用起来,结果安装好系统后,不识别这个网卡信息,找了

    2024年02月03日
    浏览(50)
  • Linux 网络配置(添加网卡、网卡会话配置、网卡绑定、配置主机名、配置路由)

    目录 配置网卡基本信息 通过nmcli命令配置网卡 通过配置网卡文件配置网卡 通过nmtui命令配置网卡 通过nm-connection-editor命令配置网卡 网卡高级配置 配置网络会话 配置网卡绑定(Bonding) 通过nmcli命令配置网卡绑定 nm-connection-editor 进行网卡绑定(图形化界面) 通过编辑文件的

    2024年02月10日
    浏览(45)
  • 网络通信之网卡配置ip

    今天突然想到,一个网卡可以配置几个ip? 可以肯定的是在windows操作平台下一个网卡可以配置多个ip,在windows下通过图像界面找到高级选项既可以添加ip。那么在linux如何对一个网卡配置不同网段的ip呢?命令如下: 说明 首先要使用sudo,即普通权限无法修改ip 网卡命令可以通

    2024年02月19日
    浏览(29)
  • RoCE、iWARP、IB和TCP等网络的基本知识及差异对比

    转至:RoCE、IB和TCP等网络的基本知识及差异对比 - 华为 在分布式存储网络中,我们使用的协议有RoCE、Infiniband(IB)和TCP/IP。其中RoCE和IB属于RDMA(RemoteDirect Memory Access)技术,他和传统的TCP/IP有什么区别呢,接下来我们将做详细对比。 面对高性能计算、大数据分析等IO高并发、低

    2024年02月03日
    浏览(65)
  • Windows下双网卡配置静态路由,实现多网络同时使用

    背景:我使用的是支持双网卡工作的Windows 10电脑。当前在工作中,我需要同时连接内网和外网,采用以太网和Wi-Fi的组合。并没有明确规定哪个是外网,哪个是内网。在这种设置下,只有特定的网段会使用内网,而大部分网络则通过外网连接。 route add 174.16.0.0 mask 255.255.0.0 17

    2024年04月29日
    浏览(45)
  • Linux系统下查看网卡配置和网络流量监控指令:ifconfig、ethtool

    ifconfig 查看所有活动网卡信息 ifconfig -a 查看所有网卡信息 ifconfig eth0 查看具体网卡信息 ifconfig eth0 up/down 激活/禁用网卡 ifup/ifdown eth0 激活/禁用网卡(重新读取配置文件) ip //查看ip指令使用参数 ip addr ethtool bond0 //查看bond0网口的配置信息 ethtool eth0 //查看bond0网口的配置信息

    2024年02月06日
    浏览(40)
  • 【云服务器 ECS 实战】专有网络 VPC、弹性网卡的概述与配置

    阿里云在早期使用的是一种传统的网络模式,将所有的 ECS 云服务直接建立在传统网络层之上,这也就是 传统经典网络 模式,这种模式并未实现安全性隔离,存在一定的安全性隐患。于是出现了最新的 专有网络VPC 模式,在传统基础上加入了一层逻辑隔离的私有网络,不仅可

    2024年02月03日
    浏览(41)
  • 无损网络和有损网络

    无损网络近来越来越多被提到,无损网络似乎是 RDMA 的必须,为了减轻主机侧的负载(这是 RDMA 的目标之一),网络就要承担复杂,因此,RoCE 为 RDMA 承诺了一个无损链路层,这样 RDMA 就不必再实现丢包重传那些东西了。可靠传输是在底层保证的,而不是在传输层保证的。 但物

    2023年04月22日
    浏览(40)
  • 什么是智能无损网络?

    当前分布式存储、HPC(High Performance Computing)高性能计算、AI人工智能等场景采用RoCEv2(RDMA over Converged Ethernet version 2)协议来降低CPU的处理和延迟,提升应用的性能。这些分布式高性能应用的特点是“多打一”的Incast流量模型。对于以太交换机,Incast流量易造成交换机内部队

    2024年02月13日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包