Mellanox 网卡配置RoCEv2步骤,
1. 设置RDMA CM 模式v2
cma_roce_mode -d mlx5_1 -p 1 -m 2
检查RDMA CM的RoCE模式
2. 开启 DCQCN 在priority 3
echo 1 > /sys/class/net/ens1np0/ecn/roce_np/enable/3
echo 1 > /sys/class/net/ens1np0/ecn/roce_rp/enable/3
DCQCN优先级为priority 3
3. 设置CNP DSCP or 802p (PCP) priority
echo 48 > /sys/class/net/ens1np0/ecn/roce_np/cnp_dscp
echo 6 > /sys/class/net/ens1np0/ecn/roce_np/cnp_802p_prio
设置CNP dscp 和802p(PCP),dscp=48
4. 设置网卡QoS
查看网卡默认当前配置
mlnx_qos -i ens1np0 网卡当前配置
设置队列3 PFC,后面打流测试让RoCEv2流量跑在队列3中,
mlnx_qos -i ens1np0 -f 0,0,0,1,0,0,0,0 开启priority 3 pfc
默认priority 0 对应tc1,priority 1 对应tc0,调整成一一对应,看实际情况也可以不调整。
mlnx_qos -i ens1np0 -p 0,1,2,3,4,5,6,7 设置priority和tc对应关系
一般默认的协议报文跑在队列7,CNP dscp=48 跑在队列6,所以这两个队列优先调度,其它0-5轮询调度,RoCEv2流量在队列3可以加大权重。
mlnx_qos -i ens1np0 -s ets,ets,ets,ets,ets,ets,strict,strict -t 10,10,10,50,10,10,0,0 设置出向队列调度,tc7,tc6严格优先级,tc0-5按权重轮询
一般队列6和7流量不会很大,可以适当设置限速。
mlnx_qos -i ens1np0 -r 0,0,0,0,0,0,30,20 队列限速
网卡优先级类型默认802p(PCP),改成dscp。
mlnx_qos -i ens1np0 --trust=dscp 设置接口信任dscp
5. 网络交换机上配置相应的队列3 FPC,ECN
网络设备如何部署,可以参考这篇文章RoCEv2网络部署实践一起看。
使用ib_send_bw 命令可以打流测试,参数加上 -T 96 可以设置RoCEv2流量的TOS 96 也就是dscp=24 对应priority 3
client 端:
ib_send_bw -d mlx5_1 --report_gbits -F --run_infinitely -R -T 96 192.168.1.99
server 端:
ib_send_bw -d mlx5_1 --report_gbits -F --run_infinitely -R -T 96
5. wireshark抓包
Priority 3 开启ecn能力的流量,ecn=10,dscp=24
过滤ip.dsfield.ecn == 0x3 ,拥塞置位的ecn报文
过滤 infiniband.bth.opcode == 0x81,CNP报文 dscp=48文章来源:https://www.toymoban.com/news/detail-758752.html
文章来源地址https://www.toymoban.com/news/detail-758752.html
到了这里,关于RoCEv2网络部署----Mellanox网卡配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!