(该架构图来源于参考文献)
- 高性能计算网络,RoCE vs. InfiniBand该怎么选?
新 RoCEv2 标准可实现 RDMA 路由在第三层以太网网络中的传输。RoCEv2 规范将用以太网链路层上的 IP 报头和 UDP 报头替代 InfiniBand 网络层。这样,就可以在基于 IP 的传统路由器之间路由 RoCE。
- RoCE v1协议:基于以太网承载 RDMA,只能部署于二层网络,它的报文结构是在原有的 IB架构的报文上增加二层以太网的报文头,通过 Ethertype 0x8915 标识 RoCE 报文。
- RoCE v2协议:基于 UDP/IP 协议承载 RDMA,可部署于三层网络,它的报文结构是在原有的 IB 架构的报文上增加UDP头、IP 头和二层以太网报文头,通过 UDP 目的端口号 4791 标 识 RoCE 报文。RoCE v2 支持基于源端口号 hash,采用 ECMP 实现负载分担,提高了网络的利用率。
由架构图可轻松区分出:
- 链路层是InfiniBand时,我们将其称之为IB网卡
- 链路层是Ethernet时,则我们将其称之为RoCE或WARP网卡
- 当传输层为IB时,(即 transport: InfiniBand ), 我们称其为RoCE网卡
- 当传输层为iWARP时,我们称其为iWARP网卡
ibv_devinfo命令查看Link Layer包含Ethernet
InfiniBand传输模式 - 例子
RoCE传输模式 - 例子
ibv_devinfo -v命令查看GID包含RoCE
RoCE传输模式 - 例子
文章来源:https://www.toymoban.com/news/detail-823055.html
show_gids命令查看KVM内部端口的GID, 传输模式RoCE V1 or RoCE V2
文章来源地址https://www.toymoban.com/news/detail-823055.html
到了这里,关于RDMA vs InfiniBand 网卡接口如何区分?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!