【RDMA】infiniband⽹卡安装ib⽹卡命令ibdump⽤法说明⽬录
原⽂：
最近多次安装、使⽤infiniband⽹卡，每次都要到处寻相关资料，所以决定做此总结，⽅便查。
1. 基础知识
⾸先，得了解什么是RDMA，贴⼏个资料：
然后得了解如何实现，这两个可以有个初步了解：
编程过程，真正有⽤的还是官⽅的⼿册：
mellanox官⽅社区能到很多你需要的东西：
也下了个中⽂版，但我感觉英⽂版看着更好。中⽂版下载：
百度云:  提取码: rm8i
蓝奏云：密码: 4aps
RDMA编程⼊门可参考的项⽬：
2. 驱动安装
1. 下载驱动，进⼊⽹站选择相应系统和软件版本，archive versions这⾥可以下载旧版本驱动
ubuntu16.04平台5.0-2.1.8.0的下载链接为：
wget llanox/ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu16.04-
x86_64.iso
版本5.1之后链接细微变化，ubuntu18.04平台5.1-2.5.8.0的下载链接为：
wget llanox/downloads/ofed/MLNX_OFED-5.1-2.5.8.0/MLNX_OFED_LINUX-5.1-2.5.8.0-
ubuntu18.04-x86_64.iso
其它平台和版本的驱动，可以⾃⼰修改。
2. 挂载或解压，如果下载的iso则挂载，若是tgz就解压，下⾯是挂载命令：
sudo mount -o ro,loop MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu16.04-x86_64.iso /mnt
3. 安装
cd /mnt sudo ./mlnxofedinstall
可能会提⽰你安装⼀堆东西，复制，安装就可以了。
安装成功截图：
4. 执⾏以下命令：
sudo /etc/init.d/openibd restart sudo /etc/init.d/opensmd restart
5. 查看⽹卡状态：
sudo hca_self_test.ofed
没有 failed 就对了。
⼀些其它查看⽹卡信息的命令：
ibstat ibstatus ibv_devinfo ibv_devices #查看本主机的infiniband设备 ibnodes #查看⽹络中的infiniband设备
3.配置IP
⾃⼰的实践
service network status 查看活动状态
重启：
ifdown enp61s0f0 关闭⽹卡
ifup  enp61s0f0 开启⽹卡
ethtool enp61s0f0  查看当前状态
vim /etc/sysconfig/network-scripts/ifcfg-enp61s0f0
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=enp61s0f0
UUID=e95aa0ab-7fab-47ab-8536-de06f982807a
DEVICE=enp61s0f0
ONBOOT=yes
IPADDR=182.200.31.59
NETMASK=255.255.255.0
重启：
ifdown enp61s0f0 关闭⽹卡
ifup  enp61s0f0 开启⽹卡
ubuntu执⾏：
sudo vim /etc/network/interfaces
在⽂件中添加如下内容：
auto enp1s0 iface enp1s0 inet static address 172.16.0.104 netmask 255.255.255.0 broadcast 172.16.0.255 enp1s0是⽹卡名称，通过ifconfig查看，address是要给infiniband⽹卡配置的ip地址。
重启⽹络服务：
sudo service networking restart
centos执⾏：
sudo vim /etc/sysconfig/network-scripts/ifcfg-ib0
添加如下内容：
DEVICE=ib0 BOOTPROTO=static IPADDR=172.16.0.104 NETMASK=255.255.255.0 BROADCAST=172.16.0.255 NETWORK=172.16.0.0 ONBOOT=yes
重启⽹⼝：
sudo ifdown ib0 sudo ifup ib0
4. 性能测试
1. 服务端运⾏：
ib_send_bw -a -c UD -d mlx4_0 -i 1
注意，参数 -i 指定端⼝，在⼀个⽹卡有多个⽹⼝的时候，需要指定测试的端⼝，具体哪个端⼝，通过 ibstatus 可以看到。
2. 客户端运⾏：
ib_send_bw -a -c UD -d mlx4_0 -i 1 172.16.0.102
最后⾯的ip地址是服务端infiniband⽹卡的ip地址。vim命令是什么
1. 其他测试项
ib_atomic_bw ib_atomic_lat ib_read_bw ib_read_lat ib_send_bw ib_send_lat ib_write_bw ib_write_lat bw表⽰测试带宽，lat表⽰测试延迟，参数同上，可以i通过 --help 查看。
其他测试⼯具说明：
测试⼯具源码：
5. 其他问题
更换⽹卡⼯作模式：
有些⽹卡，当你安装好驱动后，通过 ibstatus 命令，会出现下⾯的情况：
可以看到，该⽹卡现在处于 Ethernet 的⼯作模式，如果想要切换成infiniband模式，参考如下链接：
查看当前⼯作模式：
sudo /sbin/connectx_port_config -s
输⼊以下命令切换⼯作模式：
sudo /sbin/connectx_port_config
如果提⽰如图，说明不⽀持infiniband模式，否则，就切换成功了，再次使⽤⼀下命令可以验证：
sudo /sbin/connectx_port_config -s
不能切换到infiniband⼯作模式，并不代表不⽀持RDMA，处于Ethernet模式的⽹卡使⽤ RoCE 协议⼯作。
RDMA 协议：底层可以是以太⽹（ RoCE 或者 iWARP ）或者 Infiniband
有些⽹卡只⽀持Ethernet（RoCE），不⽀持Infiniband模式，也就是想从Ethernet切换到Infiniband模式时不能成功，这个要提前了解好。我⽬前了解到的，Connectx-3只⽀持Ethernet模式。
RDMA 、InfiniBand、IB卡、IB驱动的关系
1、RDMA 是⼀种技术（远程直接内存访问技术），如何实现这种技术呢？
2、实现这种技术你可以选择⽤ Infiniband 协议。（当然你也可以使⽤其他协议，eg：roce、iwarp）
3、如果你使⽤ Infiniband 协议，这个协议作为⼀个新⼀代⽹络协议。它必须依靠专门的硬件才能实现。eg：专⽤INC（⽹卡）—— IB卡，或者专⽤交换机。
4、当你在服务器上安装了IB卡之后，你还得安装 IB驱动，才能使⽤ infiniband 。
原⽂链接：blog.csdn/ljlfather/article/details/102930714
ibdump ⽤法说明
[root @ rdma64 ibdump-master]＃ibdump -h
ibdump-dump Mellanox Technologies ConnectX ⽹卡的 Infiniband 数据包
可以⽣成⽂件给Wireshark进⾏图形流量分析
⽤法：
ibdump [选项]
选项：
-d，--ib-dev = <dev>使⽤IB设备<dev>（到默认的第⼀个设备）
-i， --ib-port = <；端⼝>使⽤IB设备的端⼝<；端⼝>（默认1）
-w，-write = <⽂件>  结果保存到⽂件（默认为“ sniffer.pcap”）
“-”代表标准输出-启⽤管道传输到tcpdump或tshark。
-o，--output = <⽂件>是-w选项的别名。不使⽤-为了向后兼容
-b，--max-burst = <log2突发> log2的最⼤突发⼤⼩
捕获⽽没有数据包丢失。
每个条⽬占⽤〜MTU字节的内存（默认12-4096个条⽬）
-s，-silent不打印进度指⽰。
-T，--conti使⽤连续页⾯。
-M，--mem-mode <⼤⼩>（指定时），仅在抓包动作停⽌后才将包写⼊⽂件，它⽐默认模式快（丢包更少），但占⽤更多内存。在这种模式下，ibdump在捕获<size>个字节后停⽌
-p，--writer-thread <⼤⼩>使⽤特定线程将数据写⼊磁盘。为了使⽤此功能，您必须指定
两个临时缓冲区的⼤⼩，⽤于保存数据给线程写⼊磁盘
--decap  解封装端⼝镜像的headers。⽤于捕获RSPAN流量时需要启⽤。
-h，--help显⽰此帮助屏幕。
-v，--version打印版本信息。
⽤法：
[root@tuki1 ~]#  ibdump -d mlx5_0 -i 1
其他⽂章《Infiniband的驱动安装与配置》：

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。