在esxi虚拟机中共享IB网卡

2021-10-08

1 ESXI虚拟机配置IB

1.1 安装mft网卡管理工具

Mellanox固件工具(MFT)

Mellanox固件工具(MFT)包是一组固件管理工具，用于:

生成标准的或定制的Mellanox固件镜像

查询固件信息

刻录固件镜像

1.1.1 mft固件下载地址

http://www.mellanox.com/page/management_tools

1.1.2 开启esxi ssh功能

将下载好的nmst-4.17.0.106-1OEM.650.0.0.4598673.x86_64.vib和mft-4.17.0.106-10EM-650.0.0.4598673.x86_64.vib工具通过scp上传到esxi主机的/tmp目录

通过esxcli network nic list命令可以查看esxi主机上的网卡

esxcli network nic get -n vmnic4查看网卡的详细信息

1.1.3 安装mft工具

1
2
3

esxcli software vib install -v /tmp/nmst-4.17.0.106-1OEM.650.0.0.4598673.x86_64.vib

esxcli software vib install -v /tmp/mft-4.17.0.106-10EM-650.0.0.4598673.x86_64.vib

如果安装过程中遇到认证签名问题，在末尾添加–no-sig-check参数。

安装完后重启esxi主机。

开启mst driver

cd /opt/mellanox/bin

./mst start

./mst status

1.2 刷新mellanox网卡固件

1.2.1 固件下载地址

Enable SSH Access to ESXi server.

http://www.mellanox.com/page/firmware_download

通过scp工具将固件fw-ConnectX6-rel-20_27_2008-MCX653105A-ECA_Ax-UEFI-14.20.22-FlexBoot-3.5.901.bin.zip上传到esxi主机的/tmp目录

1	unzip fw-ConnectX6-rel-20_27_2008-MCX653105A-ECA_Ax-UEFI-14.20.22-FlexBoot-3.5.901.bin.zip

通过mft工具的flint -d -i -y b命令将固件刷新到网卡

cd /opt/mellanox/bin/

./flint -d mt4123_pciconf0 -i /tmp/fw-ConnectX6-rel-20_27_2008-MCX653105A-EC

CA_Ax-UEFI-14.20.22-FlexBoot-3.5.901.bin -y b

重启esxi主机

查看固件版本

1.3 安装esxi ofed驱动

Enable SSH Access to ESXi server.

确认ib驱动的版本

1	esxcli software vib list \| grep nmlx

http://www.mellanox.com/page/products_dyn?product_family=29&mtag=vmware_driver 下载和网卡对应的驱动版本Mellanox-nmlx5_4.17.70.1-1OEM.670.0.0.8169922-16089850.zip通过scp上传到esxi主机的/tmp目录。

1	unzip Mellanox-nmlx5_4.17.70.1-1OEM.670.0.0.8169922-16089850.zip

安装驱动esxcli software vib install –d /

1	esxcli software vib install –d /tmp/Mellanox-nmlx5_4.17.70.1-1OEM.670.0.0.8169922-offline-bundle-16089850.zip

安装完成后重启esxi主机

1.4 配置SR-IOV虚拟化网卡

Enable SSH Access to ESXi server.
BIOS开启SR-IOV和IOMMU功能

开启SR-IOV 设置虚拟网卡的数量 number of Virtual Functions (VFs).

1
2
3

cd/opt/mellanox/bin

/opt/mellanox/bin/mlxconfig -d mt4123_pciconf0 set SRIOV_EN=1 NUM_OF_VFS=8

Device #1: 

\----------

 

Device type: ConnectX5 

Name: N/A 

Description: N/A 

Device: mt4123_pciconf0

 

Configurations: Next Boot New 

SRIOV_EN True(1) True(1) 

NUM_OF_VFS 16 8

 

Apply new Configuration? ? (y/n) [n] : y 

Applying... Done! 

-I- Please reboot machine to load new configurations.

重启esxi主机

设置虚拟网卡的可用数量

esxcli system module parameters set -m nmlx5_core -p “max_vfs=4”

设置虚拟网卡的协议类型

1	./mlxconfig -d mt4123_pciconf0 set LINK_TYPE_P1=1

启用以太网PCI子类覆盖

1
2
3

./mlxconfig -d mt4123_pciconf0 set ADVANCED_PCI_SETTINGS=1

./mlxconfig -d mt4123_pciconf0 set FORCE_ETH_PCI_SUBCLASS=1

max_vfs模块参数设置为首选的VFs数量

1	esxcfg-module nmlx5_core -s "max_vfs=4"

重启esxi主机
重启后登录查看虚拟网卡是否正常

查看虚拟网卡是否正在被使用

true表示此虚拟网卡正在被使用

1.5 虚拟机里面挂载IB虚拟网卡

设置好后可在vsphere client里面看到SR-IOV虚拟网卡设备

在主机上启用Virtual Functions后，它们都可以作为PCI设备使用。

在vSphere Web Client中分配虚拟函数给虚拟机:

1.在vSphere Web Client中定位虚拟机。

选择数据中心、文件夹、集群、资源池或主机，单击“相关对象”页签。

单击“Virtual Machines”，在列表中选择虚拟机。

2.关闭虚拟机。

3.选择虚拟机，进入“编辑设置”。

在适配器类型下选择SR-IOV直通连接选项。

5.在适配器类型下选择SR-IOV直通连接选项勾选“保留所有客户内存(全部锁定)”复选框。

6.开启虚拟机电源，可以在esxi主机看到一块虚拟ib网卡被使用

1	esxcli network sriovnic vf list -n vmnic4

1.6 虚拟机安装ib驱动和存储客户端并挂载存储

1.查看挂载进虚拟机的ib虚拟网卡

2.查看SR-IOV虚拟网卡设备的链路速率

3.安装ib驱动MLNX_OFED_LINUX-5.1-2.5.8.0-rhel7.6-x86_64.tgz

tar -xvf MLNX_OFED_LINUX-5.1-2.5.8.0-rhel7.6-x86_64.tgz

cd MLNX_OFED_LINUX-5.1-2.5.8.0-rhel7.6-x86_64/

./mlnxofedinstall --force

4.重启虚拟机后用ibstat命令可以看到分配的MAC是在原有MAC的基础上插入fffe四个16进制数字。（下图是原有MAC地址）

5.配置IPoIB地址

6.ping存储服务端

7.安装存储客户端

tar -xvf ofs-client-centos7.6-MLX5.1_2.5-010000-bugfix_ofs3.1.3_release_b9039ac_20210528_111513_e066683_20210831_144705-3-1.tar

cd client

./install.py –ips=11.10.200.1

8.挂载存储客户端

1
2
3

mkdir /public

mount -t parastor -o sysname=ParaStor,fsname=public -o noatime,user_xattr ParaStor_public /public