利用KVM虚拟机部署Lustre文件系统二

2020-11-04

Lustre文件系统的安装

在第一步完成虚拟机的搭建后，现在开始着手安装lustre文件系统

四台虚拟机的配置信息如下：

系统： Centos7.6
ip地址：11.2.100.101 mgt
       11.2.100.103 node1
       11.2.100.104 node2
       11.2.100.105 client

构建本地Lustre repo库

该小节严格遵循 Using YUM to Manage Local Software Provisioning 的步骤来完成本地repo库的搭建。基本原理就是在repo主机上起一个web服务器，把从官方源上拷贝过来的Lustre安装包放到web服务目录中；mgt/node1/node2/client这四个节点安装Lustre时就可以直接使用repo主机的web服务提供的repo了，从而更方便地统一部署安装Lustre了。

创建repo定义

为了简化安装过程，Lustre软件包可以复制到网络上的HTTP服务器，并整合到本地YUM仓库中。

使用YUM仓库简化了软件包向计算机发布的过程，有助于资源调配和配置自动化，并简化了如审计、更新等任务。

##自定义一个临时的YUM仓库。这将用于帮助首次获取Lustre及其相关的包。
cat >/tmp/lustre-repo.conf <<\__EOF
[lustre-server]
name=lustre-server
baseurl=https://downloads.whamcloud.com/public/lustre/latest-release/el7/server
# exclude=*debuginfo*
gpgcheck=0

[lustre-client]
name=lustre-client
baseurl=https://downloads.whamcloud.com/public/lustre/latest-release/el7/client
# exclude=*debuginfo*
gpgcheck=0

[e2fsprogs-wc]
name=e2fsprogs-wc
baseurl=https://downloads.whamcloud.com/public/e2fsprogs/latest/el7
# exclude=*debuginfo*
gpgcheck=0
__EOF
###注意:上面的例子引用了最新的Lustre版本。如果要使用特定的版本，请用所需的版本替换[lustre-server]和[lustre-client]baseurl变量中的latest-release，例如lustre-2.10.1。除非另有说明，否则务必使用最新的e2fsprogs包。

###注意: 随着Lustre 2 . 10 . 1版本的发布，运行LDISKFS的Lustre服务器可以使用无补丁内核。无补丁LDISKFS服务器发行版不包括Linux内核。相反，无补丁服务器使用随操作系统一起发布的内核。如果要对Lustre服务器使用无补丁内核，请在[lustre-server]baseurl 字符串的末尾用字符串patchless-ldiskfs-server替换字符串server。例如:

###注意:如果希望在测试时减少下载量，请取消对"exclude"行的注释。这将省略debuginfo包的下载，这个包可能很大。尽管如此，一般来说下载这些文件也是有好处的，它们可以随时帮助调试。


###使用reposync命令(分布在yum-utils包中)能将Lustre仓库的镜像下载到管理服务器中:
mkdir -p /var/www/html/repo
cd /var/www/html/repo
reposync -c /tmp/lustre-repo.conf -n \
-r lustre-server \
-r lustre-client \
-r e2fsprogs-wc

###创建仓库元数据:
cd /var/www/html/repo
for i in e2fsprogs-wc lustre-client lustre-server; do
(cd $i && createrepo .)
done

###创建自定义的YUM仓库文件。下面的脚本用来创建了一个包含Lustre包的仓库的自定义文件，并将其存储在web服务器的静态内容目录中。这使得将此文件分发到Lustre服务器和客户端变得容易。
cat lustre.repo
[lustre-server]
name=lustre-server
baseurl=http://11.2.100.100/repo/lustre-server
enabled=0
gpgcheck=0
proxy=_none_

[lustre-client]
name=lustre-client
baseurl=http://11.2.100.100/repo/lustre-client
enabled=0
gpgcheck=0

[e2fsprogs-wc]
name=e2fsprogs-wc
baseurl=http://11.2.100.100/repo/e2fsprogs-wc
enabled=0
gpgcheck=0

lustre服务端软件的安装

可以按照下列小节中描述的某一个过程，在每台将作为Lustre服务器的机器上安装Lustre软件，节点为mgt/node1/node2。

1 2	yum --nogpgcheck --disablerepo=* --enablerepo=e2fsprogs-wc \ install e2fsprogs

支持LDISKFS和ZFS OSD的Lustre服务器

这种配置为Lustre支持的不同存储类型提供了最广泛的兼容性，对于服务器升级和迁移，或者对于与软件(如Lustre的集成管理器)的广泛兼容，这种配置最为有用。

安装Lustre`e2fsprogs`发行版:

1 2	yum --nogpgcheck --disablerepo=* --enablerepo=e2fsprogs-wc \ install e2fsprogs

安装EPEL仓库支持:

1	yum -y install epel-release

按照Linux项目中ZFS的说明安装ZFS YUM自定义仓库。使用DKMS包仓库(默认)。

1 2	yum -y install \ http://download.zfsonlinux.org/epel/zfs-release.el7_6.noarch.rpm

注意: RPM软件包名称随着红帽子企业版Linux (RHEL )的每一个版本而变化。在编写本文档时，使用的RHEL当前版本为7.6。

安装带Lustre补丁的内核包。通过禁用OS仓库，确保为内核包选择Lustre仓库:

yum upgrade linux-firmware dracut -y # 升级冲突包
yum upgrade xfsprogs kmod kexec-tools -y # 升级冲突包
yum --nogpgcheck --disablerepo=base,extras,updates \
--enablerepo=lustre-server install \
kernel \
kernel-devel \
kernel-headers \
kernel-tools \
kernel-tools-libs \
kernel-tools-libs-devel

如果计算机上还不存在永久的`hostid`，请为其生成一个。这有助于保护ZFS 池不被多台服务器上同时导入。例如:

1 2	hid=`[ -f /etc/hostid ] && od -An -tx /etc/hostid\|sed 's/ //g'` [ "$hid" = `hostid` ] \|\| genhostid

重新启动节点。

reboot

安装Lustre、LDISKFS和ZFS kmod软件包:

yum --nogpgcheck --enablerepo=lustre-server install \
kmod-lustre-osd-ldiskfs \
lustre-dkms \
lustre-osd-ldiskfs-mount \
lustre-osd-zfs-mount \
lustre \
lustre-resource-agents \
zfs

加载Lustre和ZFS内核模块，以验证软件是否安装正确

1 2	modprobe -v zfs modprobe -v lustre

client节点安装

Lustre客户端软件包括一个包含内核模块的包，以及用于管理客户端软件的用户空间工具的其他包。Lustre客户端不需要“带Lustre补丁”的内核，这简化了安装。

在每台将使用Lustre客户端的计算机上执行以下步骤:

安装与Lustre支持的最新版本相匹配的内核包:

yum install \
kernel \
kernel-devel \
kernel-headers \
kernel-abi-whitelists \
kernel-tools \
kernel-tools-libs \
kernel-tools-libs-devel

重新启动节点:

reboot

安装Lustre客户端软件包:

1
2
3

yum --nogpgcheck --enablerepo=lustre-client install \
lustre-client-dkms \
lustre-client

加载Lustre内核模块以验证软件安装是否正确:

1	modprobe -v lustre

服务端配置

###说明
--fsname：指定生成后的lustre文件系统名，如sgfs，将来客户端采用mount -t 192.168.100.1@tcp0:192.168.100.2@tcp0:/sgfs /home进行挂载。
--mgs：指定为MGS分区
--mgt：指定为MGT分区
--ost：指定为OST分区
--servicenode=ServiceNodeIP@tcp0：指定本节点失效时，接手提供服务的节点，如为InfiniBand网络，那么tcp0需要换成o2ib
--index：指定索引，不能相同

配置MDS

在mgt节点上，将第二块磁盘/dev/vdb，创建MGT管理服务资源和MGS元数据服务资源，格式化为lustre文件系统格式

[root@mgt ~]# mkfs.lustre --fsname=lustrefs --mgs --mdt --index=0 --reformat /dev/vdb

   Permanent disk data:
Target:     lustrefs:MDT0000
Index:      0
Lustre FS:  lustrefs
Mount type: ldiskfs
Flags:      0x65
              (MDT MGS first_time update )
Persistent mount opts: user_xattr,errors=remount-ro
Parameters:

device size = 102400MB
formatting backing filesystem ldiskfs on /dev/vdb
	target name   lustrefs:MDT0000
	kilobytes     104857600
	options        -J size=4096 -I 1024 -i 2560 -q -O dirdata,uninit_bg,^extents,dir_nlink,quota,huge_file,flex_bg -E lazy_journal_init -F
mkfs_cmd = mke2fs -j -b 4096 -L lustrefs:MDT0000  -J size=4096 -I 1024 -i 2560 -q -O dirdata,uninit_bg,^extents,dir_nlink,quota,huge_file,flex_bg -E lazy_journal_init -F /dev/vdb 104857600k
Writing CONFIGS/mountdata

###创建挂载点，挂载磁盘
mkdir /public/mdt
[root@mgt ~]# mount -t lustre /dev/vdb /public/mdt

配置ost1

在node1节点上，第二块盘作为ost类型的存储盘，其中 11.2.100.101 为mds节点的IP。

[root@mgt ~]# mkfs.lustre --fsname=lustrefs --mgsnode=11.2.100.101@tcp0 --ost --index=1 --reformat /dev/vdb 
[root@mgt ~]# mkfs.lustre --fsname=lustrefs --mgsnode=192.168.199.138@tcp0 --ost --index=0 /dev/vd
vda   vda1  vda2  vdb   vdc   
[root@mgt ~]# mkfs.lustre --fsname=lustrefs --mgsnode=11.2.100.101@tcp0 --ost --index=2 --reformat /dev/vdb

   Permanent disk data:
Target:     lustrefs:OST0001
Index:      1
Lustre FS:  lustrefs
Mount type: ldiskfs
Flags:      0x62
              (OST first_time update )
Persistent mount opts: ,errors=remount-ro
Parameters: mgsnode=11.2.100.101@tcp
###创建挂载点，挂载/dev/vdb
mkdir -p /public/ost1
mount -t lustre /dev/vdb /public/ost1

配置ost2

同理，ost2的配置与ost1一样。

配置client

在client节点创建挂载点，挂载lustre文件系统。

mkdir -p /lustre
mount -t lustre 11.2.100.101@tcp0:/lustrefs /lustre

[root@mgt ~]# lctl dl ###显示所有文件系统组件
  0 UP osd-ldiskfs lustrefs-MDT0000-osd lustrefs-MDT0000-osd_UUID 9
  1 UP mgs MGS MGS 6
  2 UP mgc MGC11.2.100.101@tcp 3bc2ea15-62fd-eee8-6b60-101654b4bf74 4
  3 UP mds MDS MDS_uuid 2
  4 UP lod lustrefs-MDT0000-mdtlov lustrefs-MDT0000-mdtlov_UUID 3
  5 UP mdt lustrefs-MDT0000 lustrefs-MDT0000_UUID 4
  6 UP mdd lustrefs-MDD0000 lustrefs-MDD0000_UUID 3
  7 UP qmt lustrefs-QMT0000 lustrefs-QMT0000_UUID 3
  8 UP osp lustrefs-OST0002-osc-MDT0000 lustrefs-MDT0000-mdtlov_UUID 4
  9 UP osp lustrefs-OST0001-osc-MDT0000 lustrefs-MDT0000-mdtlov_UUID 4
 10 UP lwp lustrefs-MDT0000-lwp-MDT0000 lustrefs-MDT0000-lwp-MDT0000_UUID 4

[root@client ~]# lfs df -h  ###显示lustre文件系统信息
UUID                       bytes        Used   Available Use% Mounted on
lustrefs-MDT0000_UUID       55.5G        5.6M       50.5G   1% /lustre[MDT:0]
lustrefs-OST0001_UUID       98.0G        1.2M       93.0G   1% /lustre[OST:1]
lustrefs-OST0002_UUID       98.0G        1.2M       93.0G   1% /lustre[OST:2]
filesystem_summary:       196.1G        2.4M      186.0G   1% /lustre

[root@client ~]# df -ht lustre ###验证文件系统是否已经挂载在客户端上
文件系统                    容量  已用  可用 已用% 挂载点
11.2.100.101@tcp:/lustrefs  197G  2.5M  187G    1% /lustre

[root@client lustre]# dd if=/dev/zero of=/lustre/test.data bs=128M count=10 
记录了10+0 的读入
记录了10+0 的写出
1342177280字节(1.3 GB)已复制，3.90773 秒，343 MB/秒

[root@client ~]# dd if=/dev/zero of=/root/test.data bs=128M count=10
记录了10+0 的读入
记录了10+0 的写出
1342177280字节(1.3 GB)已复制，1.80576 秒，743 MB/秒