安装支持InfiniBand的lustre
note:lustre的编译安装太容易出问题,所以这里选用的是yum安装,请确保您的服务器能够连接到相应网络
server端(包括mds与osd)
首先卸载已经安装了的infiniband
sudo yum remove neohost-backend sudo /sbin/ofed_uninstall.sh
卸载已经安装了的lustre组件
sudo yum remove "*lustre*"
请确认没有多删之后再按y
添加lustre-server的yumrepo
sudo vim /etc/yum.repos.d/lustre-server.repo
写入
[lustre-server] name=lustre-server baseurl=https://downloads.whamcloud.com/public/lustre/lustre-2.12.0-ib/MOFED-4.5-1.0.1.0/el7/server gpgcheck=0
安装infiniband相关组件
sudo yum --enablerepo=lustre-server install "*OFED*" "*mlnx*" ibutils
同样,请检查以上包来自于lustre-client而不是其他的镜像源
启动ib
sudo modprobe -rv ib_isert rpcrdma ib_srpt sudo service openibd start
关于infiniband的config可以参考实验室ib的安装脚本
添加e2fsprogs的yumrepo
sudo vim /etc/yum.repos.d/e2fsprogs.repo
写入
[e2fsprogs-el7-x86_64] name=e2fsprogs-el7-x86_64 baseurl=https://downloads.whamcloud.com/public/e2fsprogs/latest/el7/ enabled=1 priority=1
note:最好打开浏览器手动核对url链接,确保与你的服务器版本对应 安装打过lustre补丁的内核
sudo yum install kernel-3.10.0-957.el7_lustre kernel-debuginfo-3.10.0-957.el7_lustre kernel-debuginfo-common-x86_64-3.10.0-957.el7_lustre kernel-devel-3.10.0-957.el7_lustre kernel-headers-3.10.0-957.el7_lustre uname -r #检查内核是否是3.10.0-957.el7_lustre,不是的话设定手动内核启动模块 sudo reboot
安装lustre
sudo yum --nogpgcheck --enablerepo=lustre-server install kmod-lustre-osd-ldiskfs kmod-lustre lustre lustre-osd-ldiskfs-mount lustre-iokit lustre-tests kmod-lustre-tests
装lustre应该会自动装上e2fsprogs,没有的话就手动yum装一下好了
为lustre添加ib网卡:这一步很重要
sudo vim /etc/modprobe.d/lustre.conf #写入以下内容 options lnet networks="o2ib0(ib0)"
sudo modprobe -v lustre 无error说明大功告成
如何配置mgs,mdt,ost我会新开一个页面来写,不混在一起。其实是我累了
client端
首先卸载已经安装了的infiniband
sudo yum remove neohost-backend sudo /sbin/ofed_uninstall.sh
卸载已经安装了的lustre组件
sudo yum remove "*lustre*"
请确认没有多删之后再按y
添加lustre-client的yumrepo
sudo vim /etc/yum.repos.d/lustre-client.repo
写入
[lustre-client] name=Lustre Client gpgcheck=0 baseurl=https://downloads.whamcloud.com/public/lustre/lustre-2.12.0-ib/MOFED-4.5-1.0.1.0/el7/client/
note:最好打开浏览器手动核对url链接,确保与你的服务器版本对应
安装infiniband相关组件
sudo yum --enablerepo=lustre-client install "*OFED*" "*mlnx*" ibutils
同样,请检查以上包来自于lustre-client而不是其他的镜像源
启动ib
sudo modprobe -rv ib_isert rpcrdma ib_srpt sudo service openibd start
关于infiniband的config可以参考实验室ib的安装脚本
安装lustre的client
sudo yum install kmod-lustre-client kmod-lustre-client-tests lustre-client lustre-client-debuginfo lustre-client-tests lustre-iokit pcp-pmda-lustre pcp-pmda-lustrecomm
如果有一些奇怪的东西混进来了,可以手动指定版本号重新执行yum install
为lustre添加ib网卡:这一步很重要
sudo vim /etc/modprobe.d/lustre.conf #写入以下内容 options lnet networks="o2ib0(ib0)"
sudo modprobe -v lustre 无error说明大功告成
创建40个client并挂载上去(请确保服务器available)
for ((i=0; i<40;i++)); do sudo mkdir /mnt/lustre-client-$i; sudo chown ceph:ceph lustre-client-$i; sudo mount -t lustre node6@o2ib0:node7@o2ib0:/lustre /mnt/lustre-client-$i; done