【服务器管理】Ubuntu20.04安装包管理工具module配置并且使用
本文主要介绍了安装module模块,配置modulefile文件进行多版本软件包管理并且使用module命令选择不同版本软件的过程。
什么Module
module是一个专门管理环境变量的工具,全称是module environment,一般应用于软件或运行库等设备有多个版本,且需要分别配置这些环境变量。其官网为:
https://modules.readthedocs.io/en/latest/index.html
通常,对于多版本的软件包,我们可以通过修改~/.bashrc
文件,通过修改PATH
、LD_LIBRARY_PATH
等全局环境变量来修改。这是最简单粗暴的方法,但是需要熟悉各个软件包的安装位置,在。当软件包数量多的时候,服务器的用户可能不清楚软件包的安装路径,也不清楚具体有那些版本的包可以使用,这就导致软件版本切换非常麻烦。而module则让我们摆脱了这种麻烦。
安装Module
Module 工具可以使用二进制编译安装(过程比较复杂,参考:Installing Modules on Unix),也可以使用 yum/apt 快速安装,如下所示:
- Redhat/Centos 等使用yum的操作系统,命令如下:
sudo yum install environment-modules
- Ubuntu 等apt的操作系统,命令如下:
sudo apt-get install environment-modules
注意:本文是在Ubuntu20.04下进行工具安装和管理的,使用的是sudo apt-get install environment-modules
,所以安装路径是/usr/share/modules
,如果是使用源码安装,则安装路径是由./configure --prefix=/usr/local/tools/modules ...
命令的–prefix指定,这个时候,下文相应的路径也得修改为对应的安装位置!
安装 module 工具后,你会发现它并不是一个可执行的二进制文件,你需要对 module 工具进行一次初始化。在 /usr/share/modules/init (注意此处,可能是 module 也可能是 modules) 内部你可以找到针对各个脚本的二进制初始化文件,找到你当前的脚本,source 这个二进制文件,例如你是 bash 脚本,source /usr/share/modules/init/bash
之后,你就可以使用 module 工具了。
cd /usr/share/modules/init
ls
source /usr/share/modules/init/bash
为了避免每次打开终端的时候都需要source /usr/share/modules/init/bash
,你需要把该命令添加到/etc/profile
文件当中,如下所示:
- 打开
/etc/profile
文件:
sudo vim /etc/profile
- 在文件末尾加入以下语句:
if [ -f /usr/share/modules/init/bash ]; then
source /usr/share/modules/init/bash
fi
配置Module
Module 工具依托于 MODULEPATH 这个环境变量来查找配置信息目录,也就是说你在设置好目录结构,配置好环境变量后,只需要设置这一个 module 的环境变量,那么 module 工具就会自动去查找这个路径下的所有配置信息。
echo $MODULEPATH
返回如下结果:
/etc/environment-modules/modules:/usr/share/modules/versions:/usr/share/modules/$MODULE_VERSION/modulefiles:/usr/share/modules/modulefiles
**注意:**一般情况下,我们安装完module后,就会自动配置好 MODULEPATH 这个环境变量,不需要我们进行额外配置。
当我们希望某个软件包能通过module模块调用时,在安装完软件包之后,需要在/usr/share/modules/modulefiles
路径下增加相应的Modulefile文件。因此,我们需要知道如何编写Modulefile文件。
我们可以看一个例子来理解Modulefile文件:
查看/usr/share/modules/modulefiles
路径下当前有那些
cd /usr/share/modules/modulefiles
ls
返回如下结果:
dot module-git module-info modules null use.own
我们使用module avail
命令查看有那些包可以用
module avail
返回如下结果:
---------------------------------------- /usr/share/modules/modulefiles -----------------------------------------
dot module-git module-info modules null use.own
我们查看其中的modules文件,
cd /usr/share/modules/modulefiles
vim modules
可以看到如下代码:
#%Module1.0#####################################################################
##
## modules modulefile
##
proc ModulesHelp { } {
global version prefix
puts stderr "\tmodules - loads the modules software & application environment"
puts stderr "\n\tThis adds $prefix/* to several of the"
puts stderr "\tenvironment variables."
puts stderr "\n\tVersion $version\n"
}
module-whatis "loads the modules environment"
# for Tcl script use only
set version 4.4.1
set prefix /usr/share/modules
setenv MODULESHOME $prefix
prepend-path PATH /usr/bin
prepend-path MANPATH /usr/share/man
# enable module versioning modulepath
#module use /usr/share/modules/versions
这里简单解释一下常用的命令:
#%Module1.0
:帮助识别这个文件为 modulefile 的,没有该语句这个文件不会被识别;prepend-path
:把工具路径添加到环境变量的前面;setenv
:把你需要的环境变量配置到系统中。
具体各个命令可以参考https://modules.readthedocs.io/en/latest/modulefile.html
特别地,如果一个软件有多个版本,我们可以在/usr/share/modules/modulefiles
目录下为这个软件构建一个子目录,然后在子目录下构建多个版本的子目录,在
例如,我这里有两个版本的cuda,安装路径分别是/usr/local/cuda-11.6
、/usr/local/cuda-12.0
,则需要进行以下操作:
1、在/usr/share/modules/modulefiles
路径下创建cuda的专属文件夹
cd /usr/share/modules/modulefiles
sudo mkdir cuda
cd cuda
2、在cuda文件夹下撰写不同版本cuda对应的Modulefile文件:
(a) 撰写cuda-11.6的Modulefile文件:
sudo vim 11.6
(b) 添加以下代码并保存:
#%Module1.0#####################################################################
setenv CUDA_HOME /usr/local/cuda-11.6
prepend-path PATH /usr/local/cuda-11.6/bin
prepend-path LD_LIBRARY_PATH /usr/local/cuda-11.6/lib64
© 撰写cuda-12.0的Modulefile文件:
sudo vim 12.0
(b) 添加以下代码并保存:
#%Module1.0#####################################################################
setenv CUDA_HOME /usr/local/cuda-12.0
prepend-path PATH /usr/local/cuda-12.0/bin
prepend-path LD_LIBRARY_PATH /usr/local/cuda-12.0/lib64
3、新打开一个终端,测试可用的软件包:
module avail
返回如下结果:
---------------------------------------- /usr/share/modules/modulefiles -----------------------------------------
cuda/11.6 cuda/12.0 dot module-git module-info modules null use.own
可以发现,module工具已经可以使用cuda/11.6
、cuda/12.0
两个版本
其他多版本的软件的配置流程同上,这里总结一下:
1、安装多个版本的软件包;
2、在/usr/share/modules/modulefiles
目录下为这个软件构建一个子目录;
3、在该子目录下为每个版本创建一个Modulefile文件,使用setenv
、prepend-path
等命令配置相应的全局变量(这得参考软件本身的全局变量配置);
4、使用source /usr/share/modules/init/bash
命令刷新module模块。
使用Module
这里列举一下常用命令:
1、显示可以使用的模块
module avail
2、加载模块
module load/add [模块名称]
3、卸载模块
module unload/rm [模块名称]
4、显示已经加载的模块
module list
本文简单测试一下CUDA的版本切换:
- 切换到cuda-11.6
module load cuda/11.6
module list
返回如下结果:
Currently Loaded Modulefiles:
1) cuda/11.6
查看设置是否生效:
nvcc -V
返回如下结果:
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2022 NVIDIA Corporation
Built on Tue_Mar__8_18:18:20_PST_2022
Cuda compilation tools, release 11.6, V11.6.124
Build cuda_11.6.r11.6/compiler.31057947_0
- 切换到cuda-12.0
module unload cuda/11.6
module load cuda/12.0
module list
返回如下结果:
Currently Loaded Modulefiles:
1) cuda/12.0
查看设置是否生效:
nvcc -V
返回如下结果:
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Fri_Jan__6_16:45:21_PST_2023
Cuda compilation tools, release 12.0, V12.0.140
Build cuda_12.0.r12.0/compiler.32267302_0
参考:
https://modules.readthedocs.io/en/latest/INSTALL.html
https://www.fasteda.cn/post/22.html
https://blog.csdn.net/Michael177/article/details/121152904
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)