将RStudio Wor英格兰vs伊朗让球kbench与Slurm集成#
概述#
这些步骤描述了如何集成RStudio Workbench,英格兰vs伊朗让球前身为RStudi英格兰vs伊朗让球o Server Pro1,使用Launcher和Slurm。
在此配置中,RStudio Workbench和Lau英格兰vs伊朗让球ncher服务将安装到Slurm集群中的一个节点上,而RStudio Workbench会话组件将安装到所有其他Slurm节点上。
信息
Launcher是RStudio Workbench 1.英格兰vs伊朗让球2的一个新特性2这只在命名用户许可下可用。英格兰vs伊朗让球没有Launcher的RStudio Workbench 1.2在现有的基于服务器的许可下可用。关于在RStudio Workbench中使用Launcher的问题,请联系英格兰vs伊朗让球sales@英格兰vs伊朗让球rstudio.com.
先决条件#
- 一个现有的Slurm集群
- Slurm的最低支持版本卡塔尔世界杯欧洲预选赛赛程表是20.02.x
飞行前的配置检查#
验证主Slurm计算节点
在一台配置了Slurm的机器上,通过运行以下命令,确保有一个或多个工作节点准备接受作为Slurm集群一部分的作业:
终端sinfo美元
用测试作业验证功能
在一台配置了Slurm的机器上,通过运行测试命令,确保您能够将一个示例作业部署到您的Slurm集群:
终端美元srun日期
你也可以创建一个名为submit.sh的示例脚本:
文件:submit.sh# !/bin/bash## SBATCH——作业名=测试# = res.txt SBATCH——输出## SBATCH——ntasks = 1# SBATCH——时间= 10Srun主机名Srun睡眠60
然后执行以下命令提交作业:
终端美元sbatch submit.sh
验证它是否在Slurm集群上成功运行。
步骤1。在一个Slurm英格兰vs伊朗让球节点上安装RStudio Workbench#
你可以安装RStudi英格兰vs伊朗让球o工作台可以访问Slurm工具的任何Slurm节点,例如sbatch
,srun
,sinfo
等。这可以是Slurm登录/提交节点、控制节点或计算节点。
请注意
您只需要在一个节点上安装RStudio Workb英格兰vs伊朗让球ench。在后面的步骤中,您将在其他Slurm节点上安装R和RStudio工作台会话组件。英格兰vs伊朗让球
步骤2。使用Launcher英格兰vs伊朗让球配置RStudio Workbench#
在安装了RStudio Workbe英格兰vs伊朗让球nch的节点上,向RStudio Workbench配置文件中添加以下行:
文件:/etc/rst英格兰vs伊朗让球udio/rserver.conf#发射器配置launcher-address=127.0.0.1launcher-port=5559launcher-sessions-enabled=1launcher-default-cluster=Slurmlauncher-sessions-callback-address=http:// <服务器地址>:8787
我们建议您做以下工作:
- 在
launcher-sessions-callback-address
设置,您应该更换<服务器地址>
带有RStudio Workbench的主机名或IP地址。英格兰vs伊朗让球 如果使用HTTPS或其他端口,还应该更改协议和端口。
请注意
如果使用的是HTTPS,请确保使用了
launcher-use-ssl = 1
中配置rserver.conf
文件。
- 在
确保
launcher-sessions-callback-address
可以从Slurm计算节点访问。
步骤3。配置启动器设置和插件#
在安装了RStudio Workbe英格兰vs伊朗让球nch的节点上,向Launcher配置文件添加以下行:
文件:/etc/rst英格兰vs伊朗让球udio/launcher.conf(服务器)地址=127.0.0.1港口=5559服务器用户=英格兰vs伊朗让球rstudio-server管理员组=英格兰vs伊朗让球rstudio-serverauthorization-enabled=1线程池的大小=4enable-debug-logging=1(集群)的名字=Slurm类型=Slurm
步骤4。为Launcher Slurm插件配置配置文件#
在安装了RStudio Workbe英格兰vs伊朗让球nch的节点上,向Launcher配置文件添加以下行:
文件:/etc/rst英格兰vs伊朗让球udio/launcher.slurm.profiles.conf(*)default-cpus=1default-mem-mb=512max-cpus=2max-mem-mb=1024
第5步。使用Slurm配置Launcher#
在安装了RStudio Workbe英格兰vs伊朗让球nch的节点上,向Launcher Slurm配置文件中添加以下行:
文件:/etc/rst英格兰vs伊朗让球udio/launcher.slurm.confslurm-service-user=slurmenable-debug-logging=1
请注意
如果Slurm CLI安装在非默认位置,则必须在Slurm配置文件中指定。例如:
文件:/etc/rst英格兰vs伊朗让球udio/launcher.slurm.confslurm-service-user=slurmslurm-bin-path=/usr/local/bin
如果在配置文件中添加非默认位置失败,则可能返回以下错误:
错误[rstudio-slurm-launche英格兰vs伊朗让球r] ERROR slurm ERROR 7 (slurm command exited due to an unknown ERROR: /bin/sh: scontrol: command not found .
的slurm-service-user
应该与集群中的Slurm服务用户相匹配。
步骤6。验证Slurm配置和集群环境#
验证满足以下要求,以便RStudio Workbench和Launcher与您的Slurm集群工作:英格兰vs伊朗让球
- 所有Slurm节点都应该通过共享文件存储挂载用户的主目录,并在所有节点上使用匹配的用户和组id。
- 的
根
用户应该对所有用户的主目录有读访问权。 在您的Slurm配置文件(
slurm.conf
),MinJobAge
设置应等于或大于job-expiry-time
设置在/etc/英格兰vs伊朗让球rstudio/launcher.conf
,默认为24小时。为了使它们都是24小时,你需要设置MinJobAge = 86400
在你的slurm.conf
.请注意
的
MinJobAge
设置在slurm.conf
配置为秒,而不是小时。
步骤7。确保Slurm计算节点上有“R”可用#
- 在集群中的每个Slurm计算节点上(您没有安装RStudio Workbench),您将需要安装一个或多个版本的R和相关的R包,以便能够通英格兰vs伊朗让球过Slurm启动R会话。
- 我们建议将R安装到共享文件服务器或网络驱动器位置,以便所有计算节点都可以使用任何已安装的包。您还可以使用集群上可用的现有版本的R和环境模块。
当使用多个版本的R时,共享文件
/var/lib/英格兰vs伊朗让球rstudio-server / r-versions
必须被所有Slurm节点访问。注意,这个文件是由RStudio Workbench生成的,它的位置可以英格兰vs伊朗让球通过设置来更改r-versions-path = <共享目录> / r-versions
在rserver.conf
.信息
有关在R的多个版本中使用Launcher和Slurm以及模块加载的更多信息,请参阅R和模块加载的多个版本RStudio工作台启动器管理英格兰vs伊朗让球指南和R版本RStudio工作台管理指南的英格兰vs伊朗让球部分。
- 或者,您也可以按照下面的步骤手动安装R和R包安装R在每个Slurm计算节点上。
步骤8。在Slurm计算英格兰vs伊朗让球节点上安装RStudio Workbench会话组件#
在集群中的每个Slurm计算节点上(您没有在其中安装RStudio Workbench),您将需要安装RStudio Workbench会英格兰vs伊朗让球话组件并创建一个英格兰vs伊朗让球rstudio-server
用户能够通过Slurm启动R会话。
使用以下命令在每个Slurm计算节点上安装RStudio Workbench会话组件英格兰vs伊朗让球:
sudo yum安装libcurl-devel libuser-devel openssl-devel rrdtool postgresql-libs curl - o https://s3.amazonaws.com/rstudi英格兰vs伊朗让球o ide - build/session/rhel8/rsp会话- rhel8 2022.02.3 - 492. - pro3.tar.gz sudo mkdir - p /usr/lib/rstudio-server sudo焦油-zxvf。/负责会话- rhel8 2022.02.3 - 492. - pro3.tar.gz - c /usr/lib/rstudio-server / sudo mv /usr/lib/rstudio-server rsp-session * / * /usr/lib/rstudio-server / sudo rm射频/usr/lib/rstudio-server / rsp-session * rm - f。/负责会话- rhel8 2022.02.3 pro3.tar.gz——492.
sudo yum安装libcurl-devel libuser-devel openssl-devel rrdtool postgresql-libs curl - o https://s3.amazonaws.com/rstudi英格兰vs伊朗让球o ide - build/session/centos7/rsp会话- centos7 2022.02.3 - 492. - pro3.tar.gz sudo mkdir - p /usr/lib/rstudio-server sudo焦油-zxvf。/负责会话- centos7 2022.02.3 - 492. - pro3.tar.gz - c /usr/lib/rstudio-server / sudo mv /usr/lib/rstudio-server rsp-session * / * /usr/lib/rstudio-server / sudo rm射频/usr/lib/rstudio-server / rsp-session * rm - f。/负责会话- centos7 2022.02.3 pro3.tar.gz——492.
sudo apt-get安装旋度libcurl4-gnutls-dev libssl1.0.0 libssl-dev libuser libuser1-dev rrdtool libpq5 curl - o https://s3.amazonaws.com/rstudio i英格兰vs伊朗让球de - build/session/bionic/rsp会话-仿生2022.02.3 - 492. - pro3.tar.gz sudo mkdir - p /usr/lib/rstudio-server sudo焦油-zxvf。/负责会话-仿生2022.02.3 - 492. - pro3.tar.gz - c /usr/lib/rstudio-server / sudo mv /usr/lib/rstudio-server rsp-session * / * /usr/lib/rstudio-server / sudo rm射频/usr/lib/rstudio-server / rsp-session * rm - f。/负责会话-仿生2022.02.3 pro3.tar.gz——492.
sudo apt-get安装rrdtool libuser libuser1-dev libpq5 curl - o https://s3.amazonaws.com/rstudi英格兰vs伊朗让球o ide - build/session/debian9/rsp会话- debian9 2022.02.3 - 492. - pro3.tar.gz sudo mkdir - p /usr/lib/rstudio-server sudo焦油-zxvf。/负责会话- debian9 2022.02.3 - 492. - pro3.tar.gz - c /usr/lib/rstudio-server / sudo mv /usr/lib/rstudio-server rsp-session * / * /usr/lib/rstudio-server / sudo rm射频/usr/lib/rstudio-server / rsw-session * rm - f。/负责会话- debian9 2022.02.3 pro3.tar.gz——492.
sudo zypper安装libuser-devel curl - o https://s3.amazonaws.com/rstudi英格兰vs伊朗让球o ide - build/session/opensuse/rsp会话- opensuse 2022.02.3 - 492. - pro3.tar.gz sudo mkdir - p /usr/lib/rstudio-server sudo焦油-zxvf。/负责会话- opensuse 2022.02.3 - 492. - pro3.tar.gz - c /usr/lib/rstudio-server / sudo mv /usr/lib/rstudio-server rsp-session * / * /usr/lib/rstudio-server / sudo rm射频/usr/lib/rstudio-server / rsp-session * rm - f。/负责会话- opensuse 2022.02.3 pro3.tar.gz——492.
所需的依赖项
RHEL / CentOS:
- 您必须安装
postgresql-libs
因为这是一个要求。
Debian / Ubuntu:
- 您必须安装
libpq5
因为这是一个要求。
- 您必须安装
创建
英格兰vs伊朗让球rstudio-server
在每个Slurm计算节点上,首先检查uid
而且gid
的英格兰vs伊朗让球rstudio-server
用户通过运行id 英格兰vs伊朗让球rstudio-server
在RStudi英格兰vs伊朗让球o Workbench主机上。然后,在每个计算节点上执行如下命令:终端$ sudo useradd——system——gid < rstudio-s英格兰vs伊朗让球erver> rstudio-server的gid $ sudo useradd——system——gid rstudio-server——uid < rstudio-server> rstudio-server的uid
第9步。重新启动RStu英格兰vs伊朗让球dio工作台和启动器服务#
2 .执行以下命令重启服务:
终端$ sudo 英格兰vs伊朗让球rstudio-server restart
第10步。用Laun英格兰vs伊朗让球cher和Slurm测试RStudio Workbench#
- 在浏览器中,导航到RStudio Workbench界面并登录。英格兰vs伊朗让球
- 选择新会话,然后按开始会议按钮。
- 然后可以使用RStudio Session英格兰vs伊朗让球,它将作为Slurm作业运行。
附加的文档#
有关RStudio Workbench和Laun英格兰vs伊朗让球cher的更多信息,请参考以下参考文档:
故障排除RStudio工作台和S英格兰vs伊朗让球lurm#
请参阅有关的支持文章卡塔尔世界杯欧洲预选赛赛程表RStudio Workbench中的故障排除启动器和Slurm英格兰vs伊朗让球了解有关使用Launcher和Slurm排除RStudio Workbench故障的更多信息英格兰vs伊朗让球。