slurm集群上的并行

2021年5月1日

除了线程并行、进程并行,在shine集群上我们还可以在节点或slurm任务级别并行。

假设有1000个文件夹,每个文件夹要用被CreateLabel.py处理。我们可以创建1000个slurm任务,每个任务接受一个参数,即文件夹路径。

为了减少阻塞其他任务,slurm并行任务需要再原基础上加两倍nice。若原本是GPU任务,设–nice=300;若原本是CPU任务,设–nice=200。