slurm集群上的并行

除了线程并行、进程并行，在shine集群上我们还可以在节点或slurm任务级别并行。

假设有1000个文件夹，每个文件夹要用被CreateLabel.py处理。我们可以创建1000个slurm任务，每个任务接受一个参数，即文件夹路径。

为了减少阻塞其他任务，slurm并行任务需要再原基础上加两倍nice。若原本是GPU任务，设–nice=300；若原本是CPU任务，设–nice=200。