slurm集群上的并行
2021年5月1日除了线程并行、进程并行，在shine集群上我们还可以在节点或slurm任务级别并行。 假设有1000个文件夹，每个文件夹要用被CreateLabel.py处理。我们可以创建1000个slurm任务，每个任务接受一个参数，即文件夹路径。 为了减少阻塞其他任务，slurm并行任务需要再原基础上加两倍ni […]
除了线程并行、进程并行，在shine集群上我们还可以在节点或slurm任务级别并行。 假设有1000个文件夹，每个文件夹要用被CreateLabel.py处理。我们可以创建1000个slurm任务，每个任务接受一个参数，即文件夹路径。 为了减少阻塞其他任务，slurm并行任务需要再原基础上加两倍ni […]
如果没有指定–output和–error，sbatch就会使用默认值，即写到文件。但是，是否立即写到文件则取决于具体的应用。 如果用Python，如果print没有加flush，则输出会被缓存，往往等slurm任务结束才会一次性写到文件。
读者往往从“如何在Bash输出颜色”接触到ANSI转义序列。当探索Bash逐渐深入，读者会在Bash高级用法的特殊按键、键绑定里看到脱字符表示法与ANSI转义序列。本文辨析脱字符表示法与ANSI转义序列。本文不需要读者掌握“输出颜色”的技能。 本文将用带框文字代表键盘上的特殊按键，如Esc代码ESC […]
CategoricalCrossentropy 交叉熵 在数学上，交叉熵（cross entropy）的定义如下 \[ H \left (\vec{y},\vec{\hat{y}} \right )=-\sum_{i=1}^{\left \| y \right \|} y_i \log \hat{y […]
Bash !可以执行上一条命令，!vim可以执行上一条以vim开头的命令，但是Bash并不显示具体的命令是什么，这缺少安全感。 除非shopt -s histverify zsh 同样使用!操作符，zsh会显示将要执行的命令，用户需要再按一次回车进行确认。 zsh（或oh my zsh） 运行命令时 […]
写速度测试 dd if=/dev/zero of=/tmp/mnt/temp oflag=direct bs=128k count=16k fio –name TEST –eta-newline=5s –filename=fio-tempfile.dat R […]
测试配额是否已实施 $ sudo btrfs qgroup show /home ERROR: can’t list qgroups: quotas not enabled $ sudo btrfs quota enable /home g@g:/home$ sudo btrfs sub […]
要注意，shuffle也是延迟执行的。若有代码 import tensorflow as tf dataset = tf.data.Dataset.from_tensor_slices([1, 2, 3]) dataset = dataset.shuffle(3) #.cache() print(l […]
按照 https://www.how2shout.com/how-to/how-to-access-linux-desktop-gui-from-windows-10-remotely.html gqqnbig@gqq-server:~$ echo $DISPLAY localhost:11.0 g […]
查看所有硬盘 lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT loop0 7:0 0 31.1M 1 loop /snap/snapd/11036 loop1 7:1 0 69.8M 1 loop /snap/lxd/19032 loop2 7:2 0 5 […]