爱华网一、集群系统简介与登陆
本集群为曙光5000A刀片集群，主要由普通计算结点、SMP胖节点、存储结点、登录节点、管理节点、千兆以太交换网络、高速通信交换网络（Infiniband）等部分组成。集群的理论峰值为3.5万亿次。
其中计算节点为曙光TC2600刀片，共44片，每块刀片均配备2颗主频为2.0GHz的AMD4核CPU，16GB内存；SMP胖节点为曙光A950r-F，共1台，配备8颗主频为2.0GHz的AMD4核CPU，64GB内存；其他节点均为曙光A620r-FX，配备2颗主频为2.0GHz的AMD4核CPU，8GB内存；该平台配备存储20TB。
本集群基于ROCKS 5.0构建，各节点操作系统为CentOS 5.2（与RedHat Linux 企业版相应版本兼容）
集群目前使用SSH登录，登录地址为：hpc2.sysu.edu.cn
二、编译系统
1、GNU编译器：gcc v4.1.2 / gcc34 v3.4.6 / g77 v4.1.2 /gfortran v4.1.2
2、PGI编译器：PGI v7.1.4
其中pgcc, pgCC, pgf90安装位置：/data/dawning/pgi/linux86/7.1/bin
三、并行环境
1、mpich
版本：1.2.7p1
安装位置：/data/dawning/mpich-1.2.7p1/
2、openmpi
版本：1.2.8
(1)独立使用：
安装位置：GCC版：（无）
PGI版：/usr/mpi/pgi/openmpi-1.2.8/
(2)配合作业调度：
安装位置：/data/dawning/openmpi -1.2.8
3、mvapich
版本：1.1.0
安装位置：/data/dawning/hpl/ mvapich-1.1
4、mvapich2
版本：1.2p1
安装位置：/data/dawning/hpl/mvapich2-1.2p1/
5、 hpmpi
版本：2.0.1
安装位置：/opt/hpmpi/
四、作业调度系统
版本：Torque v2.1.11
安装位置：/var/spool/torque/
任务提交方法简介见第七节
五、数学库
1、ACML（无）
安装位置：/state/partition1/dawning/pgi/linux86-64/7.1-4/lib/
2、GotoBLAS
安装位置：/data/dawning/GotoBLAS/
3、LAPACK
安装位置：/data/dawning/lapack-3.1.1/
4、ScaLapack
安装位置：/data/dawning/scalapack-1.8.0/
5、MPIBLACS
安装位置：/data/dawning/BLACS/
6、FFTW v2.15
安装位置：/data/dawning/fftw2.15/lib/
7、FFTW v3.2
安装位置：/data/dawning/fftw3.2/lib/
8、NETCDF
安装位置：/data/dawning/netcdf
六、科学计算软件
1、MM5
安装位置： /data/dawning/MM5/ 以及 /data/soft/MM5/
使用方法：
su – mm5
进入算例目录 cd /data/soft/MM5
根据实际需要修改mm5.pbs
qsub mm5.pbs
[附mm5.pbs范例：
#PBS -N mm5
#PBS -l nodes=2:ppn=8
echo $PBS_NODEFILE
cd /data/soft/MM5/
/state/partition1/dawning/openmpi/bin/mpiexec -mcabtl openib,self -np 16 /data/soft/MM5/mm5.mpp.static ]
2、WRF
安装位置： /data/dawning/WRFV2/ 以及 /data/soft/WRFV2/
使用方法：
su – wrf
进入算例目录 cd /data/soft/WRFV2/test/em_real
根据实际需要修改wrf.pbs
qsub wrf.pbs
3、VASP
安装位置：/data/dawning/vasp-4.6.28/ 以及/data/soft/vasp/
使用方法：
进入算例目录 /data/soft/vasp/
根据实际需要修改vasp.pbs
qsub vasp.pbs
4、MATERIAL STUDIO
安装位置： /data/soft/MSI42/
5、CASTEP
安装位置：/data/soft/MSI42/CASTEP/
使用方法：
在.bashrc中设置环境变量
# User specific aliases and functions
# Parallel Environment Setting for Materials Studio4.3
export MS_INSTALL_ROOT=/data/user/msi/Accelrys/MaterialsStudio43/
export DMOL3_DATA=$MS_INSTALL_ROOT/Data/Resources/Quantum/DMol3
export DMOL_TMP=~/scratch
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/data/user/msi/Accelrys/LicensePack/linux/lib/
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$MS_INSTALL_ROOT/lib
export TMPDIR=$DMOL_TMP
export PATH=$PATH:~/Accelrys/MaterialsStudio43/etc/CASTEP/bin/ . ~/Accelrys/LicensePack/etc/lp_profile
eval `~/Accelrys/MaterialsStudio43/share/license/data/lic_setup.sh ~/Accelrys/MaterialsStudio43/ -s sh`
进入算例文件夹，如/data/usr/msi/算例文件夹
qsub msi.pbs
6、WIEN2k
安装位置： /data/soft/wien2k08
7、SIESTA
安装位置：/data/soft/siesta-2.0.2/
使用方法： qsub siesta.pbs
七、作业调度系统使用简介
使用本集群的所有用户，均应通过Torque作业调度系统提交任务，作业提交与管理方式，参照以下介绍的命令。
1、后台提交作业qsub
语法: qsub [-a date_time] [-A account_string] [-epath] [-h] [-I] [-j join] [-k keep] [-l resource_list] [-mmail_options] [-n Node_allocation_Method [-L v1,[v2,[v3,[v4]]]]][-M user_list] [-N name] [-o path] [-p priority] [-q pool] [-r y|n][-u user_list] [-v variable_list] [-V] [script]
参数: script参数被省略时，该命令可以从标准输入获得脚本文件名。
-a间。格式为[[[[CC]YY]MM]DD]hhmm[.SS]。CC表示世纪，YY表示年（后两位数字），MM表示月（两位数字），DD表示天（两位数字），hh表示小时（两位数字），mm表示分（两位数字），SS表示秒（两位数字）。如果DD指定的是未来日子，而未指定MM，则MM缺省值为当前月，否则，MM的缺省值为下个月。如果hhmm指定的未来时间，而未指定DD,则DD的缺省值为当天，否则，DD的缺省值为明天。如果提交作业时使用该选项，当指定时间还没到时，作业状态显示为”W”。
-e指定错误输出文件名，格式为[hostname:]path_home。Hostname是返回错误输出文件的主机名，path_home是错误输出文件的绝对路径，如果指定了相对路径，则相对用户的主目录。不使用该选项时，缺省值是在用户主目录下，以“作业名.e作业ID”命名的文件
-o指定输出文件名，格式为[hostname:]path_home。缺省值是在用户主目录下，以“作业名.e作业ID”命名的文件
-h 指定在提交作业时，设置用户级’u’挂起。如果不指定，则设置挂起类型为’n’,即不挂起。
-I 指定作业以交互方式运行。
-j指定合并错误输出和实际输出。如果指定’oe’，则合并到标准输出文件中；如果指定’eo’，则合并到标准错误输出文件中.
-k指定执行主机是否保留错误输出和实际输出。如果指定‘o’,则仅保留标准输出；如果指定’e’，则仅保留标准错误输出；如果指定’oe’或‘eo’,则保留标准输出和标准错误输出；如果指定’n’,则不保留任何输出。
-l 指定作业所需要的资源，设定对可消耗资源的限制。如果不设置，则无限制。例如：resource_name[=[value]][,resource_name[=[value]],…]
LINUX系统可以设置的资源有cput, file, pcput, pmem, pvmem,vmem, walltime, arch, nodes, ncpus等；
Cput指作业的所有进程使用cpu最长时间；
File指作业可以建立单个文件大小的最大限制；
Pcput指作业的单个进程可以使用CPU的最长时间；
vmem指作业可以使用的物理内存的最大值；
Pmem指作业的单个进程可以使用的物理内存的最大值；
Pvmem指作业的单个进程可以使用的虚拟内存的最大值；
walltime指作业处于运行状态的最长时间；
arch 指定系统管理员所定义的系统结构类型；
host指定作业运行的主机名；
nodes指定作业独占使用的结点数目和属性，使用“+”可以连接多种结点的定义。
结点的属性和主机名或数目之间通过“：”分隔。如果不指定结点数，则缺省为1。结点的属性包括ppn（每个结点上的进程数,缺省为1）和系统管理员设置的属性（如batch、bigmem）
例如：请求12个结点，不管其属性
-l nodes=12
请求12个属性为batch的结点和14个属性为bigmem的结点
-l nodes=12:batch+14:bigmem
请求4个结点，每个结点上使用2个CPU
-l nodes=4:ppn=2
software 指作业要求的软件包
-m 定义何时给用户发送有关作业的邮件。可设定的选项有：
n 不发送邮件
a 当作业被批处理系统中断时，发送邮件
b 当作业开始执行时，发送邮件
e 当作业执行结束时，发送邮件
-M指定发送有关作业信息的邮件用户列表。格式为user[@host][,user@[host],…]缺省值为提交作业的用户。
-N 指定作业的名字。缺省值为脚本的名字，如果没有指定脚本，则为STDIN。
-p 指定作业的优先级，优先级的范围是[-1024, +1023]。缺省值是没有优先级。
-q 指定作业的目的地(结点池)，目的地可有三种格式：
pool
@server
pool@server
-r y|n指定作业是否可重新运行。指定‘y’时，作业可以重新运行；指定’n’时，作业不能重新运行。缺省值为’n’。
-v格式为variable1,variable2,…或variable1=value,variable2=value,…这些变量和其值可以传递到作业中。
-V 指定qsub命令的所有的环境变量都传递到批处理作业中。
作用: 以脚本文件的形式向批处理服务器提交作业。
举例:
运行MPI程序的脚本cpi.ljrs如下：
#!/bin/sh
### Job name
#LJRS -N test
### Declare job non-rerunable
#LJRS -r n
### Output files
#LJRS -e test.err
#LJRS -o test.log
### Mail to user
#LJRS -m ae
### pool name (small, medium, long, verylong)
#LJRS -q dque
### Number of nodes (node property ev67 wanted)
#LJRS -l nodes=8:batch
# This job’s working directory
echo Working directory is $LJRS_O_WORKDIR
cd $LJRS_O_WORKDIR
echo Running on host ‘hostname‘
echo Time is ‘date‘
echo Directory is ‘pwd‘
echo This jobs runs on the followingprocessors:
echo ‘cat $LJRS_NODEFILE‘
# Define number of processors
NPROCS=‘wc -l < $LJRS_NODEFILE‘
echo This job has allocated $NPROCS nodes
# Run the parallel MPI executable “a.out”
mpirun -v -machinefile $LJRS_NODEFILE -np $NPROCScpi
1、把脚本文件cpi.ljrs提交到结点池dque中运行。
$ qsub cpi.ljrs
35.console
$ qstat
Job id Name User TimeUse S Pool
35.console cpi zhangxq 0:00:00 R dque
2、把脚本作业cpi.ljrs提交到结点池long中运行，并且当作业开始运行时，给用户发送电子邮件。
$qsub -P long -m b cpi.ljrs $qstat
Job id Name User TimeUse S Pool
36.console cpi zhangxq 0 R long
3、使用15个结点运行cpi.ljrs，运行时间不能大于2小时，作业占用的内存能大于15mb
$qsub –l nodes=15,walltime=2:00:00,mem=15mbcpi.ljrs
4、综合考虑CPU、内存、缓冲区、硬盘等因素的使用情况，设置其权值分别为5, 4, 3, 2.
$qsub –l nodes=5 -n syn –L 5, 4, 3, 2 cpi.ljrs
5、使用-I和–l选项在指定的结点上交互式运行作业
$ qsub –I -l nodes=c0101
运行该命令后,系统将自动切换到c0101的虚拟终端,所有的标准输入和标准输出和标准错误输出均都显示在该终端上.在系统出现”waiting to jobid tostart”时,用户若按^C键,即可中断该交互作业.当该交互作业已经启动后,用户除了交互式运行作业外,还可进行以下操作:
~. 该命令将使qsub退出，且终止作业。
~^Z挂起qsub,作业依然保持运行状态，无任何输入输出。用户可以在本地shell上提交命令。
~^Y部分挂起qsub，因为还可以给作业发送输入，而且接受作业的输出的同时，还可以在本地shell提交命令。
2、查看状态qstat
语法：qstat [-f][-W site_specific] [job_identifier...| destination...]
qstat -Q [-f][-W site_specific][destination...]
qstat -B [-f] [-W site_specific][server_name...]
参数：destination可以为pool，@server，pool@server
作用：查看作业、结点池和批处理服务器的状态。命令格式一可以输出所指定作业ID或者结点池 中所有作业的状态，命令格式二可以输出每个结点池的状态信息，命令格式三可以输出服务器的状态。
举例：
1. 显示已经配置的所有结点池状态信息。
qstat -q
2. 显示已经提交的作业状态信息
qstat -a
3. 显示指定作业的所有状态信息
$ qstat -f 23.console
mtime = Sun Apr 28 19:54:48 2002
Output_Path = console:/home/zhangxq/cpi.o23
Priority = 0
qtime = Sun Apr 28 19:54:48 2002
Rerunable = True
Resource_List.cput = 00:00:59
Resource_List.nodect = 2
Resource_List.nodes = 2:ppn=1
Variable_List =LJRS_O_HOME=/home/zhangxq,LJRS_O_LANG=en_US
……
4. 显示服务器的状态
$qstat –B
Server Max Tot Que Run Hld Wat Trn Ext Status
console 0 0 0 0 0 0 0 0 Active
3、查询作业qselect
语法：qselect [-a [op]date_time] [-A account_string][-h old_list] [-l resource_list] [-N name] [-p [op]priority] [-qdestination] [-r y|n] [-s states] [-u user_list]
参数：op表示某一个作业属性值和选项参数值之间的关系。如
.eq. （等于）
.ne. （不等于）
.ge. （大于或等于）
.gt. （大于）
.le. （小于）
其它参数含义见qsub命令。
作用：列出符合选项要求的作业ID。这些作业来自于单个服务器。如果没有任何选项，该命令则列出该用户被授权的服务器上的所有作业。对那些普通用户来说，该命令只显示该用户所提交的作业。
举例：
1. 查询用户所提交的作业
$ qsub -q long cpi.ljrs
28.console
$ qselect
25.console
28.console
2. 查询指定结点池中的作业
$ qstat
Job id Name User TimeUse S Pool
25.console cpi zhangxq 0 Q dque
29.console cpi zhangxq 0 R long
$ qselect -P dque
25.console
3. 查询指定主机上的作业
$ qstat
Job id Name User TimeUse S Pool
25.console cpi zhangxq 0 Q dque
29.console cpi zhangxq 0 R long
$ qselect -P @console
25.console
29.console
4、挂起作业qhold
语法：qhold [-h hold_list] job_identifier …
作用：挂起批处理作业。挂起有三种类型：普通用户级‘u’、管理员级（操作员级）‘o’、系统级‘s’，缺省值为不挂起‘n’。用户只能在用户级别挂起自己提交的作业，操作员可以在用户级和操作员级挂起任何作业，系统管理员可以在任何级别上挂起任何作业。
在执行该命令时，如果作业在运行结点池里排队，那么作业将直接被挂起；如果作业处于运行状态，为了中断作业的执行，必须采取其他办法。如果被挂起作业的主机系统支持一致点检查或者重新启动，则挂起正在运行作业将引发以下操作：首先检查作业的一致性，然后释放该作业所占用的资源，最后该作业位于执行结点池中，处于挂起状态；如果被挂起作业的主机系统不支持一致点检查或者重新启动，则仅设置指定的挂起作业类型，而实际上并不能挂起，除非调用qrerun命令重新运行该作业时，该挂起请求才生效。
举例：
1. 使用普通用户身份挂起作业
$ qhold -h u 25.console $ qstat
Job id Name User TimeUse S Pool
25.console cpi zhangxq 0 H dque
2. 以操作员身份挂起作业
$ qhold -h o 25
qhold: Unauthorized Request 25.console
$ su root
$ qhold -h o 25
$ qstat
Job id Name User TimeUse S Pool
25.console cpi zhangxq 0 H dque
5、释放作业qrls
语法：qrls [-h hold_list] job_identifier ...
作用：释放被挂起的批处理作业。由于作业的挂起有三种类型：USER、OPERATOR和SYSTEM。所以，要释放不同类型的作业挂起，用户就必须具有相应的权限。缺省为USER级
举例：释放在普通用户和操作员级被挂起的作业。
$ qstat
Job id Name User TimeUse S Pool
25.console cpi zhangxq 0 H dque
$ qrls -h uo 25
$ qstat
Job id Name User TimeUse S Pool
25.console cpi zhangxq 0 Q dque
6、重新运行作业qrerun
语法：qrerun job_identifier ...
作用：重新运行所指定的作业。
举例：如果作业允许别重新执行（缺省值是可以重新运行）。ROOT用户运行该命令，可以终止本次运行，把该作业放入其原来所在的结点池中，重新运行。
$ qrerun 27
qrerun: Unauthorized Request 27.console
$ su – root
$ qstat
Job id Name User TimeUse S Pool
25.console cpi zhangxq 0 Q dque
27.console cpi zhangxq 0 R dque
$ qrerun 27
$ qstat
Job id Name User TimeUse S Pool
25.console cpi zhangxq 0 Q dque
27.console cpi zhangxq 0 R dque
7、更改作业属性qalter
语法：qalter [-a date_time] [-A account_string] [-epath] [-h hold_list] [-j join] [-k keep] [-l resource_list] [-mmail_options] [-M user_list] [-N name] [-o path] [-p priority] [-rc] [-u user_list] job_identifier...
参数：各参数的含义见qsub命令。
作用：更改批处理作业的属性。主要修改所指定作业ID的相关属性（选项表中所列出的属性）。
举例：1. 更改批处理作业的运行时间属性。
$ qalter -a 0309251000 23.console
2. 更改给用户发送邮件的时间为作业中止和运行结束时
$ qalter –m ae 23.console
8、删除作业qdel
语法：qdel [-W delay|force] job_identifier ...
参数：-W 当指定delay 时，表示在删除作业前需要等待的时间（秒）
当指定force时，强制删除该作业。
作用：删除批处理作业。按照命令行中所指定的作业ID的顺序来删除作业。
举例：$ qstat
Job id Name User TimeUse S Pool
22.console cpi zhangxq 0 Q long
$ qdel 22
9、给作业发送消息qmsg
语法：qmsg [-E] [-O] message_string job_identifier...
参数：-E 将消息串写入错误输出文件
-O将消息串写入输出文件
作用：给批处理作业发送消息。该命令通过给作业的所有者（批处理服务器）发送消息，从而把消息写入作业的输出文件，也就是说，该命令并不是直接把消息写入作业的输出文件。
举例：给正在运行的作业发送消息，该消息被写入所指定作业的错误输出文件中。
$ qstat
Job id Name User TimeUse S Pool
25.console cpi zhangxq 0 Q dque
26.console cpi zhangxq 0 R dque
$ qmsg “The job is running” 26
$ more cpi.e26
The job is running
10、在结点池之间移动作业qmove
语法：qmove destination job_identifier ...
参数：destination可以为结点池名
作用：把批处理作业移到其他结点池中去运行。即把作业从所在的结点池中删除，并放在其他结点池中。
举例：
$ qstat
Job id Name User TimeUse S Pool
22.console cpi zhangxq 0 Q dque
$ qmove long 22
$ qstat
Job id Name User TimeUse S Pool
22.console cpi zhangxq 0 Q long
11、给作业发送信号qsig
语法：qsig [-s signal] job_identifier ...
参数：参数signal可以为信号名称，如SIGKILL,KILL,SIGNULL或者无符号整数，如9、0。
作用：给正在运行的批处理作业发送信号。如果不指定-S选项，则发送“SIGTERM”信号。如果有下列原因之一，如用户无权给作业发送信号、作业未处于运行状态和该信号请求对作业所运行的系统无效，则拒绝执行该命令请求。
12、查看和管理结点ljrsnodes
语法：ljrsnodes [- {c|o|r}] [nodename …] ljrsnodes -{a|l }]
参数：-a 列出所有结点及其属性，属性包括“state”和“properties”
-c 清除结点列表中的“offline”或“down”状态设置，使结点可以被分配给作业。
-l 以行的方式列出被标记的结点的状态 -o将指定结点的状态标记为“offline”。这将帮助管理员暂时停止某些结点的服务。
-r 清除指定结点的“offline”状态
作用：该命令可以标记结点的状态为“offline”、“down”或“free”,也可以帮助用户查看结点信息。除了”-a”和“-l”选项外，使用其他选项需要拥有操作员和管理员权限。
举例：1、查看所有结点信息
ljrsnodes -a
2、将结点标记为“offline”状态
ljrsnodes –o c0108
3、清除结点的“offline”状态设置
ljrsnodes –c c0108 或 ljrsnodes –r c0108
13、查看所有计算结点的状态shownodes
语法：shownodes [-h]
作用：按照结点池分类显示各结点池中结点的状态，结点状态以不同颜色显示。并在结点名后以数字代表可用CPU数和总共CPU数。例如c0101-2/2,表示c0101结点可用2CPU总共2CPU，c0102-1/2表示C0102可用1CPU总共2CPU。
举例：$shownodes –h
