srun(1)                         Slurm Commands                         srun(1)



<?><?><?> (NAME)
       srun - <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>


<?><?><?><?><?> <?><?><?><?><?> (SYNOPSIS)
       srun [OPTIONS(0)... [executable(0) [args(0)...]]] [ : [OPTIONS(N)...]]
       executable(N) [args(N)...]

       <?><?><?><?><?><?>(<?><?>) <?><?><?><?><?> <?><?><?> <?><?> <?><?>
       <?><?> <?><?><?> <?><?><?><?><?><?><?>
       <?><?><?><?><?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
       <?><?><?><?><?><?><?>.  <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
       <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
       <?><?><?> <?><?><?> <?><?><?><?><?><?> <?><?><?><?>
       https://slurm.schedmd.com/heterogeneous_jobs.html


<?><?><?><?><?><?><?> (DESCRIPTION)
       <?><?> <?><?><?> <?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?><?><?>
       <?><?> <?><?><?><?> Slurm <?><?><?><?><?><?> <?><?><?><?><?><?>
       <?><?><?><?> <?><?><?><?><?><?>. <?><?> <?><?><?><?> <?><?><?><?><?>
       srun <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
       <?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
       <?><?><?><?> <?><?> <?><?><?><?> <?><?><?>.

       <?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
       <?><?><?><?><?> <?><?> <?><?><?><?><?>
       <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?>
       <?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?><?>.
       https://slurm.schedmd.com/cpu_management.html


<?><?><?><?><?> <?><?><?><?><?><?><?> (RETURN VALUE)
       <?><?><?><?><?> srun <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
       <?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
       <?><?><?><?> <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> (<?><?>
       <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
       <?><?> <?><?> <?><?><?> <?><?><?><?> <?> <?><?><?><?> -- <?><?>
       <?><?><?><?><?> <?><?><?><?> <?><?><?> + <?><?><?><?><?><?>) <?><?>
       <?><?> <?><?><?><?> <?><?> <?><?> <?><?><?><?><?><?> <?><?><?><?>
       <?><?><?> <?><?><?> <?><?> <?><?><?><?><?><?><?><?><?><?><?><?>.
       <?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?><?>
       <?><?><?><?><?> <?><?><?><?><?> (out-of-memory) <?><?><?><?> <?><?><?>
       <?><?><?>.

       <?><?><?><?><?><?> <?><?> <?><?> --async <?><?><?><?><?><?><?><?>
       <?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
       <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?>
       <?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
       <?><?><?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
       <?><?><?><?> <?><?><?><?><?> srun <?><?><?><?><?> 0 <?><?>
       <?><?><?><?><?><?><?><?><?><?><?><?>. <?><?><?><?> <?><?><?><?><?>
       <?><?> <?><?><?><?> <?><?><?> <?><?> <?><?> <?><?><?><?><?> <?><?><?>
       <?><?> sacct(1) <?><?><?><?><?><?><?> <?><?><?><?>.


<?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> (EXECUTABLE PATH
       RESOLUTION)
       <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?>
       <?><?><?><?><?> <?><?><?><?><?><?>:

       <?>. <?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?> <<.>>
       <?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?> <?><?><?> <?><?><?><?>
       <?><?><?><?><?> <?><?><?><?><?><?>: <?><?><?><?><?><?><?><?><?>
       <?><?><?><?> <?><?><?><?> / <?><?><?><?> <?><?><?><?><?><?>
       <?>. <?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?> <</>>
       <?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?> <?><?><?>
       <?><?><?><?><?> <?><?><?><?><?><?>.
       <?>. <?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?> PATH
       <?><?><?><?> <?><?><?><?><?> <?><?><?><?>. path_resolution(7) <?><?>
       <?><?><?><?><?><?>.
       <?>. <?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>
       <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>.

       <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
       <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>
       <?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?> <?><?><?><?><?>
       <?><?><?><?><?><?><?> --chdir <?><?><?><?><?> <?><?><?> <?><?><?><?><?>
       <?><?> <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
       <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>.


<?><?><?><?><?><?><?><?> (OPTIONS)
       -A, --account=<account>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?> <?><?><?> <?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?>
              (<?><?><?><?> <?><?><?><?><?><?>).  account <?><?> <?><?><?><?>
              <?><?><?><?><?><?> <?><?><?>. <?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?> <?><?><?>
              <?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> scontrol
              <?><?><?><?><?> <?><?><?><?>. <?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?>.



       --acctg-freq=<datatype>=<interval>[,<datatype>=<interval>...]
              <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?>
              <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?> <?><?>
              <?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.
              <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
              JobAcctGatherFrequency <?><?> <?><?><?><?> slurm.conf
              <?><?><?><?><?><?><?> <?><?><?>. <datatype>=<interval>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?>
              <?><?> <?><?><?><?> <?><?><?><?><?><?> jobacct_gather <?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?> acct_gather_profile <?><?><?><?>
              <?><?><?><?><?><?>. <?><?><?><?><?> <?><?><?>
              <datatype>=<interval> <?><?><?> <?><?><?> <?><?> <?><?><?><?>
              <?><?> <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>.
              <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?> datatype <?><?><?><?><?><?><?> <?><?>:

              task        <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
                          <?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
                          jobacct_gather <?> <?><?><?><?>
                          <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?>
                          <?><?><?><?> <?><?><?><?><?><?> acct_gather_profile.
                          <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?><?><?>
                          <?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                          <?><?><?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?>
                          <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                          <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>
                          <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                          <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                          <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?>
                          <?><?><?><?><?><?> <?><?><?> <?><?> <?><?>
                          <?><?><?><?> slurm.conf <?><?><?><?><?><?><?><?>
                          <?><?><?> <?><?><?>. <?><?><?> <?><?><?><?><?><?>
                          <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>.



              energy      <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
                          <?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
                          <?><?><?><?> <?><?><?><?><?> <?><?>
                          <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                          acct_gather_energy.



              network     <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
                          <?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
                          infiniband <?><?> <?><?><?><?><?><?><?> <?><?>
                          <?><?><?><?><?><?> acct_gather_interconnect.



              filesystem  <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
                          <?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
                          <?><?><?><?><?><?><?><?><?><?> <?><?>
                          <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                          acct_gather_filesystem.


              <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?>.  <?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> 0 <?><?><?>.  <?><?><?><?><?> 0
              <?><?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?><?>.  <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?> 0 <?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> (<?><?><?><?>
              <?><?><?><?><?> Slurm <?><?> <?><?><?>).
              <?><?><?><?><?><?> <?><?><?><?><?><?><?> (<?><?><?> <?><?><?>)
              <?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
              <?><?><?> <?><?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
              <?><?> <?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?>. <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?>.



       --async
              <?><?> <?><?><?><?> <?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
              srun <?><?> <?><?> <?><?> <?><?><?> <?><?><?><?> <?><?><?>.
              <?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?>
              <?><?><?> <?><?><?><?><?><?><?><?><?><?> <?> <?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?>. <?><?><?><?><?> srun
              <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?><?><?>
              <?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?><?>.
              <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> --parsable
              <?><?> <?><?><?><?><?><?>.

              <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?> <?><?> <?><?> --output <?> --error
              <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
              slurm-%J.out (<?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?>) <?><?><?><?><?><?><?>
              <?><?><?><?><?><?>. <?><?><?><?><?> <?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?> <?><?>
              <?><?><?><?> --input=<file> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?>. <?><?><?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?> srun <?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> (--input=all <?><?>
              --input=<taskid>) <?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?> srun <?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?>/<?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?>. <?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?> --label <?> --unbuffered<?> <?><?> <?><?><?>
              srun<?> <?><?><?> <?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?> slurmstepd(8) <?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?>.

              <?><?> <?><?><?><?> <?><?> srun <?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?> <?>
              <?><?><?><?><?><?><?><?><?> (<?><?><?><?><?> SIGINT <?><?><?><?>
              <?><?> Ctrl-C) <?><?> <?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>.
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?> <?><?> <?><?><?>
              <?><?><?><?><?><?><?> <?><?> scancel <jobid>.<stepid>
              <?><?><?><?><?><?><?> <?><?><?><?>.

              <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?> <?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?> <?><?> <?><?> <?><?><?><?> <?><?><?>
              <?><?><?><?><?><?><?> <?><?><?> (--stepmgr <?><?>
              salloc(1)/sbatch(1) <?> SlurmctldParameters=enable_stepmgr
              <?><?> slurm.conf(5) <?><?> <?><?><?><?><?><?>).

              <?><?><?> <?><?><?><?><?> <?><?> --pty <?> --immediate
              <?><?><?><?><?><?><?><?><?><?> <?><?><?>.

              <?><?><?><?>: <?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?> <?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?> (<?><?><?>)
              <?><?><?> <?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?>.



       --bb=<spec>
              <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?> (burst
              buffer). <?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?>.
              <?><?><?><?><?><?> --bbf <?><?> <?><?><?><?><?><?>. <?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.
              <?><?><?><?><?><?> <?><?> <?><?><?><?><?> --bb
              <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> Slurm <?><?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?> <?> <?><?>
              <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?><?><?> burst buffer
              <?><?><?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?> <?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> Slurm <?><?> <?><?><?><?><?><?>:
              https://slurm.schedmd.com/burst_buffer.html



       --bbf=<file_name>
              <?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?> (burst buffer).
              <?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?>.
              <?><?><?><?><?><?> --bb <?><?> <?><?><?><?><?><?>. <?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?> <?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> Slurm <?><?> <?><?><?><?><?><?>:
              https://slurm.schedmd.com/burst_buffer.html



       --bcast[=<dest_path>]
              <?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?>.  <?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?>.  <?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> <</>> <?><?><?><?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?> <?> <?><?><?> <?><?><?><?>
              <?><?><?><?> slurm_bcast_<job_id>.<step_id>_<nodename>
              <?><?><?><?><?> <?><?><?>.  <?><?><?> <?><?><?> dest_path
              <?><?><?><?> <?><?><?><?> <?><?><?><?> <?> DestDir <?><?>
              BcastParameters <?><?><?><?><?> <?><?> slurm.conf
              <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?> <?><?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> --chdir <?><?><?><?><?><?><?>
              <?><?><?><?><?><?> <?> <?><?><?> <?><?><?><?> <?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?>.  <?><?><?><?> <?><?><?><?><?> <<srun
              --bcast=/tmp/mine -N3 a.out>> <?><?><?><?> <<a.out>> <?><?>
              <?><?> <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?>
              <?><?><?><?> <</tmp/mine>> <?><?><?> <?><?> <?><?> <?><?> <?><?>
              <?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?> <?>
              <?><?> <?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?>.
              <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?>..IP


       --bcast-exclude={NONE|<exclude_path>[,<exclude_path>...]}
              <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?><?> (shared object) <?><?><?><?><?><?> <?><?>
              <?><?><?><?> --bcast<?> <?><?><?><?><?><?> <?><?><?><?>.
              <?><?><?> <?><?><?><?><?><?><?><?><?> <<NONE>>
              <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?>. <?><?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?> BcastExclude <?><?> slurm.conf
              <?><?><?> <?> <?><?><?> <?><?><?><?><?> <?><?> <?><?> <?><?><?>
              (override) <?><?><?><?><?><?>. <?><?><?><?><?><?> --bcast <?>
              --send-libs <?><?> <?><?><?><?><?><?>.



       -b, --begin=<time>
              <?><?><?><?> <?><?><?> <?><?><?> <?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?>.  <?><?><?><?><?><?><?><?><?> <?><?>
              <?><?><?><?> HH:MM:SS <?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?><?><?><?> (<?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?>).  (<?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?>
              <?><?><?> <?><?><?><?><?><?>.)  <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> midnight<?> noon<?> elevenses
              (<?><?><?><?> <?><?> <?><?><?>)<?> fika (<?><?><?><?> <?>
              <?><?><?><?><?><?><?><?>) <?><?> teatime (<?><?><?><?> <?>
              <?><?><?><?><?><?><?><?>) <?><?> <?><?><?><?> <?><?><?><?><?>
              <?> <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?>
              <?><?><?><?><?> AM <?><?> PM <?><?><?><?> <?><?><?><?> <?><?>
              <?><?><?> <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.
              <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?>
              MMDDYY <?><?> MM/DD/YY <?><?> YYYY-MM-DD <?><?><?>
              <?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>.
              <?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
              YYYY-MM-DD[THH:MM[:SS]] <?><?><?><?><?> <?> <?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?>. <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?> now + count time-units <?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?> <?><?> <?><?> time-units
              <?><?><?><?><?><?><?><?> seconds (<?><?><?><?><?><?><?>)<?>
              minutes<?> hours<?> days <?><?> weeks <?><?><?><?>.
              <?><?><?><?><?><?><?><?><?><?><?><?> today <?> tomorrow
              <?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?>.  <?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?> <?><?><?>
              <?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> scontrol
              <?><?><?><?><?> <?><?><?>.  <?><?><?><?> <?><?><?><?>:

                 --begin=16:00
                 --begin=now+1hour
                 --begin=now+60           (seconds by default)
                 --begin=2010-01-20T12:34:00


              <?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?>/<?><?><?><?>:
               - <?><?><?><?><?> <?><?><?><?> 'seconds' <?><?>
              <?><?><?><?><?><?> <?><?><?><?> HH:MM:SS <?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?><?> (poll time)
              <?><?><?><?><?><?><?><?> Slurm <?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?> <?><?><?>. <?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?> <?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?>. <?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?> Slurm <?><?><?><?><?> <?><?><?><?>
              (<?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?> sched/builtin <?><?><?><?><?><?><?>).
               - <?><?><?> <?><?><?><?><?> (HH:MM:SS) <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?> (00:00:00)
              <?><?><?>.
               - <?><?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?> (<?><?><?><?><?> MM/DD)<?> <?><?><?>
              <?><?><?><?> <?><?><?> <?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> MM/DD <?> HH:MM:SS <?><?><?><?>
              <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
              <?><?><?> <?><?><?><?> <?><?><?> <?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?><?>.
              <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?>.



       -D, --chdir=<path>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?> chdir <?><?> path <?><?><?><?><?>
              <?><?><?><?>. <?><?><?><?> <?><?><?><?><?><?><?><?> chdir <?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?> srun <?><?><?>. <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?> <?><?> <?><?> <?><?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?>. <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?>.



       --cluster-constraint=<list>
              <?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?><?>
              <?><?><?><?><?> (federated cluster) <?><?><?><?> <?><?><?><?>
              <?><?><?><?> <?><?> <?><?> <?><?><?> <?><?><?><?><?><?> (sibling
              job) <?><?> <?><?> <?><?><?><?><?> <?><?><?>. Slurm <?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?> <?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?> <?><?><?>.



       -M, --clusters=<string>
              <?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?>.
              <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?> <?><?>
              <?><?><?> <?><?><?>. <?><?><?> <?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?>. <?><?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?> <?><?><?>. <?><?><?><?><?> 'all'
              <?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?>. <?><?> <?><?><?><?><?><?> --export <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?>.  <?><?><?> <?><?><?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?> slurmdbd <?><?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?> FederationParameters=fed_display
              <?><?><?><?> <?><?><?>.



       --comment=<string>
              <?><?> <?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.



       --compress[=type]
              <?><?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?>
              <?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?>.  <?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?><?><?>.  <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?> BcastParameters Compression= <?> <?><?>
              <?><?><?> <?><?><?> <?><?><?><?> "lz4" <?><?><?>.
              <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?> "lz4"
              <?><?><?><?><?>.  <?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?>.  <?><?><?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?> --bcast. <?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?>.



       --consolidate-segments
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?><?> (segments) <?><?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?>.

              <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?>.  <?><?><?><?>: <?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?><?><?> topology/block
              <?><?><?> <?><?><?><?><?> <?><?><?>.



       -C, --constraint=<list>
              <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?> (features) <?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?> Slurm <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>.
              <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?> constraint
              <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?>. <?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?> (soft
              constraints) <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?> --prefer <?><?>
              <?><?><?><?><?><?>.  <?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?>
              <?><?>.  <?><?><?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?> AND<?> OR<?> Matching OR<?>
              <?><?><?><?><?> <?><?><?><?><?> <?> <?><?><?><?> <?><?><?><?>
              <?><?><?> (<?><?><?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>).

              <?><?><?><?>: <?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> (Changeable features)
              <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?><?><?> NodeFeatures
              <?><?><?><?><?> <?><?><?><?><?><?><?>.

              <?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?><?><?> --constraint
              <?><?><?><?><?><?><?> <?><?>:


              Single Name (<?><?><?> <?><?><?>)
                     <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?>.  <?><?><?><?> <?><?><?><?><?>
                     --constraint="intel"



              Node Count (<?><?><?><?><?> <?><?><?>)
                     <?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?>
                     <?><?><?> <?><?> <?><?> <?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?> <?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?>.  <?><?><?><?> <?><?><?><?><?>
                     --nodes=16 --constraint="graphics*4" <?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?> <?><?> <?><?>
                     <?><?><?> <?><?><?><?> <?><?><?><?> <?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> "graphics"
                     <?><?><?><?><?>.  <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?>.

                     <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> NodeFeatures <?><?><?><?> (helpers)
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>.  <?><?>
                     <?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?> (heterogeneous jobs)
                     <?><?><?><?><?><?><?> <?><?><?>.



              AND    <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?>.  <?><?><?><?><?>
                     <?><?><?><?><?><?><?> (&) <?><?><?><?> <?><?><?><?><?>
                     AND <?><?><?><?><?><?><?> <?><?><?><?><?><?>.
                     <?><?><?><?> <?><?><?><?><?> --constraint="intel&gpu"



              OR     <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?>.  <?><?> <?><?><?><?><?> (|)
                     <?><?><?><?> <?><?><?><?><?> OR <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>.
                     <?><?><?><?> <?><?><?><?><?> salloc -N2
                     --constraint="intel|amd" <?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?> <?><?> <?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> intel <?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> amd
                     <?><?><?><?>.  <?><?> <?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> OR <?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?> Matching OR
                     <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?>. <?><?><?><?>
                     <?><?><?><?><?> salloc -N2 --constraint="foo|bar&baz"
                     <?><?> <?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?> <?><?>
                     <?><?><?> foo <?><?><?><?><?><?> <?><?> <?><?> <?><?> bar
                     <?> baz <?><?><?><?><?> (<?><?> <?><?> <?><?> <?><?>
                     <?><?><?> <?><?><?><?><?><?><?><?><?> foo<?> bar <?> baz
                     <?><?> <?><?><?><?><?> <?><?><?><?><?>).
                     <?><?><?><?><?><?><?> helpers <?><?><?><?><?> <?><?>
                     NodeFeatures <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?> <?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?> <?> <?><?>
                     RebootProgram (<?><?><?><?> <?><?><?><?> <?><?>
                     slurm.conf(5)) <?> <?><?><?><?><?><?><?> <?><?><?><?>
                     (<?><?><?><?> <?><?><?><?> <?><?> helpers.conf(5))
                     <?><?><?><?><?> <?><?><?><?><?><?><?>. <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> helpers <?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?> "foo"
                     <?><?> "bar,baz" <?><?> <?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?>.



              Matching OR
                     <?><?><?> <?><?><?><?> <?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
                     OR <?><?><?><?><?><?><?> <?><?><?><?> <?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?> --constraint="[rack1|rack2|rack3|rack4]"
                     <?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?> <?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?>
                     <?><?> <?><?><?><?> <?><?> <?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>..IP


              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?> (Multiple Counts)
                     <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> AND <?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?>.  <?><?><?><?> <?><?><?><?><?>
                     --constraint="[rack1*2&rack2*4]" <?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> <<rack1>>
                     <?> <?><?><?><?> <?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> <<rack2>>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?>.

                     <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> NodeFeatures <?><?> <?><?><?> helpers
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>.

                     <?><?><?><?>: <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?>.



              <?><?><?><?><?><?><?><?> (Brackets)
                     <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>.
                     <?><?><?><?> <?><?><?><?><?>
                     --constraint="[(rack1|rack2)*1&(rack3)*2]" <?><?>
                     <?><?><?> <?><?> <?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?> <<rack1>> <?><?> <<rack2>><?>
                     <?> <?><?> <?><?><?> <?><?> <?><?><?><?><?> <<rack3>>
                     <?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.  <?><?><?> <?><?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?> <?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?>.

                     <?><?><?><?>: <?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> (Multiple Counts) <?> OR
                     <?><?><?><?><?><?> (Matching OR) <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?>.  <?><?><?><?><?><?><?><?>
                     AND <?><?> <?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> (<?><?><?><?><?> <<[quad*2&hemi*1]>>).
                     <?><?><?><?><?><?> (Slurm) <?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?> <?><?><?><?> <?><?>
                     <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>.

                     <?><?><?><?>: <?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> NodeFeatures <?><?> <?><?><?> helpers
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>. OR
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> (|) <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?>.



              <?><?><?><?><?><?><?><?> (Parentheses)
                     <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?>. <?><?><?><?>
                     <?><?><?><?><?>
                     --constraint="[(knl&snc4&flat)*4&haswell*1]"
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?> <<knl>><?> <<snc4>> <?>
                     <<flat>> <?><?> <?><?><?><?><?> <?><?> <?><?><?> <?><?>
                     <?><?><?><?><?> <<haswell>> <?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?><?> <?><?><?>.  <?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?>. <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?> <?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>.
                     <?><?><?><?> <?><?><?><?>: --constraint="foo&bar|baz"
                     <?><?><?><?><?><?><?><?> <?><?> foo <?> bar<?> <?><?> baz
                     <?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?>.
                     --constraint="foo|bar&baz" <?><?><?><?><?><?><?><?>
                     <?><?> foo <?> baz<?> <?><?> bar <?> baz <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?> (<?><?><?><?>
                     <?><?><?><?> <?><?> baz <?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?> AND <?><?>).  --constraint="foo&(bar|baz)"
                     <?><?><?><?><?><?><?><?> <?><?> foo <?> <?><?><?><?><?>
                     <?><?><?> <?><?> bar <?><?> baz <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?><?>:
                     <?><?><?><?><?> OR <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?> NodeFeatures
                     <?><?> <?><?><?> KNL <?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?> <?><?><?><?> <?><?><?><?><?><?> NodeFeatures
                     <?><?> <?><?><?> helpers <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?>.


              <?><?><?><?><?>: <?><?><?><?><?><?> <?><?> srun <?><?>
              <?><?><?><?> salloc <?><?> sbatch <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?> (constraint)
              <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>.
              <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?> <?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?> (job steps) <?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?>.
              <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?> <?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?>.



       --container=<path_to_container>
              <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> OCI (bundle).



       --container-id=<container_id>
              <?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?> OCI.



       --container-type=<container_type>
              <?><?><?> <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?>.



       --contiguous
              <?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?>.

              <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
              <?><?><?><?><?><?> topology/flat <?><?><?> <?><?><?><?><?>
              <?><?><?>.  <?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?> <?> <?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?>.



       -S, --core-spec=<num>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
              (Specialized Cores) <?><?> <?><?> <?><?><?> <?><?> <?><?><?><?>
              <?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?> <?> <?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>.  <?><?><?>
              AllowSpecResourcesUsage <?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?> CoreSpecCount
              <?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?> <?><?>
              <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?> (override)
              <?><?><?>.  <?><?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>.  <?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?> --exclusive <?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?> <?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?> (<?> <?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?>) <?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?>.  <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?> --thread-spec <?><?><?><?><?><?><?> <?><?><?>.

              <?><?><?><?>: <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?> <?><?>
              <?><?><?> <?><?><?><?> <?><?><?><?><?> --exclusive <?><?>
              <?><?><?><?><?> <?><?><?><?><?><?>.

              <?><?><?><?>: <?><?> <?><?><?><?><?> <?><?> -n <?><?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?> <?><?> <?><?><?><?> <?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?>.

              <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?>.



       --cores-per-socket=<cores>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?><?> <?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?> <?><?>
              <?><?><?><?>.  <?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?> task/affinity<?> <?><?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?> -B <?><?>
              <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>. <?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.



       --cpu-bind=[{quiet|verbose},]<type>
              <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?><?><?> (CPUs).  <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?> task/affinity <?><?><?><?> <?><?><?><?>.
              <?><?><?><?>: <?><?><?><?> <?><?><?><?><?> Slurm
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?> CPU
              <?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> (verbose)
              <?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?> SLURM_CPU_BIND <?><?><?> "verbose" <?><?><?><?>
              <?><?><?><?>.

              <?><?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?> --cpu-bind <?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?>:

                   SLURM_CPU_BIND_VERBOSE
                   SLURM_CPU_BIND_TYPE
                   SLURM_CPU_BIND_LIST

              <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
              SLURM_CPU_BIND <?><?> <?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?> (ENVIRONMENT VARIABLES) <?><?><?><?><?><?>
              <?><?><?><?>. <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?> <?><?><?><?><?><?> task/affinity <?><?><?><?><?><?><?><?>
              <?><?><?> <?><?><?><?>.

              <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?> --cpus-per-task
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?> CPU <?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?> <?><?><?><?> <?><?><?><?><?><?>. <?><?><?>
              <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?> CPU <?><?>
              <?><?><?><?><?> <?><?> <?><?><?> <?><?><?> <?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?>/<?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?>. <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?> (fat masks - <?><?><?><?><?><?><?><?><?> <?><?>
              <?><?><?> <?><?> <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?> <?><?><?><?> <?><?><?><?><?><?><?>) <?><?><?><?>
              <?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>.

              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
              <?><?> <?><?><?> <?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?> <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?> <?><?> <?><?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?>. <?><?><?><?><?><?><?><?>
              <?><?><?> <?><?> <?><?><?><?><?><?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?>.  <?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?>.

              <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?> NUMA <?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?> NUMA <?><?> <<<?><?><?> NUMA>>
              <?><?><?><?> <?><?><?><?><?>.  <?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> NUMA
              <?><?> <?><?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> NUMA <?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?>.

              <?><?><?> <?><?> <?><?><?><?><?> --cpu-bind
              <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?><?><?><?>
              Slurm <?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>.  <?><?><?>
              <?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              CpuBind <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?>.  <?><?> <?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?> <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?> CpuBind <?><?><?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?>.  <?><?> <?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?> Slurm <?><?><?><?><?> <?><?><?><?><?> TaskPluginParam
              <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?>.  <?><?> <?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?> <?><?>.

              <?><?><?><?><?> <?><?><?><?><?><?> (Auto Binding)
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> task/affinity <?><?><?><?>
                     <?><?><?><?>. <?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?> cpus-per-task
                     <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>
                     (<?><?><?><?><?> <?><?><?><?><?><?>).  <?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?> "--cpu-bind=none"
                     <?><?><?><?><?><?><?> <?><?><?><?>.  <?><?>
                     TaskPluginParam=autobind=[threads|cores|sockets]
                     <?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?> <<<?><?><?><?><?>
                     <?><?><?><?><?><?>>> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>.


              <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?><?>:.PD 1

                     q[uiet]
                            <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                            <?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
                            (<?><?><?><?><?><?><?>)



                     v[erbose]
                            <?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>
                            <?><?> <?><?><?><?><?> <?><?><?><?><?>



                     no[ne] <?><?><?><?><?> <?><?> <?><?>
                            <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                            <?><?><?> (<?><?><?><?><?><?><?><?> <?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                            <?><?><?><?>)



                     map_cpu:<list>
                            <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                            <?><?> <?><?><?> <?><?><?><?><?> (<?><?>
                            <?><?><?><?><?><?><?>) <?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?>
                            <list> <?><?><?><?><?> <?><?><?> <?><?>
                            <cpu_id_for_task_0>,<cpu_id_for_task_1>,...
                            <?><?><?> <?><?><?><?><?> <?><?><?><?><?> (<?><?>
                            <?><?><?><?><?><?><?>) <?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?> <?><?>
                            <?><?><?><?> <?><?><?><?> <?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                            <?><?><?><?><?><?> <?><?>.  <?><?><?><?>
                            <?><?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?><?> <?><?> <?><?>
                            <?><?><?><?><?> <?><?><?><?> <?><?>
                            <?><?><?><?><?> <?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?>.  <?><?><?><?>
                            <?><?><?><?> "map_cpu:0*4,3*4".



                     mask_cpu:<list>
                            <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                            <?><?> <?><?><?> <?><?><?><?><?> (<?><?>
                            <?><?><?><?><?><?><?>) <?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?>
                            <list> <?><?><?><?><?> <?><?><?> <?><?>
                            <cpu_mask_for_task_0>,<cpu_mask_for_task_1>,...
                            <?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?>
                            <?><?><?><?> <?><?><?><?><?><?> <?>
                            <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                            <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
                            <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                            (<?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
                            <?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?> <?>
                            <?><?><?><?>).  <?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?> <?><?><?>
                            <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                            <?><?> <?><?><?><?><?><?> '0x' <?><?><?><?><?>
                            <?><?><?><?><?>.  <?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?> (<?><?> <?><?><?><?><?><?><?>)
                            <?><?> <?><?><?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?>
                            <?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                            <?><?><?><?><?><?> <?><?>.  <?><?><?><?>
                            <?><?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?><?> <?><?> <?><?>
                            <?><?><?><?><?> <?><?><?><?> <?><?>
                            <?><?><?><?><?> <?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?>.  <?><?><?><?>
                            <?><?><?><?> "mask_cpu:0x0f*4,0xf0*4".



                     rank_ldom
                            <?><?><?><?><?><?><?><?> <?><?> <?><?>
                            <?><?><?><?><?><?> <?><?><?><?> NUMA <?><?>
                            <?><?><?><?><?> <?><?><?><?> (rank).
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                            <?><?><?> <?><?><?><?><?> <?><?> <?><?><?> <?><?>
                            <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?>
                            <?><?><?><?>.



                     map_ldom:<list>
                            <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?> NUMA <?><?> <?><?><?><?><?> <?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                            <?><?><?><?> <?><?> <list> <?><?><?><?><?>
                            <?><?><?> <?><?> <ldom1>,<ldom2>,...<ldomN>.
                            <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?> <?><?> <?><?><?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?> '0x'
                            <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
                            <?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?><?><?>.
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                            <?><?><?> <?><?><?><?><?> <?><?> <?><?><?> <?><?>
                            <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?>
                            <?><?><?><?>.



                     mask_ldom:<list>
                            <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?> NUMA <?><?> <?><?><?> <?><?><?><?><?>
                            <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                            <?><?><?><?> <?><?> <list> <?><?><?><?><?>
                            <?><?><?> <?><?> <mask1>,<mask2>,...<maskN>.
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?> NUMA <?><?><?><?><?> <?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?> <?><?><?>
                            <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                            <?><?> <?><?><?><?><?><?> '0x' <?><?><?><?><?>
                            <?><?><?><?><?>.  <?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                            <?><?> <?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
                            <?><?><?><?> <?><?><?> <?><?><?><?>.



                     sockets
                            <?><?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?><?><?> <?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                            <?><?><?><?><?><?><?>.  <?><?><?><?>
                            <?><?><?><?><?><?><?><?><?><?><?><?><?> <?><?>
                            <?><?><?><?> <?><?> <?><?> <?><?><?>
                            <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>.
                            <?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                            (sub-optimal) <?><?><?>.



                     cores  <?><?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?><?><?> <?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                            <?><?><?><?><?><?><?>.  <?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                            <?><?><?>.



                     threads
                            <?><?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?><?><?> <?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                            <?><?><?><?><?><?><?>.  <?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                            <?><?><?>.



                     ldoms  <?><?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?><?><?> <?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                            <?><?><?><?><?><?><?><?><?> <?><?><?><?> NUMA.
                            <?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                            <?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                            <?><?><?>.



                     help   <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?> cpu-bind



              <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> (job) <?> <?><?><?> (step)
              <?><?><?><?><?> <?><?><?><?><?><?>.



       --cpu-freq=<p1>[-p2][:p3]

              <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?>
              srun <?><?> <?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?>
              <?><?> <?><?><?>(<?><?><?>) <?><?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?>.

              p1 <?><?><?><?><?><?><?><?> [#### | low | medium | high |
              highm1] <?><?><?><?> <?><?> scaling_speed <?><?><?><?><?><?>
              <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?> scaling_governor
              <?><?><?><?><?><?> <?><?> <?><?><?> UserSpace <?><?><?><?>
              <?><?><?><?><?><?>. <?><?><?><?> <?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?>.

              p1 <?><?><?><?><?><?><?><?> [Conservative | OnDemand |
              Performance | PowerSave] <?><?><?><?> <?><?> scaling_governor
              <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?>
              <?><?> <?><?><?><?><?><?> CpuFreqGovernors <?><?> slurm.conf
              <?><?><?><?><?> <?><?><?> <?><?><?>.

              <?><?><?><?><?><?> <?><?> p2 <?><?><?><?> <?><?><?>
              <?><?><?><?><?> p1 <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?> p2 <?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?>. <?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> p3 <?><?> CpuFreqDef
              <?><?><?><?><?><?><?><?><?> UserSpace <?><?><?><?> <?><?><?><?>
              <?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?>.

              p2 <?><?><?><?><?><?><?><?> [#### | medium | high | highm1]
              <?><?><?><?>. <?><?><?><?><?> p2 <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?> p1 <?><?><?><?> <?> <?><?>
              <?><?><?><?><?><?> UserSpace <?><?><?><?><?><?><?><?> <?><?><?>.

              p3 <?><?><?><?><?><?><?><?> [Conservative | OnDemand |
              Performance | PowerSave | SchedUtil | UserSpace] <?><?><?><?>
              <?><?> <?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?>.

              <?><?><?> p3 <?><?><?><?><?> UserSpace <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?> scaling_speed<?> scaling_max_freq
              <?> scaling_min_freq <?><?> <?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?><?> p1 <?><?><?><?><?> <?><?><?><?><?><?> <?><?>.

              <?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?> <?><?><?><?><?> <?><?>. <?><?> <?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?> <?><?><?><?><?> <?><?>.

              <?><?> <?><?><?><?> <?><?><?><?> p3<?> <?><?>
              <?><?><?><?><?><?><?> CpuFreqDef <?><?> slurm.conf <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?>. <?><?><?> CpuFreqDef <?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?> <?><?> <?><?> <?><?><?> <?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?>.
              <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?> <?><?><?><?> CpuFreqDef <?><?> <?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?>.

              <?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?>
              <?><?><?><?><?>:

              ####          <?><?><?><?><?><?> <?><?> <?><?><?>
                            <?><?><?><?><?><?><?><?>



              Low           <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                            <?><?> <?><?><?><?><?>



              High          <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                            <?><?><?><?><?>



              HighM1        (High <?><?><?><?><?> <?><?>) <?><?><?><?><?><?>
                            <?><?><?><?> <?><?> <?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                            <?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?><?>



              Medium        <?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?>



              Conservative  <?><?><?><?> <?><?><?><?><?><?> <?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                            Conservative <?><?><?><?><?><?><?> <?><?><?>.IP


              OnDemand      <?><?><?><?> <?><?><?><?><?><?> <?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                            OnDemand <?><?><?><?><?><?><?> <?><?><?>
                            (<?><?><?><?><?> <?><?><?><?><?><?><?>)



              Performance   <?><?><?><?> <?><?><?><?><?><?> <?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                            Performance <?><?><?><?><?><?><?> <?><?><?>



              PowerSave     <?><?><?><?> <?><?><?><?><?><?> <?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                            PowerSave <?><?><?><?><?><?><?> <?><?><?>



              UserSpace     <?><?><?><?> <?><?><?><?><?><?> <?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                            UserSpace <?><?><?><?><?><?><?> <?><?><?>


              <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?> <?><?> <?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?> --cpu-freq
              <?><?><?><?><?> <?><?><?><?><?><?>.
                      SLURM_CPU_FREQ_REQ

              <?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> 'srun' <?><?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?>. <?><?><?><?><?><?> --cpu-freq
              <?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?>. <?><?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?>.  <?><?><?><?> <?><?><?>
              <?><?><?><?><?> SLURM_CPU_FREQ_REQ<?> <?><?><?> ENVIRONMENT
              VARIABLES <?><?> <?><?><?><?><?><?>.

              <?><?><?><?>: <?><?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?><?>. <?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?> <?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?> <?><?><?> <?><?> <?><?><?> <?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?>.

              <?><?><?><?>: <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?>
              <?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?> (confined)
              <?><?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?> (<?><?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> task/affinity TaskPlugin <?><?>
              <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?> task/cgroup
              TaskPlugin <?><?> <?><?><?><?><?> "ConstrainCores=yes" <?><?>
              cgroup.conf) <?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.

              <?><?><?><?>: <?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?> <?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
              <?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?>.

              <?><?><?><?>: <?><?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?><?> --cpu-freq <?><?> <?><?><?><?><?> <?><?>
              ProctrackType <?><?><?><?><?> <?><?> linuxproc <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?> <?><?> <?><?><?><?> <?><?><?> Accounting <?><?><?><?>
              <?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?>
              <?><?><?><?> <?><?><?><?>. <?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?> <?><?>.

              <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?>.



       --cpus-per-gpu=<ncpus>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?>
              <?><?> GPU <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
              ncpus <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>.
              <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?> <?><?><?><?> --exact <?><?><?>.  <?><?>
              <?><?><?><?><?><?> --cpus-per-task <?><?><?><?><?><?>
              <?><?><?><?>.

              <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?>.



       -c, --cpus-per-task=<ncpus>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?>
              ncpus <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?>.
              <?><?><?> <?><?><?> <?><?><?><?> <?><?><?> <?><?>
              <?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?><?><?><?><?><?>
              (multithreaded) <?><?><?><?> <?> <?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?> <?><?> <?><?><?> <?><?> <?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?>. <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?><?>
              <?><?><?><?> --exact <?><?><?>. <?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?> <?>
              <?><?><?><?><?> --exact <?><?><?><?>.  <?><?><?> -c <?><?><?><?>
              -n <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?> -c <?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>. <?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?> <?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?> <?> <?><?><?> <?> <?>
              <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?>
              <?><?> <?> <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?> (<?>
              <?><?> <?> <?><?><?> <?><?> <?><?> <?><?><?>) <?><?><?><?><?>
              <?><?><?>. <?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?> <?><?><?> <?><?><?><?><?>.

              <?><?><?><?><?>: <?><?><?><?><?><?><?><?><?><?><?> <?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?> <?><?><?>
              <?> <?><?><?> <?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?> <?>
              <?><?><?> <?><?><?> <?><?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?>. <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> srun -c2 --threads-per-core=1
              prog <?><?><?><?> <?><?><?> <?><?> <?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?>
              <?><?><?> <?><?> <?><?> <?><?> <?><?> <?><?><?><?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>. <?><?><?>
              <?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?><?>
              <?><?> <?><?> <?><?><?><?> <?><?> <?><?><?><?><?><?><?><?> <?>
              <?><?> <?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?>.

              <?><?><?><?><?>: <?><?><?><?><?><?> <?><?> srun <?><?>
              <?><?><?><?> salloc <?><?> sbatch <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?> <?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?> <?><?><?> <?><?><?><?><?> -c <?><?><?><?><?><?><?> <?><?>
              -c <?><?> salloc <?><?> sbatch <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>.

              <?><?><?><?>: <?><?><?> --mem-per-cpu <?><?><?> <?><?><?><?>
              <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?> <?><?>
              <?><?> <?><?><?><?> MaxMemPerCPU <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?>. <?><?> <?><?><?><?><?> <?><?>
              -n <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?> <?><?> <?><?><?><?><?><?> <?><?><?><?>.

              <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?>.



       --deadline=<OPT>
              <?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?>
              <?><?> <?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?><?> (start > (deadline - time[-min])).
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?>. <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?> DefaultTime <?>
              <?><?> MaxTime <?><?><?> <?><?><?><?><?><?><?><?> <?><?>
              <?><?><?> <?><?> <?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
              (--time[-min]) <?><?> <?><?><?><?> <?><?><?>.

              <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?>:
              HH:MM[:SS] [AM|PM]
              MMDD[YY] <?><?> MM/DD[/YY] <?><?> MM.DD[.YY]
              MM/DD[/YY]-HH:MM[:SS]
              YYYY-MM-DD[THH:MM[:SS]]]
              now[+count[seconds(default)|minutes|hours|days|weeks]]

              <?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?>.



       --delay-boot=<minutes>
              <?><?><?> <?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?><?><?> (reboot) <?><?><?>.
              <?><?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?> <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?> <?><?> <?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?>.  <?><?><?><?><?><?><?>
              <?><?> <?><?><?> <?><?><?><?><?> <?><?><?>.  <?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?> delay_boot
              <?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
              SchedulerParameters <?><?> <?><?><?><?> slurm.conf
              <?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>
              <?><?><?> (<?><?><?><?> <?><?><?><?><?>).

              <?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?>.



       -d, --dependency=<dependency_list>
              <?><?><?><?> <?><?><?> <?><?><?> <?><?> <?><?> <?><?><?><?><?>
              <?><?> <?><?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?><?>. <?><?>
              <?><?> <?><?><?><?><?><?><?> <?><?><?> <?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?>
              <?><?><?><?><?><?>.  <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?> (<?><?><?><?><?> srun <?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?> salloc <?><?> sbatch)
              <?><?><?><?><?> <?><?><?><?><?><?><?> <?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?>.
              <dependency_list> <?><?> <?><?><?><?>
              <type:job_id[:job_id][,type:job_id[:job_id]]> <?><?>
              <type:job_id[:job_id][?type:job_id[:job_id]]> <?><?><?>.
              <?><?><?> <?><?> <?><?><?><?><?><?><?><?><?> <<,>>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?>.  <?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?> <<?>> <?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?> <?><?> <?><?>
              <?><?> <?><?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>.
              <?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>.
              <?><?><?><?> <?><?><?><?>:
              -d afterok:20:21,afterany:23
              <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?>
              <?><?> <?><?> <?><?> <?><?><?><?> 0 <?><?> <?><?><?><?><?><?> 20
              <?> 21 <?> <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?> 23
              <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>. <?><?>
              <?><?><?> <?><?><?>:
              -d afterok:20:21?afterany:23
              <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?> <?><?> <?><?>
              <?><?><?><?><?> (afterok:20 <?><?> afterok:21 <?><?>
              afterany:23) <?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?>.  <?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?> <?> <?><?><?> <?><?><?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>.
              <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?> <?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?><?><?>
              <?><?> <?><?><?><?><?> scontrol <?><?><?><?><?> <?><?><?>.
              <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?><?><?><?>
              (federation) <?><?><?><?> <?><?><?>.  <?><?><?><?><?><?> <?><?>
              <?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?><?> <?><?><?>
              <?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?> <?><?><?><?> <?><?><?><?> (requeued) <?> <?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>. <?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.


              after:job_id[[+time][:jobid[+time]...]]
                     <?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?> <?> 'time' <?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?> <?><?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> 'time' <?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?> <?><?> <?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?>.  afterany:job_id[:jobid...] <?><?><?>
                     <?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?>.  <?><?><?> <?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?>.



              afterburstbuffer:job_id[:jobid...]
                     <?><?><?> <?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> (stage out) <?><?><?><?>
                     <?><?><?><?><?><?><?> (burst buffer) <?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?>.



              aftercorr:job_id[:jobid...]
                     <?><?> <?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?> (job array) <?><?><?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> (<?><?> <?><?> <?><?><?><?>
                     <?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>)<?>
                     <?><?><?><?> <?><?> <?><?><?><?> <?><?><?>.  <?><?><?>
                     <?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?> afterok <?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?>.



              afternotok:job_id[:jobid...]
                     <?><?><?> <?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> (<?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?>
                     <?><?><?><?>) <?><?><?><?> <?><?> <?><?><?><?> <?><?><?>.
                     <?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?> <?><?><?> MinJobAge <?><?><?><?><?>
                     <?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?> <?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?>
                     <?><?> <?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?> <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>.



              afterok:job_id[:jobid...]
                     <?><?><?> <?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     (<?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?><?>) <?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?>.  <?><?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?> <?><?><?> MinJobAge
                     <?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?>.  <?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?> <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?>
                     <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?>.



              singleton
                     <?><?><?> <?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?> <?><?><?> <?><?><?> <?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?> <?><?><?>.  <?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?> <?><?> <?><?> <?><?><?> <?> <?><?><?><?><?>
                     <?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?> <?><?><?> <?><?><?><?> <?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?>.  <?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     singleton <?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?>
                     DependencyParameters=disable_remote_singleton <?><?>
                     slurm.conf <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?>.



       -X, --disable-status
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?> <?><?> srun <?><?>
              <?><?><?><?><?><?> SIGINT (Ctrl-C) <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?>. <?><?> <?><?><?>
              <?><?><?><?><?><?><?><?> SIGINT <?><?> <?><?><?> <?><?>
              <?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.
              <?><?><?><?> <?><?><?> <?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?> <?><?> <?><?>
              Ctrl-C <?><?><?> <?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?> <?> srun <?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?>. <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?> SLURM_DISABLE_STATUS <?><?><?><?><?> <?><?><?>.
              <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?>.



       -m,
       --distribution={*|block|cyclic|arbitrary|plane=<size>}[:{*|block|cyclic|fcyclic}[:{*|block|cyclic|fcyclic}]][,{Pack|NoPack}]

              <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?>.  <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?> srun
              <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>. <?><?><?><?><?>
              <?><?><?> <?><?> <?><?><?><?><?> <?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?> cons_tres <?><?><?><?><?>
              <?><?><?><?><?><?><?><?>.  <?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?> (<?><?><?><?><?>
              --ntasks-per-node <?> --cpus-per-task) <?><?><?><?> <?><?><?>
              <?><?><?> <?><?> <?><?><?><?><?> <?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?><?>.  <?><?><?><?> <?><?><?><?><?><?><?>
              <?><?> <?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?> <?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?><?><?> --exclusive <?><?> <?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?>(<?><?>)
              <?><?> <?><?><?> <?><?><?> <?><?><?><?>.

              <?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
              <?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?> <?><?><?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?> (<?><?><?><?><?><?><?> <?><?><?>)
              <?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?> <?><?><?><?><?>
              <?><?><?> (<?><?><?> <?><?> <?><?><?><?><?> ":") <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?> <?><?><?><?><?>
              <?><?><?> (<?><?><?> <?><?> <?><?><?><?><?> ":") <?><?><?><?><?>
              CPU<?><?><?> <?><?><?><?><?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?>
              <?><?> <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.
              <?><?><?> <?><?><?><?><?> <?><?><?> (<?><?><?> <?><?>
              <?><?><?><?><?> ":") <?><?><?><?><?> CPU<?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?>
              <?><?> <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?> <?><?><?> <?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
              <?><?> <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?>.  <?><?><?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
              <?><?> <?><?><?><?><?><?> task/cgroup <?><?><?><?><?><?><?><?>
              <?><?><?> <?><?><?><?>.  <?><?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?> <?><?> *
              <?><?><?><?> <?><?><?><?><?><?>.

              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
              select/cons_tres<?> <?><?><?><?><?> CPU<?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?> <?>
              <?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?><?>
              <?><?><?><?>. <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>
              <?> <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?> CPU<?><?><?>
              <?><?> https://slurm.schedmd.com/mc_support.html
              <?><?><?><?><?><?> <?><?><?><?>.
              <?><?><?> <?><?><?><?><?> <?><?><?> (<?><?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?>):


              *      <?><?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?> (block).
                     <?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> (topology)
                     <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?> <?>
                     <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> CR_NO_DIST_TOPO_BLOCK <?><?> <?><?>
                     SelectTypeParameters <?><?><?><?><?><?>.



              block  <?><?><?> <?><?><?><?><?> <?><?><?><?><?> (block)
                     <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?> <?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>.
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?> <?><?> <?><?> <?><?><?> <?><?><?><?><?><?>
                     <?><?> <?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?>. <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?> <?><?> <?> <?><?> <?><?><?>
                     <?><?><?> <?><?><?><?> <?><?><?> <?><?> <?><?><?>
                     <?><?><?> <?><?><?> <?> <?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>.



              cyclic <?><?><?> <?><?><?><?><?> <?><?><?><?><?> (cyclic)
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> (<?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?> round-robin)
                     <?><?><?><?><?> <?><?><?><?>. <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?> <?><?>
                     <?><?> <?><?><?> <?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?>. <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?> <?><?> <?> <?><?><?><?>
                     <?><?><?> <?><?><?> <?><?><?><?> <?><?><?> <?><?>
                     <?><?><?> <?><?><?> <?><?><?> <?> <?><?><?> <?><?>
                     <?><?><?> <?><?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?><?>.  <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?> SelectType
                     <?><?><?><?><?> <?><?> select/cons_tres <?><?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?> CPU<?><?> <?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>.
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?> CPU<?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?>. <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?>.



              plane  <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?> <size> <?><?><?><?><?>
                     <?><?><?><?><?><?><?>. <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
                     SLURM_DIST_PLANESIZE <?><?><?><?><?> <?><?><?>
                     <?><?><?><?>. <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?> <?><?> <?><?><?><?><?><?> plane
                     <?><?><?><?><?><?> <?><?><?>. <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> (<?><?><?><?>
                     <?><?><?><?><?><?><?> <?> <?><?><?><?><?><?><?><?>)<?>
                     <?><?><?><?><?> <?><?>
                     https://slurm.schedmd.com/mc_support.html <?>
                     https://slurm.schedmd.com/dist_plane.html
                     <?><?><?><?><?><?> <?><?><?><?>.



              arbitrary
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?> (arbitrary)
                     <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     SLURM_HOSTFILE <?><?><?><?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?> <?><?> <?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?>.  <?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?> block <?><?><?><?>
                     <?><?><?><?><?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> (hostfile) <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?> <?> <?><?>
                     <?><?> <?><?> <?><?> <?><?><?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?> (-n,
                     --ntasks=<number>)<?> <?><?><?><?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?>.
                     <?><?><?><?>: <?><?><?><?><?> <?><?><?><?><?> arbitrary
                     <?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?> <?><?><?><?><?><?><?><?> <?><?>
                     <?><?> <?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> topology<?> CR_LLN<?> CR_Pack_Nodes<?>
                     <?><?> pack_serial_at_end <?><?><?><?><?><?><?>
                     <?><?><?>. <?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
                     <?><?><?> (job step) <?><?> <?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     srun <?><?><?>.
                     <?><?><?><?>: <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>.



              <?><?><?> <?><?><?><?><?> <?><?><?> (<?><?><?><?><?> CPU<?><?>
              <?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?>):


              *      <?><?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     CPU<?><?> <?><?><?> <?><?><?><?><?><?><?> (cyclic).



              block  <?><?><?> <?><?><?><?><?> <?><?><?><?><?> (block)
                     <?><?><?> <?><?> <?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> CPU<?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>..IP


              cyclic <?><?><?> <?><?><?><?><?> cyclic
                     <?><?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?> (binding) <?><?> <?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?> <?>
                     <?><?><?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> (round-robin) <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?> <?><?>
                     <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>.
                     <?><?><?><?>: <?><?> <?><?><?><?><?><?><?><?> <?><?>
                     hyper-threading <?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?>. <?><?> <?><?><?><?>
                     <?><?><?><?> --ntasks-per-core=1 <?><?><?><?><?><?><?>
                     <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>.



              fcyclic
                     <?><?><?> <?><?><?><?><?> fcyclic
                     <?><?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?> <?><?>
                     <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> (cyclic) <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?>.



              <?><?><?> <?><?><?><?><?> <?><?><?> (<?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>):


              *      <?><?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> (<?><?> <?><?><?> <?><?><?><?>
                     <?><?><?> <?><?> <?><?><?> <?><?><?><?><?> <?><?><?>).



              block  <?><?><?> <?><?><?><?><?> block
                     <?><?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.



              cyclic <?><?><?> <?><?><?><?><?> cyclic
                     <?><?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?> <?> <?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.



              fcyclic
                     <?><?><?> <?><?><?><?><?> fcyclic
                     <?><?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.



              <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>:


              Pack   <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?> (job
                     step) <?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?> <?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>.
                     <?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?> "block"
                     <?><?><?><?><?><?><?> <?><?><?>.



              NoPack <?><?> <?><?><?> <?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.
                     <?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> CR_Pack_Nodes <?><?>
                     SelectTypeParameters <?><?><?><?><?> <?><?>.



              <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> job <?> step <?><?><?><?><?>
              <?><?><?><?><?><?>.



       --epilog={none|<executable>}
              <?><?><?><?><?> srun <?><?><?><?><?><?><?> <?><?><?><?><?><?>
              executable <?><?> <?><?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?>.  <?><?><?><?><?><?><?><?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?> executable <?><?><?><?>
              <?><?><?><?><?> <?> <?><?><?><?><?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?><?> <?><?><?>.  <?><?><?> none
              <?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?><?><?><?>
              (epilog) <?><?><?><?> srun <?><?><?><?> <?><?><?><?><?><?>
              <?><?>. <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?> SrunEpilog <?><?> slurm.conf
              <?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
              Epilog <?><?> slurm.conf <?><?><?>. <?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?><?> job <?><?><?><?><?>
              <?><?><?><?><?><?>.



       -e, --error=<filename_pattern>
              <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> stderr <?><?>
              <?><?><?><?> <?><?><?><?><?><?>. <?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?>
              (interactive)<?> srun <?><?><?> <?><?><?><?><?> <?><?><?><?>
              stdout <?><?><?><?> <?><?><?> <?><?><?><?><?> stderr <?><?>
              <?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?>. <?><?><?><?><?><?> --error <?><?><?><?>
              <?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> stdout <?> stderr
              <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?>.  <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?> IO
              Redirection <?><?> <?><?> <?><?><?> <?><?><?><?><?><?>.
              <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>. <?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?> job <?>
              step <?><?><?><?><?> <?><?><?><?><?><?>.



       --exact
              <?><?> <?><?> <?><?><?> (step) <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>.
              <?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?>-GRES <?><?> <?><?> <?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?>.  <?><?><?> <?><?><?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?><?> step <?><?><?><?><?>
              <?><?><?><?><?><?>.
              <?><?><?><?>: <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?> --overlap <?><?><?><?> <?><?><?> <?><?><?><?>.
              <?><?><?><?><?> job <?><?><?><?><?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?> srun <?><?> <?><?><?><?> <?><?>
              Slurm <?><?> <?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>
              <?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?>.
              <?><?><?><?><?><?><?><?><?> step <?>/<?><?>
              <?><?><?><?><?><?><?><?><?><?> SPANK <?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?> step <?><?> <?><?><?>
              <?><?> <?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?>.



       -x, --exclude={<host1[,<host2>...]|<filename>}
              <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?> <?><?>
              <?><?><?> job <?><?><?><?><?><?><?> <?><?><?><?><?>. <?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?> "/" <?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?>.  <?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?> job <?>
              step <?><?><?><?><?> <?><?><?><?><?><?>.



       --exclusive[={allocation|mcs|topo|user}]
              <?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?><?><?> job <?><?> job step
              <?><?><?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?><?><?><?>
              <?><?> srun --exclusive <?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?> <?><?> step <?><?> <?><?> job
              <?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?> --exact <?><?><?><?><?> <?><?><?>.

              <?><?><?><?><?><?> <?><?> srun --exclusive <?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?> <?><?> job <?> <?><?> step
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?><?><?>
              <?><?><?><?> (whole nodes) <?> <?><?> <?><?><?><?><?> --exact
              <?><?><?><?> <?><?><?><?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
              <?><?><?> <?><?><?> <?><?> job <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?> <?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?> <?><?><?><?>
              step <?><?><?><?> <?><?><?><?><?> <?><?>. <?><?><?><?><?><?>
              allocation <?><?><?><?><?><?><?> <?><?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              --exact <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?> --
              <?><?><?><?> <?><?><?><?> <?><?> <?><?> <?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              (<?><?><?><?><?> <?><?><?><?><?> srun <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
              <?><?> <?><?> <?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?>).
              <?><?><?><?><?><?> allocation <?><?> <?><?><?><?><?><?><?>
              <?><?> <?><?><?><?><?>
              LaunchParameters=srun_exclusive_allocation <?><?> slurm.conf
              <?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?>.

              <?><?><?><?><?><?><?><?><?> (mcs|topo|user) <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?> <?><?><?><?><?> job <?><?><?><?><?><?>
              <?><?> srun <?><?><?><?> <?><?><?><?><?> <?><?> job
              <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?> <?><?><?><?><?><?> <?><?> --exact
              <?><?><?><?><?><?>.  <?><?><?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?> <?><?> job <?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?> job <?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?> (<?><?> <?><?><?> <?><?><?><?><?><?><?><?>
              <?><?> "=topo") <?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?>
              <?><?> <?><?><?> <?><?><?><?> (<?><?> <?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
              "=user" <?><?> <?><?><?><?><?><?> "=mcs") <?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?> user/mcs/topo
              <?><?><?><?> <?><?><?><?> <?><?><?><?><?> (<?><?><?><?>
              <?><?><?><?><?> job <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?><?><?><?>)<?>
              <?><?> <?><?><?><?><?> job <?><?><?><?> CPU<?><?> <?> GRES<?><?>
              <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?>
              <?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?>.  <?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?> gang scheduling <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?><?><?> (suspended)
              <?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?>. <?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?>
              <?><?> --mem=0 <?><?><?><?><?><?><?> <?><?><?><?>.
              <?><?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?>/<?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?> <?><?><?><?><?><?> OverSubscribe
              <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?> job <?><?><?><?><?><?> <?><?><?><?>.
              <?><?><?><?>: <?><?> <?><?><?><?> <?><?> GRES
              <?><?><?><?><?><?><?> (MPS) <?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?> GRES <?><?>
              <?><?><?><?><?><?><?><?><?><?><?><?><?><?> (GPU) <?><?><?><?><?>
              <?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?>
              GRES<?><?><?> <?><?> <?><?><?><?><?><?><?><?><?><?><?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?> <?><?><?> GRES
              <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?>.

              <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?> --oversubscribe
              <?><?><?><?><?><?><?><?> (<?><?><?><?><?><?><?><?><?><?><?>)
              <?><?><?>.

              <?><?><?> EXAMPLE <?><?> <?><?> <?><?><?> <?><?><?><?><?><?>.



       --export={[ALL,]<environment_variables>|ALL|NONE}
              <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?> (submission environment) <?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?>.

              --export=ALL
                        <?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                        <?><?><?><?><?> <?><?> --export <?><?><?><?>
                        <?><?><?><?> <?><?><?><?>. <?><?><?><?> <?><?><?><?>
                        <?><?><?><?><?><?> <?><?> <?><?><?><?>
                        <?><?><?><?><?><?><?><?><?><?>
                        <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>.



              --export=NONE
                        <?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
                        <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                        <?><?>. <?><?><?><?><?> <?><?><?><?> <?><?>
                        <?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
                        <?><?><?><?><?><?> <?><?><?><?><?><?>
                        <?><?><?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?>
                        <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?>.
                        <?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                        <?><?><?><?><?><?><?> <?><?> "NONE"
                        <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                        <?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?>.

                        <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                        <?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?>
                        <?><?> <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                        <?> <?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                        <?><?><?><?> <?><?><?><?><?><?><?> (<?><?><?><?>
                        <?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                        <?><?><?><?><?><?>) <?><?><?><?><?> <?><?><?><?>.
                        <?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?>
                        <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                        <?><?><?><?> <?><?><?><?> (<?><?><?><?><?> "NONE")
                        <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                        sbatch<?> <?><?> --export=ALL <?><?> <?><?><?><?><?>
                        <?><?><?><?> <?> <?><?> <?><?><?><?><?>
                        <?><?><?><?><?> SLURM_EXPORT_ENV <?><?><?><?>
                        <?><?><?><?><?> <?><?> "ALL" <?><?><?><?>
                        <?><?><?><?>..IP


              --export=[ALL,]<environment_variables>
                        <?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                        SLURM* <?><?> <?><?> <?><?><?><?><?>
                        <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                        <?><?><?><?><?><?><?><?><?> <?><?><?><?> (export)
                        <?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?>
                        <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                        <?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?>
                        <?><?><?><?>. <?><?><?><?><?><?><?>
                        <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                        <?><?><?><?><?><?><?><?><?> <?><?><?><?>
                        <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                        <?><?><?><?> <?><?><?><?> (<?><?><?><?><?>
                        "--export=EDITOR") <?><?> <?><?><?><?><?><?>
                        <?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?>
                        <?><?><?><?> (<?><?><?><?><?>
                        "--export=EDITOR=/bin/emacs"). <?><?><?> "ALL"
                        <?><?><?><?> <?><?><?><?> <?><?><?><?>
                        <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                        <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                        <?><?><?><?><?><?> <?><?> <?> <?><?><?><?> <?><?>
                        <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>
                        <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                        <?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?>
                        <?><?><?><?>.


                   <?><?><?><?>: --export=EDITOR,ARG1=test
                        <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?>
                        <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                        <?><?><?><?><?> EDITOR <?><?> <?><?><?><?>
                        <?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                        <?><?><?><?><?> SLURM_*<?> <?> ARG1=test
                        <?><?><?><?><?> <?><?><?>.



                   <?><?><?><?>: --export=ALL,EDITOR=/bin/emacs
                        <?><?><?><?> <?><?><?> <?><?><?><?> <?><?>
                        <?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                        <?><?><?><?>. <?><?><?> <?><?><?><?><?><?><?><?><?><?>
                        <?><?><?><?><?> <?><?><?><?><?> EDITOR <?><?>
                        <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                        <?><?><?><?> <?><?><?> <?><?><?> <?><?><?><?><?>
                        <?><?> <?><?> <?><?><?><?>
                        <?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?>
                        <?><?><?><?><?> <?><?><?>. <?><?><?>
                        <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                        <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
                        <?><?><?><?> EDITOR <?><?><?><?><?><?> <?><?><?><?><?>
                        <?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
                        <?><?><?><?><?><?><?><?><?> <?><?><?><?> --export
                        <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>.



       --external-launcher
              <?><?> <?><?><?> (step) <?><?><?><?> <?><?><?> <?><?> <?><?>
              <?><?><?> <?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
              <?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?>.

              <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?> --ntasks-per-*<?>
              --mem*<?> --cpus*<?> --tres*<?> --gres* <?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?> <?><?>.

              <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
              <?><?> <?><?><?><?><?><?><?><?><?><?><?><?><?><?> MPI <?><?><?>
              <?><?> <?><?> <?><?><?><?><?><?><?><?><?> (launcher)
              <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?>.
              <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?> <?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?>.

              <?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> (accounting) <?><?><?><?><?><?>
              <?><?><?><?><?> <?><?>. <?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>.

              <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?>.



       --extra=<string>
              <?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?>.

              <?><?><?> SchedulerParameters=extra_constraints <?><?><?><?>
              <?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?> Extra <?><?> <?><?> <?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?>.



       -B, --extra-node-info=<sockets>[:cores[:threads]]
              <?><?><?><?><?><?> <?><?><?> <?><?> <?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?> <?><?> <?><?><?><?>
              <?>/<?><?> <?><?><?><?> (thread) <?><?> <?><?> <?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?>.
              <?><?><?><?>: <?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?>. <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?>. <?><?> <?><?><?><?><?> <?><?><?><?><?> (*)
              <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?><?><?> <?><?><?>. <?><?> <?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?>:

                  --sockets-per-node=<sockets>
                  --cores-per-socket=<cores>
                  --threads-per-core=<threads>
              <?><?><?> <?><?><?><?><?><?> task/affinity <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?> <?><?><?> <?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?> --cpu-bind <?><?> <?><?><?> threads <?><?>
              <?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?> -B <?><?><?><?><?> <?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?> <?><?><?><?> <?><?><?><?><?> cores <?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?>
              <?><?><?><?><?> <?> <?><?> <?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?><?> sockets.  <?><?><?> SelectType <?><?><?>
              select/cons_tres <?><?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?><?> CR_Core<?>
              CR_Core_Memory<?> CR_Socket<?> <?><?> CR_Socket_Memory
              <?><?><?><?><?> <?><?><?><?>.  <?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> scontrol show job
              <?><?><?><?><?> 'ReqS:C:T=*:*:*' <?><?> <?><?><?><?><?>
              <?><?><?><?><?> <?><?><?>. <?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?>.
              <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?> --hint<?>
              --threads-per-core <?> --ntasks-per-core
              <?><?><?><?><?><?><?><?> (<?><?><?><?><?><?><?><?><?><?><?>)
              <?><?><?>.
              <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?> <?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?> <?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?> (<?><?>
              <?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?>) <?> <?><?><?><?><?> <?><?><?><?><?> (tasks)
              <?><?><?><?> NOT <?><?><?> <?><?><?><?><?> srun <?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?> <?><?> <?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?>.



       --gpu-bind=[verbose,]<type>
              <?><?><?><?><?> <?><?> --tres-bind=gres/gpu:[verbose,]<type>
              <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?> <?>
              <?><?><?><?><?><?><?><?> --tres-bind <?><?> <?><?><?><?><?><?>.



       --gpu-freq=[<type]=value>[,<type=value>][,verbose]
              <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?> GPU<?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?>.  <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?> GPU <?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?><?>.  <?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
              GPU<?><?><?> <?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>.  <?><?>
              <?><?><?><?> <?><?><?><?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> (power caps) <?><?><?><?>
              <?><?><?> <?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?> <?> <?><?><?><?><?> <?><?><?><?>.  <?><?><?><?>
              type <?><?><?><?><?><?><?><?> "memory" <?><?><?><?>.  <?><?><?>
              type <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?> GPU <?><?>
              <?><?><?> <?><?><?>.  <?><?><?><?> value
              <?><?><?><?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?><?>
              "low"<?> "medium"<?> "high"<?> "highm1" <?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?><?><?> (MHz) <?><?><?><?>.  <?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>. <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?> <?><?><?><?><?><?> <?><?><?><?>.  <?><?><?><?><?>
              verbose <?><?><?><?> <?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?> GPU <?><?> <?><?><?>
              <?><?><?><?><?><?>.  <?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?>
              "--gpu-freq=medium,memory=high" <?> "--gpu-freq=450" <?><?><?>.

              <?><?><?><?><?><?> <?><?><?><?><?><?> (value)
              <?><?><?><?><?><?><?><?><?><?><?><?>:

              low       <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                        <?><?><?><?><?>.



              medium    <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                        <?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                        <?><?><?><?><?> <?><?><?><?><?> <?><?><?>.



              high      <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                        <?><?><?><?><?>.



              highm1    (<?><?><?> <?><?><?><?> <?><?>
                        <?><?><?><?><?><?><?><?>) <?><?><?><?><?><?>
                        <?><?><?><?><?> <?><?><?><?><?> <?><?>
                        <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                        <?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                        <?><?><?><?><?><?>.



       -G, --gpus=[type:]<number>
              <?><?><?><?><?> <?><?> GPU<?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?> <?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?>.
              <?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?><?><?> GPU
              <?><?><?> <?><?><?><?><?><?><?><?><?><?> <?><?><?>.
              <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
              --gpus-per-node<?> --gpus-per-socket <?> --gpus-per-task <?><?>
              <?><?><?><?><?><?>.
              <?><?><?><?>: <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?> GPU <?><?> <?><?> <?><?><?> <?><?><?><?><?>
              <?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?> <?><?> <?><?><?>
              GPU <?><?> <?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?>. <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?> GPU
              <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?> (heterogeneous jobs) <?><?><?><?><?><?><?>
              <?><?><?><?>.



       --gpus-per-node=[type:]<number>
              <?><?><?><?><?> GPU<?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?> <?><?><?> <?><?> <?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?><?>.  <?><?><?><?> <?><?><?><?>
              <?><?><?> <?><?><?><?><?><?><?> GPU <?><?><?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?>.  <?><?><?><?>
              <?><?><?><?> "--gpus-per-node=volta:3".  <?><?><?><?><?><?><?>
              <?><?><?> <?><?><?><?><?> <?><?> <?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>:
              "--gpus-per-node=volta:3,kepler:1".  <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> --gpus<?> --gpus-per-socket <?>
              --gpus-per-task <?><?> <?><?><?><?><?><?>.

              <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?> --gres=gpu
              <?><?><?><?><?><?><?><?> (<?><?><?><?><?><?><?><?><?><?><?>)
              <?><?><?>.



       --gpus-per-socket=[type:]<number>
              <?><?><?><?><?> GPU<?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?> <?><?><?> <?><?> <?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?><?>.  <?><?><?><?> <?><?><?><?>
              <?><?><?> <?><?><?><?><?><?><?> GPU <?><?><?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?>.  <?><?><?><?>
              <?><?><?><?> "--gpus-per-socket=volta:3".  <?><?><?><?><?><?><?>
              <?><?><?> <?><?><?><?><?> <?><?> <?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>:
              "--gpus-per-socket=volta:3,kepler:1".  <?><?><?><?> <?><?><?><?>
              <?><?> <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
              <?><?> <?><?><?> (--sockets-per-node) <?><?><?><?> <?><?><?>
              <?><?><?><?>.  <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
              --gpus<?> --gpus-per-node <?> --gpus-per-task <?><?>
              <?><?><?><?><?><?>.  <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?>..IP


       --gpus-per-task=[type:]<number>
              <?><?><?><?><?> GPU<?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?> <?><?><?> <?><?> <?><?><?><?> <?><?> <?><?><?><?>
              <?><?> <?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?><?>.  <?><?><?><?><?><?><?> <?><?>
              <?><?><?> GPU <?><?><?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?>.  <?><?> <?><?><?><?><?> <?><?><?><?>
              "--gpus-per-task=volta:1". <?><?><?><?><?> <?><?><?><?><?>
              <?><?> <?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?>
              <?><?><?> <?><?><?> <?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>:
              "--gpus-per-task=volta:3,kepler:1". <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> --gpus<?> --gpus-per-socket <?>
              --gpus-per-node <?><?> <?><?><?><?><?><?>.  <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?><?><?><?> -n<?> --ntasks <?><?>
              "--gpus=X --gpus-per-task=Y" <?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?> -N<?> --nodes.
              <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?>
              --tres-bind=gres/gpu:per_task:<gpus_per_task><?> <?><?> <?><?>
              <?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?>
              gpu<?> <?><?><?><?><?>
              --tres-bind=gres/gpu:per_task:<gpus_per_task_type_sum> <?><?>
              <?><?><?><?><?> <?><?><?><?><?><?>. <?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?> --tres-bind=gres/gpu
              <?><?><?><?><?><?><?><?> <?><?><?>.



       --gres=<list>
              <?><?><?><?><?><?> <?><?><?> <?><?><?> <?><?> <?><?><?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> (generic
              consumable resources) <?><?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?>.  <?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
              <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?>
              "name[[:type]:count]" <?><?><?>.  <?><?><?> name <?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?> (<?><?><?><?><?> gpu).
              <?><?><?> type <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?><?> (<?><?><?><?><?> a100).
              <?><?><?> count <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?> <?> <?><?><?>.
              <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?> "k" <?><?> "K" (<?><?><?><?>
              <?><?><?><?>)<?> "m" <?><?> "M" (<?><?><?><?> <?><?><?><?> x
              <?><?><?><?>)<?> "g" <?><?> "G" (<?><?><?><?> <?><?><?><?> x
              <?><?><?><?> x <?><?><?><?>)<?> "t" <?><?> "T" (<?><?><?><?>
              <?><?><?><?> x <?><?><?><?> x <?><?><?><?> x <?><?><?><?>)<?>
              "p" <?><?> "P" (<?><?><?><?> <?><?><?><?> x <?><?><?><?> x
              <?><?><?><?> x <?><?><?><?> x <?><?><?><?>) <?><?><?><?>.
              <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?>
              <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>
              <?><?>.  <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>.  <?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?> "help" <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?> <?><?><?> <?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>.
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
              "--gres=gpu:2"<?> "--gres=gpu:kepler:2" <?> "--gres=help"
              <?><?><?>.  <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?> <?><?><?> <?><?><?>
              (step) <?><?><?><?><?> <?><?><?><?><?><?>. <?><?> <?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
              (exclusive) <?><?><?><?> <?><?><?> <?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>.  <?><?><?><?>
              <?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> --gres <?><?>
              <?><?> <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?> <?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?> "--gres=none" <?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?> SLURM_STEP_GRES <?><?> <?><?><?><?><?> <?><?>
              "none" <?><?><?><?><?><?><?>.

              <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?> --gpus-per-node
              <?><?><?><?><?><?><?><?><?><?><?> (<?><?><?><?><?><?><?><?>)
              <?><?><?>.



       --gres-flags=<type>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?> (generic resource task
              binding) <?><?> <?><?><?><?> <?><?><?><?><?><?>.


              allow-task-sharing
                     <?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?> GPU <?><?>
                     <?><?><?><?><?> <?><?><?> <?><?> <?><?><?> <?><?><?><?>
                     <?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?> <?><?>
                     --gpu-bind <?><?> --tres-bind=gres/gpu <?><?><?><?>
                     <?><?><?><?> <?><?><?><?> GPU<?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?> GPU<?><?> <?><?><?> <?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?>.
                     <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?> srun <?><?><?>.



              multiple-tasks-per-sharing
                     <?><?><?><?><?> one-task-per-sharing <?><?> <?><?><?>
                     <?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?> <?><?><?> <?><?><?><?><?><?><?> <?><?>
                     SelectTypeParameters <?><?><?><?><?> <?><?><?>
                     <?><?><?><?>.



              disable-binding
                     <?><?><?><?><?> enforce-binding <?><?> <?><?><?>
                     <?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?> <?><?><?> <?><?><?><?><?><?><?> <?><?>
                     SelectTypeParameters <?><?><?><?><?> <?><?><?>
                     <?><?><?><?>.



              enforce-binding
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?> (CPU)
                     <?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?> <?><?> <?><?> GRES
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     (<?><?><?><?> CPU<?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?> gres.conf <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?>). <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?> <?><?><?>.
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> GPU <?> <?><?> CPU <?><?><?>
                     <?><?> <?><?><?><?><?> <?><?> <?><?> <?><?> GPU <?><?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?> GPU<?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?>.  <?><?><?><?><?><?>
                     <?><?><?> <?><?><?> <?><?> <?><?><?> <?><?> <?><?><?>
                     <?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?> <?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?>.
                     <?><?><?><?>: <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?> SelectTypeParameters
                     <?><?><?><?><?> <?><?><?>.
                     <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?> SelectType=cons_tres <?><?><?>.
                     <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     gres <?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?>.



              one-task-per-sharing
                     <?><?><?><?><?> <?><?><?><?><?> gres<?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?> sharing gres
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>.
                     <?><?><?><?>: <?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     gres<?><?><?> <?><?><?><?><?><?><?> <?><?>
                     --tres-per-task <?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?>.
                     <?><?><?><?>: <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?>
                     SelectTypeParameters=ONE_TASK_PER_SHARING_GRES
                     <?><?><?><?><?> <?><?><?>.
                     <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?> SelectTypeParameters=MULTIPLE_SHARING_GRES_PJ
                     <?><?><?>.



       -h, --help
              <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?>
              <?><?><?><?>.



       --het-group=<expr>
              <?><?> <?><?><?><?><?> <?><?> <?><?> <?><?> <?><?><?><?><?>
              <?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> srun <?><?><?><?> <?><?><?> <?><?><?><?>
              <?><?> <?><?><?><?><?> salloc <?><?> <?><?><?><?><?><?><?>
              sbatch <?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?><?><?>
              <expr> <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?> <?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?>
              salloc <?><?> sbatch <?><?><?>.  <?><?><?><?><?><?><?>:
              "--het-group=2"<?> "--het-group=0,4"<?> "--het-group=1,3-5".
              <?><?><?><?><?> <?><?><?><?><?><?><?> --het-group=0 <?><?><?>.



       --hint=<type>
              <?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?> (application
              hints) <?><?><?><?> <?><?><?><?><?><?>.
              <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> --ntasks-per-core<?> --cores-per-socket<?>
              --sockets-per-node<?> --threads-per-core<?> --cpu-bind (<?><?>
              <?><?> --cpu-bind=verbose) <?><?> -B <?><?><?><?><?><?>.
              <?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
              <?><?> --hint <?><?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?>. <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?> <?><?><?> <?><?><?><?><?> --hint <?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>.

              compute_bound
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> (compute bound) <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?>:
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?> <?><?> <?><?><?><?> <?><?>
                     <?><?><?><?>.



              memory_bound
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> (memory bound) <?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?>: <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?> <?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?> <?><?> <?><?><?><?>
                     <?><?> <?><?><?><?>.



              multithread
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> (in-core
                     multi-threading) <?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?>.  <?><?><?><?> <?><?> <?><?><?><?><?><?>
                     task/affinity <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?>.



              nomultithread
                     <?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?> <?><?> <?><?><?><?>
                     <?><?> <?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.  <?><?><?><?> <?><?>
                     <?><?><?><?><?><?> task/affinity <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?>.



              help   <?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?><?>



              <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?>.


              -H, --hold
                     <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> (held state <?><?> <?><?><?><?><?><?>
                     <?><?><?>) <?><?><?><?><?> <?><?><?>.  <?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> scontrol <?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?> (<?><?><?><?> <?><?><?><?>
                     <<scontrol release <job_id>>>). <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?> (job
                     allocations) <?><?><?><?><?> <?><?><?><?><?><?>.



              --ignore-signals=<signals_list>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?> srun <?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?>. <?><?> <?><?><?><?><?><?> <?> <?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>.
                     <?><?><?><?><?><?> <?><?><?><?><?> srun <?><?>
                     <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> (tasks) <?><?> <?><?><?>
                     <?><?><?><?> <?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> srun
                     <?><?><?> <?><?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?>.
                     <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?>.  <?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?>
                     <?><?><?> <?><?> <?><?><?> <?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?>.
                     <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?> <?><?><?>:

                     SIGINT    <?><?> <?><?><?><?><?> <?><?><?>
                               <?><?><?><?><?><?> (interactive abort sequence)
                               <?><?> <?><?><?><?> <?><?><?><?><?><?>.
                               <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                               <?><?><?><?><?><?> <?><?><?><?> <?><?>
                               <?><?><?><?><?> srun <?><?> <?><?><?><?><?>
                               <?><?><?><?><?><?><?> Ctrl+C <?><?><?><?><?>
                               <?><?>.



                     SIGQUIT   <?><?><?><?><?><?><?><?> SIGKILL
                               <?><?><?><?><?><?><?> <?><?><?><?><?><?>.



                     SIGTERM   <?><?><?><?><?><?><?><?> SIGKILL
                               <?><?><?><?><?><?><?> <?><?><?><?><?><?>.
                               <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                               <?><?><?><?><?><?> <?><?><?><?>
                               <?><?><?><?><?><?><?><?><?> sbatch/salloc
                               <?><?><?><?> <?><?><?> <?><?><?><?><?>
                               <?><?><?> <?><?> <?><?> <?><?><?><?>
                               <?><?><?><?><?> scancel <?><?> <?><?><?><?><?>
                               <?><?><?><?> (timeout) <?><?> <?><?><?><?><?>
                               <?><?><?><?><?><?><?>.



                     SIGHUP    <?><?><?><?><?><?><?><?> SIGKILL
                               <?><?><?><?><?><?><?> <?><?><?><?><?><?>.
                               <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                               <?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                               <?><?><?><?><?> <?><?><?> <?><?>
                               <?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?><?> (hangup) <?><?> <?><?>
                               <?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                               <?><?><?><?><?><?> salloc <?><?>
                               <?><?><?><?><?> <?><?><?><?><?><?><?> <?>
                               <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?> <?><?><?>.



                     SIGUSR1   <?><?><?><?><?> <?><?> <?><?><?><?><?> (tasks)
                               <?><?><?><?><?><?><?> <?><?><?><?><?><?>.



                     SIGUSR2   <?><?><?><?><?> <?><?> <?><?><?><?><?> (tasks)
                               <?><?><?><?><?><?><?> <?><?><?><?><?><?>.



              -I, --immediate[=<seconds>]
                     <?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?>.  <?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     (<?><?><?><?><?> <?><?><?><?><?><?><?> seconds
                     <?><?><?><?><?> <?><?> <?> <?><?><?>)<?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>. <?><?><?>
                     defer <?><?> SchedulerParameters <?><?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?> <?> seconds=1 <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> defer <?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?> <?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?>.  <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> --immediate <?><?><?><?><?>
                     <?><?><?> <?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> (block)
                     <?><?><?><?><?> <?><?>. <?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> (parsing) <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?> <?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?> <<-I60>> <?> <?><?> <<-I
                     60>>. <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> (job) <?> <?><?><?>
                     (step) <?><?><?><?><?> <?><?><?><?><?><?>.



              -i, --input=<mode>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> (stdin) <?><?> <?><?><?><?>
                     <?><?><?><?><?><?>. <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> srun <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> stdin <?><?> <?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>.
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?> IO Redirection <?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.  <?><?>
                     <?><?><?><?><?><?><?><?><?><?> OS X<?> <?><?><?><?>
                     poll() <?><?> stdin <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?>. <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>.



              -J, --job-name=<jobname>
                     <?><?><?><?> <?><?> <?><?><?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?> (job ID)
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>.
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> (executable)
                     <?><?><?><?><?><?><?><?><?> <?><?><?>. <?><?><?><?>:
                     <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?> slurm_jobacct.log <?><?><?><?><?>
                     <?><?><?>. <?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
                     (space) <?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?> <?><?> jobname <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> sacct <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                     slurm_jobacct.log <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?> <?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.



              --jobid=<jobid>
                     <?><?> <?><?><?> <?><?><?><?> (job step) <?><?> <?><?><?>
                     <?><?> <?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     id <?><?><?><?> <?><?><?><?><?><?>.
                     <?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?> srun <?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
                     SLURM_JOB_ID <?><?><?><?><?> <?><?><?> <?><?><?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> (step allocations)
                     <?><?><?><?><?> <?><?><?><?><?><?>.



              -K, --kill-on-bad-exit[=0|1]
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?> <?><?><?><?> <?><?><?><?> <?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?> <?><?> <?><?> <?><?><?><?>
                     <?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?>.  <?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> Slurm
                     <?><?> <?><?><?><?><?> KillOnBadExit <?><?><?><?><?>
                     <?><?><?><?><?> <?><?>. <?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
                     KillOnBadExit <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?>. <?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?>. <?><?>
                     <?><?><?><?><?><?><?> <?><?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?>.
                     <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
                     <?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?> -W,
                     --wait <?><?><?><?><?><?> <?><?><?><?>.  <?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?> <?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?> <<-K1>> <?> <?><?> <<-K 1>>.



              -l, --label
                     <?><?><?><?><?> <?><?><?><?><?> (task) <?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?> stdout/err
                     <?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?><?><?>
                     --label <?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     (remote task id) <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?>.  <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>.



              -L, --licenses=<license>[@db][:count][,license[@db][:count]...]
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?> (<?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?>)
                     <?><?> <?><?><?><?> <?><?> <?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?>.
                     <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     (<?><?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?>).
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?>. <?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?> <?><?><?>
                     <?><?><?><?><?> (',' <?><?> <?><?><?><?><?> AND)<?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?> "--licenses=foo:4,bar". <?><?><?> <?><?>
                     <?><?> <?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?> ('|'
                     <?><?> <?><?><?><?><?> OR)<?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?> "--licenses=foo:4|bar". <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?> AND
                     <?> OR <?><?><?><?> <?><?><?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> (<?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?> slurmdbd <?><?><?><?><?>
                     <?><?><?><?><?><?><?>)<?> <?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> "--license=nastran@slurmdb:12". <?><?><?>
                     LicenseParameters=RemoteFuzzyMatch <?><?> slurm.conf
                     <?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
                     <?><?><?>.

                     <?><?><?><?>: <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?> (heterogeneous
                     jobs)<?> <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?><?> (component job)
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     "srun -L ansys:2 : myexecutable".

                     <?><?><?><?>: <?><?><?> <?><?><?><?><?><?> <?><?>
                     AccountingStorageTres <?><?><?><?><?><?> <?><?><?><?> <?>
                     <?><?> OR <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     ReqTRES <?><?><?><?> tres<?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>. AllocTRES <?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?> <?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?>.

                     <?><?><?><?>: <?><?><?><?><?><?> <?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?> OR
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> Slurm
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?>. <?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?>. <?><?><?>
                     <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> backfill <?><?>
                     <?><?><?><?><?> <?><?> SchedulerParameters=bf_licenses
                     <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?> <?><?><?><?><?><?>.



              --mail-type=<type>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?>.  <?><?><?><?><?><?> <?><?><?><?><?>
                     type <?><?><?><?><?><?><?> <?><?> NONE<?> BEGIN<?> END<?>
                     FAIL<?> REQUEUE<?> ALL (<?><?><?><?><?> BEGIN<?> END<?>
                     FAIL<?> INVALID_DEPEND<?> REQUEUE <?> STAGE_OUT)<?>
                     INVALID_DEPEND (<?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?>)<?> STAGE_OUT
                     (<?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?>
                     <?><?><?><?><?><?><?><?> <?><?>)<?> TIME_LIMIT<?>
                     TIME_LIMIT_90 (<?><?><?><?><?> <?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?>)<?> TIME_LIMIT_80
                     (<?><?><?><?><?> <?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?>) <?> TIME_LIMIT_50
                     (<?><?><?><?><?> <?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?>).  <?><?><?><?><?>
                     <?><?><?><?><?> type <?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?>.  <?><?><?><?><?>
                     NONE <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?> <?> <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?>.  <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>.
                     <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?> --mail-user <?><?><?><?>
                     <?><?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>.



              --mail-user=<user>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?> --mail-type
                     <?><?><?><?><?><?> <?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?>. <?><?><?> <?><?>
                     <?><?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> MailDomain <?><?> slurm.conf <?><?>
                     <?><?> <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?>.  <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?>. <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>..IP


              --mcs-label=<mcs>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?> MCSPlugin
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>. <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?> <?><?> <?><?> <?><?><?><?> <?><?><?><?>
                     (mcs/group) <?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> (mcs/label). <?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?>.  <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?> (job)
                     <?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> MCS <?><?><?><?><?><?>
                     <?><?><?><?>: <https://slurm.schedmd.com/mcs.html>



              --mem=<size>[units]
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?> <?><?><?><?> <?><?> <?><?><?> (node) <?><?>
                     <?><?><?><?> <?><?><?><?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     (mebibytes) <?><?><?>.  <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> [K|M|G|T]
                     <?><?><?><?> <?><?><?>.  <?><?><?><?><?>
                     <?><?><?><?><?><?><?> DefMemPerNode <?>
                     <?><?><?><?><?><?> <?><?><?><?><?> MaxMemPerNode
                     <?><?><?>.  <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> scontrol show config <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?>.  <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> (SelectType=select/linear).  <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?> <?><?><?>
                     (job step)<?> <?><?><?> <?><?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?> <?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?>.  <?><?><?><?><?><?>
                     --mem-per-cpu <?> --mem-per-gpu <?><?>
                     <?><?><?><?><?><?>.  <?><?><?><?><?><?><?><?><?> --mem<?>
                     --mem-per-cpu <?> --mem-per-gpu
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>.
                     <?><?><?> --mem<?> --mem-per-cpu <?><?> --mem-per-gpu
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?> (<?><?>
                     <?><?><?><?><?><?><?><?> <?><?> salloc <?><?> sbatch
                     <?><?> <?><?><?> <?><?><?><?><?><?><?><?><?>)
                     <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>.

                     <?><?><?><?>: <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?> <?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?> <?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?> <?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?>.

                     <?><?><?><?>: <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?><?> slurmstepd <?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?>. <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?> 20MiB
                     <?><?> 200MiB <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?>
                     <?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?>.

                     <?><?><?><?>: <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
                     Slurm <?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?>. <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> ConstrainRAMSpace <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> cgroup.conf(5) <?>
                     OverMemoryKill <?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     slurm.conf(5) <?><?><?><?><?><?> <?><?><?><?>.

                     <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?> <?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.



              --mem-bind=[{quiet|verbose},]<type>
                     <?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?>. <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?> task/affinity <?><?><?><?>
                     <?><?><?><?> <?> <?><?><?><?><?> <?><?><?><?><?> NUMA
                     <?><?> <?><?><?><?><?> <?><?><?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?> <?>
                     <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> CPU <?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?>. <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> CPU <?><?><?><?> <?><?><?>
                     <?><?> <?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
                     <<<?><?><?><?><?><?>>> <?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?>.  <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?> CPU
                     <?><?><?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?> <?><?><?> <?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?> <?><?> <?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> CPU
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?><?>. <?><?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?> <?><?><?> <?><?> "none" <?><?>
                     "local" <?><?><?><?><?> <?><?><?><?><?><?><?>. <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?> "--cpu-bind=verbose,none
                     --mem-bind=verbose,none" <?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?>.

                     <?><?><?><?>: <?><?><?><?> <?><?><?><?><?> Slurm
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     SLURM_MEM_BIND <?><?><?> "verbose" <?><?><?><?>
                     <?><?><?><?>.

                     <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> --mem-bind <?><?><?><?><?>
                     <?><?><?><?><?><?><?>:

                          SLURM_MEM_BIND_LIST
                          SLURM_MEM_BIND_PREFER
                          SLURM_MEM_BIND_TYPE
                          SLURM_MEM_BIND_VERBOSE

                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?> <?><?>
                     <?><?><?><?><?><?><?><?> individual SLURM_MEM_BIND*<?>
                     <?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     (ENVIRONMENT VARIABLES) <?><?> <?><?><?><?><?><?>.

                     <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?>:

                     help   <?><?><?><?><?> <?><?><?> <?><?><?><?>
                            <?><?><?><?><?><?>



                     local  <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
                            <?><?> <?><?><?> <?><?><?><?><?><?><?>



                     map_mem:<list>
                            <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>
                            (<?><?> <?><?><?><?><?><?><?>) <?><?>
                            <?><?><?><?><?><?><?> <?><?> <list> <?><?>
                            <?><?><?><?>
                            <numa_id_for_task_0>,<numa_id_for_task_1>,...
                            <?><?><?><?> <?><?><?> <?><?><?>.  <?><?><?><?><?>
                            <?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?> <?> <?><?><?><?><?>
                            <?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?>
                            <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                            <?><?> (<?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?> <?><?><?> <?><?>
                            <?><?><?> <?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?>
                            <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                            <?> <?><?><?><?>).  <?><?><?><?><?><?><?><?><?>
                            NUMA <?><?> <?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                            <?><?><?> <?><?> <?><?><?><?><?> '0x' <?><?><?><?>
                            <?><?><?><?> <?><?> <?><?> <?><?><?> <?><?><?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
                            <?><?> <?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?>.  <?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?> (<?><?> <?><?><?><?><?><?><?>)
                            <?><?> <?><?><?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?>
                            <?><?> <?><?><?><?> <?><?><?><?> <?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>.
                            <?><?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?> <?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?>
                            <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?>
                            <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>.
                            <?><?> <?><?><?><?><?> <?><?><?><?>
                            "map_mem:0x0f*4,0xf0*4".  <?><?><?><?>
                            <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?>
                            <?><?><?><?><?><?><?><?><?> <?><?><?><?>
                            CPU<?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
                            <?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?>
                            <?><?><?><?><?> <?><?><?><?> <?><?><?><?>.



                     mask_mem:<list>
                            <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>
                            (<?><?> <?><?><?><?><?><?><?>) <?><?>
                            <?><?><?><?><?><?><?> <?><?> <list> <?><?>
                            <?><?><?><?>
                            <numa_mask_for_task_0>,<numa_mask_for_task_1>,...
                            <?><?><?><?> <?><?><?> <?><?><?>.  <?><?><?><?><?>
                            <?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?> <?> <?><?><?><?><?>
                            <?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?>
                            <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                            <?><?> (<?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?> <?><?><?> <?><?>
                            <?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?><?>
                            <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?> <?>
                            <?><?><?><?>).  <?><?><?><?><?><?><?><?> NUMA
                            <?><?><?><?><?> <?><?> <?><?><?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?><?>.
                            <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                            <?><?> <?><?><?> <?><?><?><?><?><?><?> <?><?>
                            [0-9] <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                            <?><?><?> <?><?> <?><?><?><?><?> <?><?> '0x'
                            <?><?><?><?> <?><?><?><?> <?><?> <?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                            <?><?><?><?><?><?> <?><?><?><?>.  <?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?> (<?><?>
                            <?><?><?><?><?><?><?>) <?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?> <?><?>
                            <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
                            <?><?><?><?> <?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?>.  <?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                            <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?>
                            <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?>
                            <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>.
                            <?><?> <?><?><?><?><?> <?><?><?><?>
                            "mask_mem:0*4,1*4".  <?><?><?><?>
                            <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?>
                            <?><?><?><?><?><?><?><?><?> <?><?><?><?>
                            CPU<?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
                            <?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?>
                            <?><?><?><?><?> <?><?><?><?> <?><?><?><?>.



                     no[ne] <?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?> <?><?><?><?><?>
                            (<?><?><?><?><?><?><?>)



                     p[refer]
                            <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                            <?><?><?> NUMA <?><?><?><?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                            <?><?><?> <?><?><?><?><?><?><?> <?><?>
                            <?><?><?><?> <?><?><?><?><?><?><?> NUMA <?><?>
                            <?><?><?><?><?> <?><?><?> <?><?><?><?>
                            <?><?><?><?>.



                     q[uiet]
                            <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                            <?><?><?><?><?> <?> <?><?><?><?><?><?> <?><?><?>
                            <?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                            <?><?><?> (<?><?><?><?><?><?><?>)



                     rank   <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                            <?><?><?><?> <?><?><?> (<?><?><?><?><?>
                            <?><?><?><?><?><?><?>)



                     v[erbose]
                            <?><?><?><?><?> <?><?><?><?> <?> <?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                            <?><?><?> <?><?> <?><?><?><?><?> <?><?><?>



                     <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>.



              --mem-per-cpu=<size>[units]
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?> <?><?><?><?> <?><?> CPU
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>.
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> [K|M|G|T] <?><?><?><?><?> <?><?><?>.
                     <?><?><?><?><?> <?><?><?><?><?><?><?> DefMemPerCPU <?>
                     <?><?><?><?><?><?> <?><?><?><?><?> MaxMemPerCPU <?><?><?>
                     (<?><?><?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?><?>). <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> scontrol show config <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> --mem-per-cpu <?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
                     MaxMemPerCPU <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?> --mem-per-cpu
                     <?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?> MaxMemPerCPU <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> --cpus-per-task <?><?><?><?><?>
                     <?><?><?> <?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     --cpus-per-task <?><?> <?><?><?><?><?> <?><?><?><?>
                     --mem-per-cpu <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?> --mem-per-cpu <?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?>.
                     <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     (SelectType=select/cons_tres).  <?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?>
                     CPU<?><?><?> <?><?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?> <?><?><?><?><?>
                     --mem-per-cpu <?><?><?><?> <?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?>.  <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?> <?><?><?> <?><?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?> <?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>.
                     <?><?><?><?><?><?> --mem <?> --mem-per-gpu <?><?>
                     <?><?><?><?><?><?>.  <?><?><?><?><?><?><?><?><?> --mem<?>
                     --mem-per-cpu <?> --mem-per-gpu
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>.

                     <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?> <?><?>.
                     <?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?> --mem-per-cpu <?><?>
                     <?><?><?><?><?> <?><?><?><?><?> --exclusive <?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?> <?> <?><?><?><?><?><?><?><?> --mem-per-cpu
                     <?><?> <?><?><?><?><?> CPU<?><?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?> <?><?> <?><?><?><?><?> <?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?>.

                     <?><?><?><?>: <?><?><?> <?><?><?><?> <?><?><?><?>
                     CPU<?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.  <?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?> <?><?> <?><?>
                     <?><?><?><?> (thread) <?><?> <?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?>.
                     <?><?><?> <?><?><?><?> --threads-per-core <?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?> (<?><?>
                     --hint=nomultithread <?><?> <?><?> <?><?><?><?><?>
                     --threads-per-core=1 <?><?><?>)<?> <?><?><?> <?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?> <?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?> <?><?> CPU
                     <?><?><?><?> <?><?><?><?><?><?><?><?>. <?><?><?>
                     <?><?><?> <?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?> <?><?> CPU
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?> <?><?><?>
                     <?><?><?> <?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?>.

                     <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?>.

                     <?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?> --threads-per-core
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>. <?><?><?>
                     <?><?><?> <?><?> <?><?> <?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?>.
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?> CPU <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?>:.nf $ salloc -n3
                     --mem-per-cpu=100 salloc: Granted job allocation 17199 $
                     sacct -j $SLURM_JOB_ID -X -o
                     jobid%7,reqtres%35,alloctres%35
                       JobID                             ReqTRES
                     AllocTRES ------- -----------------------------------
                     -----------------------------------
                       17199     billing=3,cpu=3,mem=300M,node=1
                     billing=4,cpu=4,mem=400M,node=1

                     <?><?> <?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     --threads-per-core=1<?> <?><?> <?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?> <?><?> <?><?><?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>.
                     <?><?><?><?><?><?><?><?><?><?><?><?> (CPUs)
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?>. <?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?>
                     <?><?><?>.

                     $ salloc -n3 --mem-per-cpu=100 --threads-per-core=1
                     salloc: Granted job allocation 17200
                     $ sacct -j $SLURM_JOB_ID -X -o jobid%7,reqtres%35,alloctres%35
                       JobID                             ReqTRES                           AllocTRES
                     ------- ----------------------------------- -----------------------------------
                       17200     billing=3,cpu=3,mem=300M,node=1     billing=6,cpu=6,mem=300M,node=1



              --mem-per-gpu=<size>[units]
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?> <?><?><?><?> <?><?> GPU
                     <?><?><?><?><?><?><?><?><?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>.
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> [K|M|G|T] <?><?><?><?> <?><?><?>.
                     <?><?><?><?><?> <?><?><?><?><?><?><?> DefMemPerGPU
                     <?><?><?> <?> <?><?> <?><?> <?><?><?> <?><?><?><?><?><?>
                     <?> <?><?> <?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?>.
                     <?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?> scontrol show config <?>
                     scontrol show partition <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?>.  <?><?><?><?><?><?> --mem <?><?>
                     <?><?><?><?><?><?>.  <?><?><?><?><?><?><?><?><?> --mem<?>
                     --mem-per-cpu <?> --mem-per-gpu
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>.



              --mem-update=<margin>@<delay>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?> <?><?> <?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?> delay <?><?><?><?> <?><?>.  <?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?> margin <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>. <?><?><?><?><?> margin <?><?>
                     <?><?><?><?> <?><?><?> (<?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?>).
                     <?><?><?><?><?><?><?> delay <?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?>.  <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
                     delay <?><?><?><?> "minutes"<?> "minutes:seconds"<?>
                     "hours:minutes:seconds"<?> "days-hours"<?>
                     "days-hours:minutes" <?> "days-hours:minutes:seconds"
                     <?><?><?><?><?>.  <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?> <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?>. <?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?>. <?><?><?><?><?>
                     <?><?> <?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?> <?><?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>.
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?> RSS (<?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?>) <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> swap
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?>.
                     <?><?><?><?><?><?> <?><?> ConstrainSwapSpace
                     <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> swap <?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> --mem <?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> --mem-per-cpu
                     <?><?><?> <?><?><?><?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> --mem-per-cpu<?>
                     <?><?> <?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?> <?><?> <?><?><?>
                     <?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>:
                     <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?> <?><?>
                     <?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>. <?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?> <?><?> <?><?> (requeue)<?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?>.  <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?>
                     SlurmctldParameters=enable_stepmgr <?>
                     JobAcctGatherType=jobacct_gather/cgroup <?><?><?>.



              --mincpus=<n>
                     <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?>/<?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?> <?><?> <?><?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?><?>. <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.



              --mpi=<mpi_type>
                     <?><?><?> MPI <?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?>. <?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?>.

                     cray_shasta
                            <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?> Cray PMI.
                            <?><?><?> <?><?><?><?><?> <?><?><?><?>
                            <?><?><?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?><?> <?><?> Cray
                            Programming Environment <?><?><?>. <?><?><?><?><?>
                            <?><?><?><?><?> PMI <?><?> <?><?><?><?><?><?><?>
                            <?><?> <?><?><?><?><?> --resv-ports <?><?> <?><?>
                            <?><?><?><?><?><?><?> MpiParams=ports=<port range>
                            <?><?> <?><?><?><?> slurm.conf <?><?><?><?>
                            <?><?><?>.  <?><?><?> <?><?><?><?><?><?> <?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>.
                            <?><?><?><?><?><?><?><?> <?><?> cray_shasta <?><?>
                            <?><?><?> <?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?> <?><?><?> <?><?><?>.



                     list   <?><?><?><?><?><?><?> MPI <?><?><?><?><?> <?><?>
                            <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?>.



                     pmi2   <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?> PMI2.
                            <?><?><?><?><?><?><?><?> PMI2 <?><?> Slurm
                            <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?>
                            <?><?><?><?><?><?> <?><?>
                            <?><?><?><?><?><?><?><?><?><?> MPI <?><?> <?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?>
                            <?><?><?><?><?> <?><?><?><?> <?><?><?> MPI
                            <?><?><?><?> PMI2 <?><?>
                            <?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                            <?><?><?><?>.  <?><?><?><?><?> --mpi=pmi2
                            <?><?><?><?><?><?><?><?> lib/slurm/mpi_pmi2.so
                            <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                            <?><?> <?><?><?><?><?><?> <?><?><?> <?><?><?><?>
                            <?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                            <?><?><?> <?><?><?> <?><?><?><?><?><?>
                            <?><?><?><?> PMI2_Init() <?> <?><?><?><?>
                            <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                            <?><?> <?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                            <?><?><?><?>.



                     pmix   <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?> PMIx
                            (<https://pmix.github.io>).
                            <?><?><?><?><?><?><?><?> PMIx <?><?> Slurm
                            <?><?><?><?><?><?><?><?> <?><?><?><?>
                            <?><?><?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                            (<?><?><?><?><?> MPI) <?><?> <?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?> PMIx<?> PMI2
                            <?><?> PMI1 <?><?><?><?><?><?><?> <?><?><?>. Slurm
                            <?><?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?><?> "--with-pmix=<PMIx installation
                            path>" <?><?> <?><?><?><?><?><?><?> "./configure"
                            <?><?> <?><?><?><?><?><?><?><?> <?><?> pmix
                            <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?>.

                            <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?>
                            <?><?><?><?> PMIx <?><?> Open MPI <?><?>
                            <?><?><?><?> 2.0 <?><?> <?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>.  PMIx
                            <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                            <?><?> <?><?> <?><?><?> <?><?> PMI1 <?> PMI2
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?>
                            <?><?> <?><?><?><?><?> <?><?> MPI <?><?>
                            <?><?><?><?><?><?><?><?> <?><?> PMI2/PMI1
                            <?><?><?><?><?><?><?><?><?><?><?> <?><?>
                            <?><?><?><?><?><?><?><?> PMIx ("libpmix")
                            <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?>
                            <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>.
                            <?><?><?> MPI <?><?> PMI1/PMI2
                            <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?>
                            <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                            <?><?> <?><?> <?><?><?><?><?><?><?><?><?><?>
                            <?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?><?><?> <?><?> <?><?>
                            <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                            <?><?> <?><?><?><?><?><?><?><?><?> <?><?>
                            LD_PRELOAD <?><?><?><?> <?><?><?><?><?> <?><?>
                            <?><?><?><?><?><?><?> <?><?> "libpmix"
                            <?><?><?><?><?><?><?> <?><?><?>.



                     none   <?><?><?><?> <?><?><?><?><?><?> <?><?><?> MPI.
                            <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                            <?><?><?> <?> <?><?> <?><?><?><?><?><?> <?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?> MPI
                            <?><?><?> <?><?><?><?><?><?>.



                     <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.



              --msg-timeout=<seconds>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?><?>.
                     <?><?><?><?><?> <?><?><?><?><?><?><?> MessageTimeout
                     <?><?> <?><?><?><?> <?><?><?><?><?><?><?><?> Slurm
                     <?><?><?><?> slurm.conf <?><?><?>.  <?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?>.  <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.



              --multi-prog
                     <?><?><?><?><?> <?><?> <?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?>. <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?> <?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
                     MULTIPLE PROGRAM CONFIGURATION <?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>.



              --network=<type>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?>.  <?><?><?><?><?> type <?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?>.

                     <?><?><?><?><?> network <?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> HPE Slingshot <?><?>
                     <?><?><?><?><?> <?><?><?>.  <?><?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?> VNI
                     <?><?><?> (<?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?> <?><?> <?><?> <?><?><?>) <?><?><?><?><?><?><?>
                     <?><?><?>. <?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?> <?><?> <?><?><?> <?><?><?>. <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?>.

                     tcs=<class1>[:<class2>]...
                           <?><?><?><?><?><?><?><?><?> <?><?>
                           <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                           <?><?><?><?> <?><?><?><?><?><?><?><?>
                           <?><?><?><?><?><?><?><?><?>.
                           <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                           <?><?><?><?><?><?><?><?><?><?><?><?>
                           <?><?><?><?><?><?><?> <?><?> DEDICATED_ACCESS<?>
                           LOW_LATENCY<?> BULK_DATA <?> BEST_EFFORT.
                           <?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                           <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                           <?><?> <?><?><?><?> TC_DEDICATED_ACCESS<?>
                           TC_LOW_LATENCY<?> TC_BULK_DATA <?> TC_BEST_EFFORT
                           <?><?><?><?> <?><?><?><?>.  <?><?><?>
                           <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                           <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                           <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                           <?><?><?> <?><?><?>.



                     no_vni
                           <?><?><?> VNI<?><?> <?><?><?><?> <?><?><?>
                           <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                           (<?><?><?> <?><?> <?><?><?><?>
                           <?><?><?><?><?><?><?><?><?> <?><?><?><?>).



                     job_vni
                           <?><?><?><?><?> <?><?> VNI <?><?><?> <?><?><?><?>
                           <?><?><?> <?><?><?>..IP


                     single_node_vni
                           <?><?><?><?><?> <?><?> VNI <?><?><?> <?><?><?><?>
                           <?><?><?> <?><?><?><?> <?><?><?> <?><?><?>
                           <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                           <?><?><?><?>.



                     adjust_limits
                           <?><?> <?><?><?><?> <?><?><?><?><?><?> slurmd
                           <?><?> <?><?> <?><?><?> <?><?><?><?><?>
                           <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                           <?><?> <?><?><?><?> <?><?> <?><?><?><?>
                           <?><?><?><?> (NIC) <?> <?><?><?> <?><?><?><?><?><?>
                           <?><?><?><?><?><?><?> <?><?>
                           <?><?><?><?><?><?><?><?><?><?><?> (<?><?>
                           <?><?><?><?> <?><?><?><?><?> <?><?><?><?>)
                           <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
                           <?><?><?><?><?><?><?> <?><?><?><?>
                           <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                           <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                           <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?>
                           <?><?><?><?><?><?><?> <?><?><?>.



                     no_adjust_limits
                           <?><?> <?><?><?><?> <?><?><?><?><?><?> slurmd
                           <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                           <?><?> <?><?><?><?><?> <?><?> <?><?><?><?>
                           <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                           <?><?> <?><?><?><?> <?> <?><?><?><?><?>
                           <?><?><?><?><?> (task<?><?>) <?><?>
                           <?><?><?><?><?><?> <?><?><?><?><?><?>
                           <?><?><?><?><?><?><?> <?> <?><?><?><?>
                           <?><?><?><?><?><?> <?><?><?><?> <?><?>
                           <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                           <?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                           <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                           <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                           <?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                           <?><?><?><?><?><?> <?><?><?>. <?><?><?><?><?>
                           <?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
                           <?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
                           <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                           <?><?><?><?> <?><?><?> <?><?> <?><?><?><?>
                           <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                           <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?>
                           <?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                           <?><?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?>
                           <?><?><?><?><?> <?><?><?><?><?> <?><?>
                           <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                           <?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?>
                           <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?>.



                     disable_rdzv_get
                           <?><?><?><?><?><?><?><?><?><?><?><?> rendezvous
                           get<?><?> <?><?> NIC<?><?><?> Slingshot<?> <?><?>
                           <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                           <?><?><?><?> <?><?><?><?>
                           <?><?><?><?><?><?><?><?><?><?> <?><?><?>
                           <?><?><?><?><?> <?><?><?><?>.



                     nic_distribution_count=<val>
                           <?><?><?><?><?> NIC<?><?><?><?> <?><?>
                           <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?>
                           <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>
                           <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.
                           <?><?><?><?><?><?><?> <?><?><?><?><?> NIC<?><?>
                           <?><?> <?><?> <?><?><?> <?><?><?>.



                     def_<rsrc>=<val>
                           <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                           <?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
                           <?><?><?><?> <?><?><?> <?><?><?><?>.



                     res_<rsrc>=<val>
                           <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                           <?><?><?><?> <?><?> <?><?><?> <?><?><?><?>
                           <?><?><?> <?><?><?><?>. <?><?> <?><?><?><?>
                           <?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                           <?><?><?><?> <?><?> <?><?><?><?><?><?><?><?> <?><?>
                           <?><?><?> <?> <?><?><?><?><?><?><?><?>
                           <?><?><?><?><?><?>.



                     max_<rsrc>=<val>
                           <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                           <?><?><?><?> <?><?> <?><?><?> <?><?><?><?>
                           <?><?><?> <?><?><?><?>.



                     depth=<depth>
                           <?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                           <?><?><?><?> <?><?> <?><?><?><?> <?><?>
                           <?><?><?><?><?><?><?><?>. <?><?><?><?><?><?><?>
                           <?><?><?><?><?>
                           <?><?><?><?><?><?><?><?><?><?><?><?>
                           <?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?>.


                     <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?>:

                     txqs  <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                           (Transmit). <?><?><?><?><?><?><?> <?> <?><?>
                           <?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?>
                           <?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
                           <?><?> <?><?><?> <?><?><?>.



                     tgqs  <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                           (Target). <?><?><?><?><?><?><?> <?> <?><?>
                           <?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?>
                           <?><?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?>
                           <?><?> <?><?><?> <?><?><?>.



                     eqs   <?><?><?><?><?><?> <?><?><?><?><?><?> (Event).
                           <?><?><?><?><?><?><?> <?> <?><?> <?><?><?><?>
                           <?><?> <?><?><?><?><?><?><?><?><?>
                           <?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
                           <?><?> <?><?><?> <?><?><?>.



                     cts   <?><?><?><?><?><?><?><?><?><?>.
                           <?><?><?><?><?><?><?> <?> <?><?> <?><?><?><?>
                           <?><?> <?><?><?><?><?><?><?><?><?>
                           <?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
                           <?><?> <?><?><?> <?><?><?>.



                     tles  <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                           <?><?><?><?> (Trigger list entries).
                           <?><?><?><?><?><?><?> <?> <?><?> <?><?><?><?>
                           <?><?> <?><?><?><?><?><?><?><?><?>
                           <?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
                           <?><?> <?><?><?> <?><?><?>.



                     ptes  <?><?><?><?><?><?><?><?> <?><?><?><?>
                           <?><?><?><?><?><?> (Portable table entries).
                           <?><?><?><?><?><?><?> <?> <?><?> <?><?><?><?>
                           <?><?> <?><?><?><?><?><?><?><?><?>
                           <?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
                           <?><?> <?><?><?> <?><?><?>.



                     les   <?><?><?><?><?><?><?><?> <?><?><?><?><?> (List
                           entries). <?><?><?><?><?><?><?> <?><?> <?><?>
                           <?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?>
                           <?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                           <?><?><?><?> <?><?> <?><?><?> <?><?><?>.



                     acs   <?><?><?><?><?><?><?><?><?>
                           <?><?><?><?><?><?><?><?> (Addressing contexts).
                           <?><?><?><?><?><?><?> <?> <?><?> <?><?><?><?>
                           <?><?> <?><?><?><?><?><?><?><?><?>
                           <?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
                           <?><?> <?><?><?> <?><?><?>.


                     <?><?> <?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> <?><?>
                     SwitchType=switch/nvidia_imex<?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>:

                     unique-channel-per-segment
                            <?><?> <?><?><?> <?><?> <?><?><?><?><?>
                            <?><?><?><?> <?><?> <?><?><?><?> <?><?>
                            <?><?><?><?><?> <?><?> <?><?><?><?> <?><?>
                            <?><?><?> (segment) <?><?> <?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?>
                            <?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                            <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                            topology/block <?><?><?><?><?><?><?><?> <?><?><?>
                            <?><?><?><?>.


                     <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?> <?><?><?> (job
                     and step allocations) <?><?><?><?><?> <?><?><?><?><?><?>.



              --nice[=adjustment]
                     <?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?> Slurm. <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?>. <?><?> <?><?><?><?><?> nice
                     <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?>
                     <?><?><?><?> <?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?>. <?><?><?><?><?><?><?> <?><?><?><?><?>
                     +/- 2147483645 <?><?><?>. <?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?>.



              -Z, --no-allocate
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
                     <<<?><?><?>>> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?> Slurm<?> <?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?> <?><?><?><?><?><?>. <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?><?>
                     -w, --nodelist <?><?><?><?> <?><?><?>. <?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     "SlurmUser" <?> "root" <?><?> <?><?><?><?><?> <?><?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>. <?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?> (user
                     namespaces) <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?> <?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?> MUNGE <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?>. <?><?> <?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?><?> slurmd <?><?> <?><?><?><?><?>
                     <?><?>.



              -k, --no-kill[=off]
                     <?><?> <?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?><?>
                     <?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?> <?><?> <?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?> <?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?><?>
                     <?><?><?> (fault-tolerance) <?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?>. <?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> (<?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> -K, --kill-on-bad-exit <?>
                     -W, --wait <?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?>). <?><?><?>
                     <?><?><?><?> <?><?><?> (<?><?><?> MPI)
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?>
                     <?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?>.

                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> SLURM_NO_KILL<?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> "off" <?><?>
                     <?><?><?><?> <?><?><?><?>.

                     <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?><?>.



              -F, --nodefile=<node_file>
                     <?><?><?><?><?> <?><?><?><?> <?><?> --nodelist
                     <?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?> node file <?><?><?><?> <?><?><?><?>. <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>.
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?>. <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                     Slurm <?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>.



              -w, --nodelist={<node_name_list>|<filename>}
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?> <?><?><?><?><?><?>.  <?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?> <?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?>.

                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?> (<?><?><?>
                     <?><?><?><?><?> <?><?> --segment <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?>).
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?>.

                     <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?> <?><?> <?><?><?><?> <?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> (<?><?><?><?><?> node[1-5,7,...])<?>
                     <?><?> <?><?> <?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?>. <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?> "/" <?><?><?><?><?>
                     <?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?>. <?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> Slurm <?><?><?><?>
                     <?><?><?><?><?> <?><?>.

                     <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> --distribution=arbitrary
                     <?><?><?><?> <?><?><?><?>. <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?> <?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?>. <?><?><?><?> <?><?><?><?><?>
                     "node1,node1" <?> "node1*2" <?><?><?><?><?>
                     <?><?><?><?><?>. <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>..IP


              -N, --nodes=<minnodes>[-maxnodes]|<size_string>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     minnodes <?><?><?> <?><?> <?><?><?> <?><?><?>.
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?> maxnodes
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?><?>.  <?><?><?> <?><?><?> <?><?>
                     <?><?><?> <?><?><?><?> <?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?>.
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> size_string
                     <?><?><?> <?><?><?><?> <?><?><?>.  <?><?><?><?><?>
                     size_string <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?>.  <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?> <?><?> <?><?><?><?><?> <?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?> <?><?> <?><?> <?><?> <?><?><?><?>
                     <?><?><?> (step function) <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <<->> <?><?><?><?> <?><?><?>.
                     <?><?><?><?> <?><?><?><?><?> <<--nodes=1-15:4>>
                     <?><?><?><?><?> <<--nodes=1,5,9,13>> <?><?><?>.
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?>.  <?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?> <?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
                     PENDING <?><?><?><?> <?><?><?><?><?> <?><?><?><?>.
                     <?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?>.  <?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?> <?><?><?><?><?> <?><?>.  <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> SLURM_JOB_NUM_NODES (<?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> SLURM_NNODES) <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>.
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?> ENVIRONMENT VARIABLES <?><?>
                     <?><?><?><?><?><?>. <?><?><?> -N <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?> -n<?> -c <?>
                     --gpus<?> <?><?><?><?><?> <?><?><?><?>.  <?><?> <?><?><?>
                     <?><?> <?><?> <?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?> <?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?>.  <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?>.
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?> <?> <?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <<k>> (<?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?>) <?><?> <<m>>
                     (<?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?>) <?><?><?><?>. <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?> <?><?><?> (step) <?><?><?><?><?>
                     <?><?><?><?><?><?>.

                     NOTE: <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> (arbitrary
                     distribution) <?><?><?><?><?><?><?> <?><?><?>.



              -n, --ntasks=<number>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?>.
                     <?><?> srun <?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?> <?><?><?><?> ntasks
                     <?><?><?> <?><?><?><?><?> <?><?><?>.
                     <?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?> <?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> --cpus-per-task <?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?> <?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.



              --ntasks-per-core=<ntasks>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?> ntasks <?><?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> --ntasks <?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?>.  <?><?><?><?><?> --ntasks-per-node
                     <?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?> <?><?>
                     <?><?> <?><?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.
                     <?><?><?> <?><?><?> <?> <?><?><?><?><?> <?><?><?><?>
                     <?><?> <?><?><?><?><?> --cpu-bind=cores <?><?><?><?><?>
                     <?><?><?>.  <?><?> <?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?> <?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?> --cpu-bind=threads
                     <?><?><?><?><?> <?><?><?>. <?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> --cpu-bind=none
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> (automatic binding)
                     <?><?><?><?><?><?><?> <?><?><?>.  <?><?><?><?> <?><?><?>
                     Slurm <?><?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?>.
                     NOTE: <?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> SelectType=select/linear
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>. <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> --threads-per-core
                     <?><?><?><?>.



              --ntasks-per-gpu=<ntasks>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?> GPU <?><?><?><?><?> ntasks <?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?>.  <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?> <?><?><?> <?><?><?>: <?>) <?><?><?><?>
                     <?><?><?><?> --ntasks <?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?> <?><?><?> <?><?><?><?>
                     <?><?> <?><?><?><?><?> GPU <?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> --ntasks-per-gpu
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?>)
                     <?><?><?><?> <?><?><?><?> GPU<?><?><?> <?><?><?><?>
                     <?><?><?> (<?><?><?><?><?> <?><?> <?><?><?><?> --gpus
                     <?><?> --gres) <?><?><?><?> <?><?><?><?> <?><?><?><?>
                     --ntasks<?> <?><?> <?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?>.  <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?>.  <?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?> --tres-bind=gres/gpu:single:<ntasks> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?> --tres-bind=gres/gpu
                     <?><?><?><?><?><?><?><?> <?><?><?>.  <?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?>
                     (<?><?><?><?> -N<minnodes-maxnodes>) <?><?><?><?><?><?>
                     <?><?><?><?>.  <?><?><?> <?><?><?><?><?> <?><?>
                     --gpus-per-task<?> --gpus-per-socket <?><?>
                     --ntasks-per-node <?><?><?><?><?><?> <?><?><?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     SelectType=cons_tres <?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?> (<?><?> <?><?><?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?> Cray).



              --ntasks-per-node=<ntasks>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?> ntasks <?><?><?>
                     <?><?><?> <?><?> <?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?>.  <?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> --ntasks <?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> --ntasks <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?> --ntasks-per-node <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?> <?><?><?> <?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>.
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> --nodes <?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?>.  <?><?><?> <?><?><?><?><?> <?><?>
                     --cpus-per-task=ncpus <?><?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?>
                     <?><?><?><?><?>. <?><?> <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?> <?><?> <?><?><?> <?><?><?><?> <?><?><?><?>.
                     <?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?> MPI/OpenMP <?><?> <?><?> <?><?>
                     <?><?><?> <?><?> <<<?><?><?>/<?><?><?><?>>> (task/rank)
                     MPI <?><?><?><?> <?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?> <?><?> <?><?><?>
                     <?><?><?> <?><?> <?><?><?> OpenMP <?><?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?><?><?>/<?><?><?><?><?><?><?><?>/<?><?><?><?>
                     (setup/cleanup/monitoring) <?><?><?> <?><?> <?><?>
                     <?><?><?> <?><?> <?><?> <?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?> <?><?><?>
                     <?><?> <?><?> <?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>.



              --ntasks-per-socket=<ntasks>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?> ntasks <?><?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> --ntasks <?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?>.  <?><?><?><?><?> --ntasks-per-node
                     <?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?> <?><?>
                     <?><?> <?><?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.
                     <?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> --cpu-bind=none <?><?><?><?>
                     <?><?><?> <?><?><?><?>.  NOTE: <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     SelectType=select/linear <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?>.



              --oom-kill-step[={0|1}]
                     <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     OOM <?><?> <?><?> <?><?><?> <?><?> <?><?><?><?> <?><?>
                     <?><?><?> <?><?><?><?><?> (kill) <?><?><?> <?><?>
                     <?><?><?>. <?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <<OOMKillStep>> <?><?> <?><?> TaskPluginParam <?><?>
                     slurm.conf <?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> slurm.conf <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?>. <?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <<0>> <?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?> <?><?><?><?><?>
                     <<1>> <?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?>.
                     <?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <<1>> (<?><?><?><?>) <?><?><?>.



              --open-mode={append|truncate}
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?> <?><?><?>
                     <?><?> <?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     append <?><?> truncate <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>.
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> (heterogeneous) <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <<append>> <?><?><?>.  <?><?>
                     <?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?> JobFileAppend
                     <?><?><?><?> <?><?><?><?><?><?>. <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.


                     <?><?><?> EXAMPLE <?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?>.


              -o, --output=<filename_pattern>
                     <?><?><?><?> <?><?><?><?> <<filename pattern>>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?> stdout. <?><?>
                     <?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> srun <?><?><?><?><?> stdout <?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?> <?><?><?>
                     <?><?><?><?><?> <?><?> <?><?> <?><?><?><?> TCP/IP <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?>. <?><?> --output<?>
                     <?><?><?><?><?><?><?> stdout <?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?> <?><?> <?><?><?><?> <?><?>
                     <?><?><?><?> <?><?> <?><?><?><?> <?><?> <?><?> /dev/null
                     <?><?><?><?><?> <?><?><?><?> <?><?><?>. <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> filename pattern
                     <?><?><?> IO Redirection <?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?>.  <?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?>.

                     <?><?><?> --error <?><?><?> <?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?> stdout <?> stderr <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> --output <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?> <?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.



              -O, --overcommit
                     <?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> (Overcommit resources). <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.

                     <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> (<?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?>)<?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?>
                     <?><?> <?><?><?> <?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?> <?><?><?>. <?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?>
                     <?><?><?> (-c<?> --cpus-per-task) <?><?> <?><?><?><?>
                     <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?> <?><?><?>.
                     <?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?>.

                     <?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?> (<?><?><?><?><?> srun
                     <?><?><?><?><?> <?><?> <?><?> <?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?>)<?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?> <?><?> <?><?><?> <?><?> <?><?> CPU
                     <?><?><?><?><?><?><?> <?><?><?>.  <?><?> <?><?><?>
                     <?><?><?><?><?><?> srun <?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?> CPU
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?>.  <?><?>
                     <?><?><?><?> <?><?><?><?> --overcommit<?> <?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?> <?><?> <?><?> CPU <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?>. <?><?> <?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?> <?><?>
                     MAX_TASKS_PER_NODE <?><?><?> <?><?> <?><?><?><?> <?><?>
                     <?><?><?> <?><?><?><?> <?><?><?><?>. NOTE:
                     <?><?><?><?><?> MAX_TASKS_PER_NODE <?><?> <?><?><?><?>
                     slurm.h <?><?><?><?><?> <?><?><?> <?><?><?> <?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?> Slurm <?><?><?><?><?>
                     <?><?><?><?><?><?>.  --overlap <?><?><?><?> <?><?><?><?>
                     --overlap <?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     (<?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?>
                     GRES) <?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?>.
                     <?><?><?><?> <?><?> <?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                     --overlap <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?>.

                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.



              -s, --oversubscribe
                     <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?> (over-
                     subscribe) <?><?><?><?><?><?>. <?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?>/<?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> (hyperthreads) <?><?><?><?><?>.
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?>
                     <?><?><?><?><?><?> OverSubscribe <?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?>.  <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?><?>
                     --oversubscribe <?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?> <?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?>.  <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>.

                     NOTE: <?><?><?> <?><?><?><?><?> <?><?> --exclusive
                     <?><?><?><?><?><?><?><?> <?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?>.



              --parsable
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?>
                     (<jobid>.<stepid>) <?><?> <?><?> <?><?> <?><?><?>
                     <?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> (stdout) <?><?><?><?><?>
                     <?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?><?><?>
                     "Submitted step " <?><?> <?><?><?> <?><?><?><?><?><?>.
                     <?><?><?><?><?> <?><?> sbatch --parsable <?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?> <?><?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?> <?><?> <?><?>
                     <?><?><?><?>.  <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> (stderr)
                     <?><?><?> <?><?><?><?><?><?><?>. <?><?><?><?><?><?><?>
                     --async <?><?><?>.  <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?> --quiet <?><?><?><?><?><?>
                     <?><?><?> <?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?>.



              -p, --partition=<partition_names>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>.
                     <?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?> <?><?><?>
                     <?><?> <?><?> <?><?><?><?><?><?> Slurm <?><?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?>. <?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> (<?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>)
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>.
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?>. <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.



              --prefer=<list>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?> features
                     (<?><?><?><?><?><?><?><?><?><?>) <?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?> Slurm
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?><?>. <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?> prefer
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?> features
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?> <?><?><?><?><?><?> <?><?><?><?>.  <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?> --constraint
                     <?><?><?> <?><?><?><?> <?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?><?> <?><?> <?><?><?> <?>
                     <?><?><?><?><?><?><?><?> (override) <?><?><?><?><?><?>.
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     --prefer <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?>. <?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?> <?><?> <?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?> --constraint
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> --constraint <?><?>
                     <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.


              -E, --preserve-env
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> SLURM_JOB_NUM_NODES <?> SLURM_NTASKS
                     <?><?> <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?> <?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?> executable <?><?><?><?><?>
                     <?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>.



              --priority=<value>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?>.  <?><?><?><?>
                     <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?>.  <?><?><?><?><?>
                     value <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?> "TOP" (<?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?>) <?><?><?><?>.  <?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?> <?><?><?><?><?><?> Slurm
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>.  <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.



              --profile={all|none|<type>[,<type>...]}
                     <?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?> acct_gather_profile <?><?><?><?>
                     <?><?><?><?><?><?>.  <?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?> HDF5 <?><?><?><?> <?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> InfluxDB
                     <?><?><?><?><?> <?><?><?><?><?><?><?>.  <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.

                     All       <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                               <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>.
                               (<?><?><?><?><?><?><?><?><?> <?><?>
                               <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                               <?><?><?>.)



                     None      <?><?><?> <?><?><?> <?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>.
                               <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                               <?><?><?>.  (<?><?><?><?><?><?><?><?><?> <?><?>
                               <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                               <?><?><?>.)

              <?><?><?><?><?><?> <?><?><?><?><?> type
              <?><?><?><?><?><?><?><?><?> <?><?>:

                     Energy <?><?><?><?><?><?><?><?> <?><?><?><?>
                            <?><?><?><?><?> (Energy) <?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?>.



                     Task   <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                            (<?><?><?><?><?>/<?><?><?><?><?><?>
                            <?><?><?><?><?><?> ...) <?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?>.



                     Filesystem
                            <?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?><?><?>
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>.



                     Network
                            <?><?><?><?><?><?><?><?> <?><?><?><?> (InfiniBand)
                            <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>.



              --prolog=<executable>
                     <?><?><?><?><?> srun <?><?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?>
                     executable <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?>.
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?> executable <?><?><?><?> <?><?><?><?><?> <?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?>. <?><?><?> <?><?><?><?><?>
                     executable <?><?><?><?><?> "none" <?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?> srun <?><?><?><?>
                     <?><?><?><?><?><?> <?><?>. <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> SrunProlog <?><?> <?><?> slurm.conf
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?> Prolog <?><?> slurm.conf
                     <?><?><?>. <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.



              --propagate[=rlimit[,rlimit...]]
                     <?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> (soft) <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?> <?> <?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>.
                     <?><?><?> <?><?><?> rlimit <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?>.  <?><?><?><?><?><?><?> rlimit <?><?><?>
                     <?><?><?><?> Slurm <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> (<?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?>):

                     ALL       <?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?>
                               (<?><?><?><?><?><?><?>)



                     NONE      <?><?><?><?><?><?> <?><?>
                               <?><?><?><?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?>



                     AS        <?><?><?><?><?><?> <?><?><?><?>
                               <?><?><?><?><?><?><?><?> (<?><?><?><?><?><?>
                               <?><?><?><?><?>) <?><?><?><?> <?><?>
                               <?><?><?><?><?><?>.



                     CORE      <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                               <?><?><?><?> core



                     CPU       <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                               CPU



                     DATA      <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?> <?><?>
                               <?><?><?><?><?><?>



                     FSIZE     <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?>. <?><?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?> <?><?>
                               <?><?><?> <?><?><?><?><?> FSIZE <?><?>
                               <?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                               <?><?><?><?> slurmd.log <?><?><?><?><?>
                               <?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
                               <?><?><?> <?><?> <?><?><?><?> 'File size limit
                               exceeded' <?><?><?><?> <?><?><?><?><?>
                               <?><?><?><?>.



                     MEMLOCK   <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                               <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                               <?><?><?> <?><?><?> NOFILE <?><?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                               <?><?><?>



                     NPROC     <?><?><?><?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?><?><?><?><?> <?><?><?><?><?>



                     RSS       <?><?><?><?><?><?> <?><?><?><?><?><?>
                               <?><?><?><?><?><?> <?><?><?><?> (resident set
                               size). <?><?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?> <?><?> <?><?><?>
                               <?><?><?><?><?> <?><?><?> <?><?>
                               <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                               2.4.30 <?><?> <?><?><?><?><?><?><?><?> <?>
                               <?><?> BSD <?><?><?><?><?> <?><?><?><?>.



                     STACK     <?><?><?><?><?><?> <?><?><?><?><?><?>
                               <?><?><?><?>



                     <?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> (job)
                     <?><?><?><?><?> <?><?><?><?><?><?>.



              --pty, --pty=<File Descriptor>
                     <?><?><?><?><?> <?><?><?> <?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> (pseudo terminal) <?><?>
                     <?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?> <File Descriptor>.  <?><?><?><?><?><?>
                     <?><?><?><?> --unbuffered <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.  <?><?><?><?><?><?> <?><?><?><?>
                     --error <?> --output <?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?>
                     <?><?><?> /dev/null <?><?><?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?>
                     (<?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?>).  <?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> (step)
                     <?><?><?><?><?> <?><?><?><?><?><?>.



              -q, --qos=<qos>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?> QOS <?><?> <?><?> <?><?><?><?>
                     <?><?> <?><?> <?><?><?> <?><?><?><?><?><?><?>.  <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?> QOS<?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?>.
                     <?><?><?><?><?><?> QOS <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?> (association)
                     <?><?><?><?><?>/<?><?><?><?><?><?>/<?><?><?><?>
                     <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> Slurm <?><?><?><?><?>
                     <?><?><?>.  <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> Slurm
                     <?><?><?><?> AccountingStorageEnforce <?><?>
                     <?><?><?><?><?> <?><?><?> <?><?><?><?> "qos"
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> qos<?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.



              -Q, --quiet
                     <?><?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                     srun. <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?>. <?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.



              --quit-on-interrupt
                     <?><?><?><?> <?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?> SIGINT (Ctrl-C) <?><?><?>.
                     <?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> Ctrl-C <?><?> srun <?><?>
                     <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> <?> <?><?><?><?> <?><?><?><?><?><?> srun
                     <?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?>. <?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.



              --reboot
                     <?><?><?><?><?><?><?><?><?><?> <?><?><?><?> (reboot)
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?><?>.  <?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?> <?><?>
                     <?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?>. <?><?><?><?> <?><?><?><?><?>
                     root<?> SlurmUser <?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>.



              -r, --relative=<n>
                     <?><?><?><?><?> <?><?> <?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?> n <?><?> <?><?><?><?><?> <?><?><?><?>.  <?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?>
                     <?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>.
                     <?><?><?> -r <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?> <?><?><?><?> <?><?> <?><?><?> n <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?> 0 <?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>. <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> -r <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?> -w <?><?> -x <?><?><?><?>
                     <?><?><?><?> <?> <?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?> (<?><?><?><?> <?><?><?><?><?> <?><?>
                     SLURM_JOB_ID <?><?><?><?><?> <?><?><?><?> <?><?><?><?>)
                     <?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?>. <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> n <?><?><?><?><?> 0
                     <?><?><?>. <?><?><?> <?><?><?><?><?> --nodes <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     --relative <?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?> <?>
                     <?><?><?><?><?> --relative <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?>. <?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.



              --reservation=<reservation_names>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?>. <?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?> <?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?>. <?><?> <?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?> <?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?>.  <?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?> scontrol/squeue
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?>. <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?> (accounting)<?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?> <?><?> <?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?>.



              --resources=<resource_names>
                     <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?> <?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?>.  <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?><?>
                     <?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     (<?><?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?>).
                     <?><?><?><?><?> <?><?><?><?> <?><?> Mode 1 <?> Mode 2
                     <?><?> <?><?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?>
                     <?><?> <?><?><?><?> <?><?> Mode 3 <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?> "--resources=flat:2,natural:1".

                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
                     <?><?> Slurm <?><?> https://slurm.schedmd.com/hres.html
                     <?><?><?><?><?><?> <?><?><?><?>.



              --resv-ports[=count]
                     <?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?>.
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?>. <?><?><?><?><?><?><?>
                     MpiParams=ports=12000-12999 <?><?><?><?> <?><?>
                     slurm.conf <?><?><?><?><?> <?><?><?> <?><?><?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>.
                     <?><?><?> <?><?><?><?> PMI <?><?><?><?> Cray
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.



              --segment=<segment_size>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> (ring)
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?> (segments)
                     <?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>.
                     <?><?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?>.

                     NOTE: <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> (--nodes) <?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>.
                     <?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?><?> <?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?>.

                     NOTE: <?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> --nodelist=<node_list>:
                     <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     --nodelist <?><?><?><?>. <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?> --nodelist <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?> <?><?><?> <?><?><?>
                     <?><?><?><?> slurmctld <?><?><?><?><?> <?><?>.



              --send-libs[=yes|no]
                     <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?> yes (<?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?>)<?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> (shared object) <?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?>
                     <?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     (broadcast) <?><?><?><?><?><?>. <?><?><?><?><?><?><?>
                     <?><?> <?><?> <?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?>. <?><?><?><?><?> <?><?><?><?><?>
                     LD_LIBRARY_PATH <?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?>
                     <?><?> <?><?> <?><?><?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> <?><?>
                     SbcastParameters send_libs <?><?> <?><?><?><?> slurm.conf
                     <?><?> <?><?><?> <?><?><?><?><?><?>. <?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?> <?><?>
                     --bcast <?><?><?> <?><?><?><?><?><?>. <?><?><?><?><?><?>
                     --bcast-exclude <?><?> <?><?><?><?><?><?>.



              --signal=[R:]<sig_num>[@sig_time]
                     <?><?><?><?><?><?> <?><?> <?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?> sig_time <?><?><?><?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?> sig_num
                     <?><?> <?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?>.
                     <?><?> <?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
                     Slurm<?> <?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?>.  sig_num <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?> (<?><?><?><?><?> "10" <?><?> "USR1").
                     sig_time <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?> 0 <?> 65535 <?><?><?><?>.
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?>.  <?><?><?> <?><?> sig_num
                     <?><?><?><?> <?><?><?> sig_time <?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>.  <?><?>
                     <?><?><?><?><?> "R:" <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?> <?><?> <?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?> <?><?>
                     MaxStartDelay <?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?>. <?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> "R:"<?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> (preemption) <?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?>
                     <?><?> <?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     (requeue) <?><?><?><?><?> <?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?>.  <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?> send_user_signal
                     <?><?> PreemptParameter <?><?><?><?><?><?> <?><?><?><?>.



              --slurmd-debug=<level>
                     <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> (debug) <?><?><?><?>
                     <?><?><?> <?><?><?>. level <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?> 2 [error] <?> 6 [debug2] <?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?> SlurmdDebug <?><?><?><?>
                     <?><?><?>.

                     error     <?><?><?> <?><?><?><?><?> <?><?><?>
                               <?><?><?><?> info <?><?><?> <?><?><?><?><?> <?>
                               <?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?> <?><?><?><?><?>



                     verbose   <?><?><?> <?><?><?><?><?> <?>
                               <?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?>



                     debug     <?><?><?> <?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?> <?>
                               <?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?><?><?><?>



                     debug2    <?><?><?> <?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?> <?>
                               <?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?><?><?><?>
                               <?><?><?><?><?>


                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     slurmd <?><?> <?><?><?> stderr <?><?><?> <?><?><?>
                     <?><?><?><?><?><?>. <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>.



              --sockets-per-node=<sockets>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?>. <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> task/affinity <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> -B <?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?>. <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.
                     <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
                     -n<?> <?><?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.



              --spread-job
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?>.  <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> topology/tree <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.



              --spread-segments
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?> (base block) <?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?> (segments) <?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?>.

                     <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.  <?><?><?><?>: <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?><?>
                     topology/block <?><?><?> <?><?><?><?><?> <?><?><?>.



              --stepmgr
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?>
                     slurmstepd <?><?> <?><?><?><?> <?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?> <?><?> <?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>.
                     <?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?> slurmstepd <?><?><?><?><?><?>
                     (extern) <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?>. PrologFlags=contain <?><?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?><?><?>.  <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.



              --switches=<count>[@max-time]
                     <?><?><?><?><?><?> <?><?> <?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?> (tree topology)
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> (leaf switches)
                     <?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?> <?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?>
                     Slurm <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?> (pending) <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?><?><?> <?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>.
                     <?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>.
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?> "minutes"<?>
                     "minutes:seconds"<?> "hours:minutes:seconds"<?>
                     "days-hours"<?> "days-hours:minutes" <?>
                     "days-hours:minutes:seconds" <?><?><?><?><?>.
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     SchedulerParameters <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?> max_switch_wait
                     <?><?><?><?><?> <?><?><?>.  <?><?><?> <?><?> <?><?><?><?>
                     dragonfly <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> <?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?> <?><?>
                     <?><?> <?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?> <?><?> <?><?><?> <?><?> <?> <?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?>.
                     <?><?><?><?><?> <?><?><?><?><?><?><?> max-time
                     <?><?><?><?><?> <?><?> <?><?><?><?><?> max_switch_wait
                     <?><?> SchedulerParameters <?><?><?>. <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.



              --task-epilog=<executable>
                     <?><?><?><?> slurmstepd <?><?><?><?><?><?><?><?> <?><?>
                     <?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?> executable <?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?>. <?><?><?>
                     <?><?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?> TaskEpilog <?><?> slurm.conf
                     <?><?><?><?> <?><?><?><?><?><?>. <?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?>. <?><?><?>
                     <?><?><?><?><?><?> <?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     (descendant) <?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?>. <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.



              --task-prolog=<executable>
                     <?><?><?><?> slurmstepd <?><?><?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>
                     executable <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?>.
                     <?><?><?> <?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> TaskProlog
                     <?><?> slurm.conf <?><?><?><?> <?><?><?><?><?> <?><?>.
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                     SLURM_TASK_PID <?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?>
                     <?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?>.  <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>
                     <?><?> <?><?><?> "export NAME=value" <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>.



              --test-only
                     <?><?> <?><?> <?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?> <?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?> srun
                     <?><?> <?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?> <?><?><?><?><?><?><?><?><?><?><?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?> srun <?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.  <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> --jobid <?><?><?><?><?>
                     <?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?> (pending) <?><?> <?><?> <?><?><?>
                     <?><?><?><?>.



              --thread-spec=<num>
                     <?><?><?><?><?> thread<?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?> <?><?><?> <?><?> <?><?><?><?>
                     <?><?><?> <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?>. <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?> thread<?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?>.  <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?> --core-spec
                     <?><?><?><?><?><?><?> <?><?><?>. <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.

                     <?><?><?><?>: <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> thread <?><?><?><?><?> <?><?><?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> --exclusive <?><?> <?><?> <?><?><?><?>
                     <?><?><?><?> <?> <?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?><?>.



              -T, --threads=<nthreads>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> thread<?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?><?> srun <?><?>
                     <?><?><?><?><?><?><?><?><?> slurmd <?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?>.
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?> thread <?><?> <?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?> thread <?><?><?><?><?><?><?>
                     <?><?><?>. <?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> thread<?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?> nthreads
                     (<?><?><?><?> <?><?> <?><?><?><?><?> <?><?>)
                     <?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> thread <?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?><?>.



              --threads-per-core=<threads>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?> thread <?><?>
                     <?><?><?><?> <?><?> <?><?><?><?>. <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> thread <?><?> <?><?><?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> --cpu-bind=threads <?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?><?>.  <?><?><?><?>:
                     <?><?><?><?> "Threads" <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?>
                     <?><?> <?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>.
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                     task/affinity <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> -B <?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?><?><?>. <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.
                     <?><?><?><?>: <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
                     -n<?> <?><?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.



              -t, --time=<time>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?>.
                     <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> (partition)
                     <?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?> PENDING <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?> (<?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?>). <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>.
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?> <?><?><?><?><?> <?><?> <?><?> <?><?><?>
                     <?><?><?> <?><?><?><?><?> SIGTERM <?> <?><?><?> SIGKILL
                     <?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     Slurm <?><?><?><?> KillWait <?><?><?><?>
                     <?><?><?><?><?><?>. <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> OverTimeLimit <?><?><?><?>
                     <?><?><?> <?><?> <?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?>. <?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?> <?> <?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?>.

                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?>. <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?> "minutes"<?>
                     "minutes:seconds"<?> "hours:minutes:seconds"<?>
                     "days-hours"<?> "days-hours:minutes" <?>
                     "days-hours:minutes:seconds" <?><?><?><?><?>. <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> <?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.



              --time-min=<time>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?>.
                     <?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> --time <?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?> --time-min
                     <?><?><?><?> <?><?><?> <?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?>.  <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?>.  <?><?><?> <?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     backfill <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?>
                     <?><?> <?><?> <?><?><?> <?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?><?>.  <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
                     "minutes"<?> "minutes:seconds"<?>
                     "hours:minutes:seconds"<?> "days-hours"<?>
                     "days-hours:minutes" <?> "days-hours:minutes:seconds"
                     <?><?><?><?><?>. <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>..IP


              --tmp=<size>[units]
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?>.  <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     (mebibytes) <?><?><?>.  <?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> [K|M|G|T]
                     <?><?><?><?> <?><?><?>.  <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>.



              --treewidth=<size>
                     <?><?><?> <?><?><?><?><?><?> (fanout) <?><?> <?><?><?><?>
                     <?><?><?><?><?><?>. <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?> TreeWidth <?><?><?><?><?><?><?><?> <?><?>
                     slurm.conf <?><?><?>. <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?>. <?><?><?><?><?> <<off>>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?>.



              --tres-bind=<tres>:[verbose,]<type>[+<tres>:
                     [verbose,]<type>...] <?><?><?><?><?><?> <?><?> tres
                     <?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> <?><?> <?><?><?><?><?> (task binding)
                     <?><?><?><?> <?><?><?><?><?><?>. <?><?> <?><?><?>
                     <?><?><?><?> gres <?><?><?><?> tres
                     <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?>. gres <?><?>
                     <?><?><?><?><?><?><?> <<gres/<gres_name>>> <?><?><?><?>
                     <?><?><?><?> (<?><?><?><?><?> gres/gpu).

                     <?><?><?><?>:
                     --tres-bind=gres/gpu:verbose,map:0,1,2,3+gres/nic:closest

                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?> tres<?><?> <?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>.

                     <?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?><?><?> type <?><?><?><?><?>
                     <?><?><?><?> gres:

                     closest   <?><?> <?><?><?><?><?> <?><?> <?><?>
                               <?><?><?><?><?><?><?><?><?><?> gres(<?><?>)
                               <?><?><?><?> <?><?><?><?><?><?>.  <?><?> <?><?>
                               <?><?><?><?> NUMA<?> <?><?> <?><?><?><?><?>
                               <?><?><?><?> <?><?><?> <?><?> <?><?><?> <?><?>
                               <?><?> gres <?><?><?><?> <?><?><?>
                               (<?><?><?><?> <?><?><?><?> gres<?><?><?>
                               <?><?><?><?><?> <?><?> <?><?> <?><?><?><?>
                               NUMA).



                     map:<list>
                               <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                               gres <?><?> <?><?><?> <?><?><?><?><?> (<?><?>
                               rank<?><?>) <?><?><?> <?><?><?><?> <?><?>
                               <list> <?><?><?><?> <?><?><?> <?><?><?><?>
                               <?><?><?><?><?><?><?> <?><?><?><?> <?><?>
                               <list> <?><?><?><?><?><?><?>
                               <gres_id_for_task_0>,<gres_id_for_task_1>,...
                               <?><?><?>. <?><?><?><?><?><?><?><?><?> gres
                               <?><?><?><?><?><?><?> <?><?><?><?><?><?>
                               <?><?><?><?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?><?><?>. <?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?> (<?><?>
                               rank<?><?>) <?><?> <?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?> <?><?>
                               <?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                               <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?><?> <?> <?><?>
                               <?><?><?><?> <?><?> <?><?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?><?>
                               <?><?><?><?><?><?><?> <?><?><?><?><?><?>
                               <?><?>.  <?><?><?><?>
                               <?><?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?><?> <?><?> <?><?>
                               <?><?> <?><?><?><?><?> <?><?><?><?>
                               <?><?><?><?><?> <?> <?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                               <?><?><?><?> <<map:0*4,1*4>>.  <?><?><?>
                               <?><?><?><?><?><?> task/cgroup
                               <?><?><?><?><?><?><?> <?><?><?> <?>
                               ConstrainDevices <?><?> cgroup.conf
                               <?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?><?><?><?><?> gres
                               <?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                               <?><?> <?><?><?> <?><?><?><?> <?><?>
                               gres<?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                               <?><?> <?><?><?> <?><?><?><?><?><?> <?><?><?>
                               (<?><?><?><?><?> <?><?><?><?><?> gres
                               <?><?><?><?><?> <?><?> <?> <?><?><?><?>
                               <?><?><?> <?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?><?> <?><?> <?> <?><?><?><?>).
                               <?><?> <?><?><?> <?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?><?><?><?><?> gres <?><?><?><?>
                               <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                               <?><?><?><?><?> <?> <?><?><?><?>
                               <?><?><?><?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                               <?><?><?><?><?><?><?><?><?> <?><?><?><?>
                               gres<?><?><?> <?><?><?> <?><?> <?><?><?> <?><?>
                               <?><?><?> <?><?><?><?> <?><?><?><?><?>
                               <?><?><?><?> <?><?><?><?>.



                     mask:<list>
                               <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                               gres <?><?> <?><?><?> <?><?><?><?><?> (<?><?>
                               rank<?><?>) <?><?><?><?><?> <?><?> <list>
                               <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                               <?><?> <list> <?><?><?><?><?><?><?>
                               <gres_mask_for_task_0>,<gres_mask_for_task_1>,...
                               <?><?><?>. <?><?><?><?><?> <?><?><?><?> <?><?>
                               <?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?>
                               <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                               <?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?><?><?>
                               (<?><?><?><?> <?><?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
                               <?><?><?> <?><?> <?><?><?><?><?><?>
                               <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                               <?><?><?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?><?><?> <?> <?><?><?> <?><?><?>).
                               <?><?><?><?><?><?><?><?> gres <?><?><?><?><?>
                               <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?><?><?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>
                               <?><?><?><?><?><?><?><?><?> <?><?> <?><?>
                               <<0x>> <?><?><?><?><?><?><?> <?><?><?><?>
                               <?><?><?><?>. <?><?><?><?>
                               <?><?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?><?> <?><?><?><?>
                               <?><?><?><?><?> <?> <?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                               <?><?><?><?> <<mask:0x0f*4,0xf0*4>>.  <?><?><?>
                               <?><?><?><?><?><?> task/cgroup
                               <?><?><?><?><?><?><?> <?><?><?> <?>
                               ConstrainDevices <?><?> cgroup.conf
                               <?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?><?><?><?><?> gres
                               <?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                               <?><?> <?><?><?> <?><?><?><?> <?><?> gres
                               <?><?><?><?><?><?><?><?><?><?><?> <?><?>
                               <?><?><?> <?><?><?><?><?> (<?><?><?><?><?>
                               <?><?><?><?><?><?> gres <?><?><?><?><?> <?><?>
                               <?> <?><?><?><?> <?><?><?> <?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?><?> <?>
                               <?><?><?><?>). <?><?> <?><?><?> <?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                               gres <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?> <?><?><?><?><?> <?>
                               <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?><?>
                               <?><?><?><?><?><?><?><?><?> <?><?><?><?>
                               gres<?><?><?> <?><?> <?><?><?> <?><?> <?><?><?>
                               <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                               <?><?><?><?>.



                     none      <?><?><?><?><?> <?><?> <?><?> <?><?><?> gres
                               <?><?><?><?> <?><?><?><?><?><?><?>
                               (<?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                               <?><?> --tres-per-task <?> --gpus-per-task
                               <?><?> <?><?><?><?><?><?><?>
                               <?><?><?><?><?><?>).



                     per_task:<gres_per_task>
                               <?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
                               gres <?><?><?><?><?><?><?><?> <?><?>
                               <gres_per_task> <?><?><?><?> <?><?><?><?><?>
                               <?><?>. <?><?><?><?><?> <?><?><?><?><?><?><?>
                               <?><?> gres<?><?><?><?> <?><?>
                               <?><?><?><?><?><?><?> (affinity) <?><?>
                               <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                               <?><?><?> <?><?><?><?><?> <?><?><?><?>
                               <?><?><?><?><?><?><?> (<?><?><?><?><?>
                               closest)<?> <?><?><?><?><?> <?><?> <?><?><?><?>
                               <?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                               <?><?> gres <?><?><?><?><?> <?><?>
                               <?><?><?><?><?><?> <?><?><?><?><?><?>
                               <?><?><?>. <?><?><?> <?><?><?>
                               <?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                               <?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                               <?><?><?><?><?><?> <?><?><?><?><?> x
                               <?><?><?><?><?> gres <?><?><?> <?><?><?>
                               <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                               <?> <?><?> <?><?><?><?> <?><?><?><?><?>.  gres
                               <?><?><?><?><?><?><?> (Shared gres) <?><?>
                               <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?>
                               <?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                               <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>.



                     single:<tasks_per_gres>
                               <?><?><?><?><?> closest <?><?><?><?> <?><?>
                               <?><?><?> <?><?><?><?><?> <?><?> <?><?>
                               <?><?><?><?><?> <?><?><?><?>
                               <?><?><?><?><?><?><?><?> <?><?> <?><?> gres
                               <?><?><?><?> <?><?><?><?> <?><?><?>
                               <?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                               <?><?> <?><?><?><?><?> gres <?><?> <?><?>
                               <?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?><?> <?><?><?><?>. gres
                               <?><?><?><?> <?><?><?> <?><?><?><?>
                               <?><?><?><?><?> <?><?><?><?> <tasks_per_gres>
                               <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                               <?><?><?><?> <?><?> <?><?><?><?><?><?>
                               <tasks_per_gres> <?><?><?><?><?> <?><?>
                               <?><?><?><?><?> gres <?><?> <?><?><?><?><?>
                               <?><?><?><?> <?><?><?><?><?><?><?><?>
                               <?><?><?><?><?> <tasks_per_gres>
                               <?><?><?><?><?> <?><?> <?><?><?><?><?> gres
                               <?><?> <?><?><?><?><?> <?><?><?><?>
                               <?><?><?><?><?><?><?><?> <?> <?><?><?>
                               <?><?><?>.  <?><?><?> <?><?> <?><?><?> <?><?>
                               <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                               <?><?> <?><?><?> gres<?><?><?> <?><?><?><?><?>
                               <?><?><?><?> <?><?> <?><?> <?><?> gres<?><?><?>
                               <?><?><?><?><?> <?><?> <?><?><?><?>
                               <?><?><?><?><?><?><?> <?><?><?><?>
                               <?><?><?><?><?> <?> <?><?><?><?><?><?><?>
                               <?><?><?><?> gres <?><?><?>
                               <?><?><?><?><?><?><?> Cores <?><?> gres.conf
                               <?><?><?><?><?> <?><?><?><?><?><?><?>.


                               NOTE: <?><?><?><?><?> gres
                               <?><?><?><?><?><?><?> <?><?> <?><?><?>
                               <?><?><?><?> <?><?> per_task <?><?> none
                               <?><?><?><?><?> <?><?><?>.



              --tres-per-task=<list>
                     <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>
                     (trackable resources) <?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?>.  <?><?><?><?> <?><?>
                     <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     <<trestype[/tresname]=count>> <?><?><?>.  <?><?><?><?><?>
                     trestype <?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                     <?><?><?> (<?><?><?><?><?> cpu<?> gres<?> license <?>
                     <?><?><?><?>).  <?><?><?><?><?> tresname <?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?> sacctmgr show tres <?><?><?><?><?><?> <?><?><?>.
                     <?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?> tres
                     <?><?><?><?><?> gres<?> license <?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     (<?><?><?><?><?> gpu<?> gpu:a100).  <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?> <?><?><?><?><?><?> <?><?><?><?>(<?><?>)
                     <?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     AccountingStorageTRES <?><?> slurm.conf <?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?>.  <?><?><?><?><?> count
                     <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?>.
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?><?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?>:
                     <<k>> <?><?> <<K>> (<?><?><?><?><?> <?><?>
                     <?><?><?><?>)<?>
                     <<m>> <?><?> <<M>> (<?><?><?><?><?> <?><?> <?><?><?><?> x
                     <?><?><?><?>)<?>
                     <<g>> <?><?> <<G>> (<?><?><?><?><?> <?><?> <?><?><?><?> x
                     <?><?><?><?> x <?><?><?><?>)<?>
                     <<t>> <?><?> <<T>> (<?><?><?><?><?> <?><?> <?><?><?><?> x
                     <?><?><?><?> x <?><?><?><?> x <?><?><?><?>)<?>
                     <<p>> <?><?> <<P>> (<?><?><?><?><?> <?><?> <?><?><?><?> x
                     <?><?><?><?> x <?><?><?><?> x <?><?><?><?> x
                     <?><?><?><?>).
                     <?><?><?><?><?><?><?>:
                     --tres-per-task=cpu=4
                     --tres-per-task=cpu=8,license/ansys=1
                     --tres-per-task=gres/gpu=1
                     --tres-per-task=gres/gpu:a100=2
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?><?>
                     <?><?> <?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?>.  <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?>.
                     NOTE: <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
                     gres/gpu <?><?> gres/shard <?><?><?><?><?><?>
                     <?><?><?><?>
                     --tres-bind=gres/[gpu|shard]:per_task:<tres_per_task>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?> <?><?><?><?><?> <?><?><?> gpu <?><?><?><?>
                     <?><?><?> <?><?><?><?><?>
                     --tres-bind=gres/gpu:per_task:<gpus_per_task_type_sum>
                     <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     <?><?> <?><?><?><?><?> <?><?><?><?> --tres-bind <?><?><?>
                     <?><?><?>.
                     NOTE: <?><?><?><?><?><?> <?><?><?><?><?><?><?> TRES
                     <?><?><?><?> --tres-per-task <?><?><?><?> <?><?><?><?><?>
                     <?><?><?> <?><?><?><?><?>:
                     bb,billing,energy,fs,mem,node,pages,vmem.



              -u, --unbuffered
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> slurmstepd <?>
                     <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?>
                     <?><?><?><?> <?><?> pipe <?><?><?><?><?>
                     <?><?><?><?><?><?>.  <?><?><?><?><?> stdio
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> glibc <?><?><?><?>
                     <?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?> (flush) <?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?>. <?><?> setbuf(3)
                     <?><?><?><?><?><?> <?><?><?><?>. <?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?> <?><?> <?><?><?><?><?><?><?><?><?><?><?> (pseudo
                     terminal) <?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?> (step
                     allocations) <?><?><?><?><?> <?><?><?><?><?><?>.



              --usage
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?> <?><?><?><?>.



              --use-min-nodes
                     <?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>.



              -v, --verbose
                     <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> srun.
                     <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?> -v
                     <?><?><?><?><?><?> srun <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?> <?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>.



              -V, --version
                     <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?> <?>
                     <?><?><?><?>.  --wait-for-children <?><?><?> <?><?>
                     <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
                     <?><?><?> <?><?><?><?><?><?><?>. <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?> (parent) <?><?> <?><?> <?><?><?>
                     <?><?><?><?><?>.

                     <?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                     --kill-on-bad-exit<?> <?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?> <?><?><?> <?><?><?> <?><?><?><?><?>
                     <?><?><?><?>. <?><?><?> --kill-on-bad-exit=1 <?><?><?><?>
                     <?> <?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?>. <?><?><?>
                     --kill-on-bad-exit=0 <?><?><?><?> <?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>.

                     <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                     proctrack/cgroup <?> cgroup/v2 <?><?><?>.



              -W, --wait=<seconds>
                     <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?> <?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
                     <?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?>.
                     <?><?><?><?><?> 0 <?><?><?><?><?><?><?><?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>
                     (<?><?> <?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?> <?><?>). <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                     WaitTime <?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
                     slurm <?><?><?><?><?> <?><?><?><?><?><?> (<?><?><?><?>
                     <?><?><?><?> <?><?> slurm.conf(5)). <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?>
                     <?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?>.
                     <?><?><?><?>: <?><?> <?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?> <?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?> <?><?><?><?><?> -K<?>
                     --kill-on-bad-exit <?><?><?><?> <?><?> -W<?> --wait
                     <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?>
                     <?><?><?><?><?><?> <?><?><?><?>. <?><?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                     <?><?><?> (job allocations) <?><?><?><?><?>
                     <?><?><?><?><?><?>.



              --wckey=<wckey>
                     <?><?><?><?><?> wckey <?><?> <?><?><?><?>
                     <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?>. <?><?><?> <?><?>
                     slurm.conf <?><?><?><?><?> TrackWCKey=no
                     (<?><?><?><?><?><?><?>) <?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                     <?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?>
                     <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?>.



              --x11[={all|first|last}]
                     <?><?><?><?><?><?> <?><?><?><?><?><?><?> X11
                     (<?><?><?><?><?> X11 forwarding) <?><?> <?><?><?>
                     <?><?><?>(<?><?><?>) <<all>><?> <<first>> <?><?> <<last>>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>.
                     <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                     <?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?> Slurm
                     <?><?> <?><?><?><?><?><?><?><?> <?><?> X11
                     <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?> <?>
                     PrologFlags=x11 <?><?> slurm.conf <?><?><?><?><?>
                     <?><?><?> <?><?><?><?>. <?><?><?><?><?>
                     <?><?><?><?><?><?><?> <<all>> <?><?><?>.

                     NOTE: <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?>
                     <?><?><?><?><?> <?><?><?><?><?><?><?> --clusters
                     <?><?><?><?> <?><?><?> <?><?><?> <?><?><?><?>.
                     <?><?><?><?> <?><?><?><?><?><?><?> (<?><?> <?><?>
                     <?><?><?><?><?>) <?><?><?><?><?><?><?>
                     <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?> X11
                     forwarding <?><?><?><?><?> <?><?><?><?><?><?><?>.



              <?><?><?><?><?> srun <?><?><?><?><?><?><?> <?><?><?> <?><?>
              <?><?> <?><?><?><?><?><?><?><?><?><?><?> <?><?><?> slurm
              <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?><?><?>
              <?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>.
              <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?> srun
              <?><?> <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
              (<?><?><?><?><?>) <?><?><?><?><?> <?><?>. <?><?><?>
              <?><?><?><?><?> -I (--immediate) <?><?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?> srun <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?>.

              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?> <?><?><?><?> srun <?><?><?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?> --chdir=<path>
              <?><?><?><?> <?><?><?> <?><?><?><?> <?><?> <?><?> <?><?><?>
              <?><?><?><?> path <?><?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?>.

              <?><?><?><?><?><?><?><?><?> -n<?> -c <?> -N <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?> (CPUs) <?>
              <?><?><?><?><?><?> <?><?> <?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?>. <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?> -n<?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?> CPU <?><?> <?><?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?>. <?><?> <?><?><?><?><?> <?><?><?><?><?> CPU
              <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?> <?><?> <?><?><?>
              (-c)<?> <?><?><?><?> <?><?><?> <?><?><?> <?><?> <?><?> CPU
              <?><?> <?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?>. <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?> -N <?><?><?><?> <?><?><?><?> srun <?><?><?><?>
              <?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?>.

              <?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?> <?><?><?><?><?><?> <?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?>.
              <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?>. <?><?> <?><?><?> <?><?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?> (-n) <?>
              <?><?><?><?><?> CPU <?><?> <?><?><?><?> <?><?>
              <?><?><?><?><?><?> (-c) <?><?><?><?> <?><?><?><?>.

              <?><?><?><?><?> srun <?><?> <?><?><?><?><?> <?><?><?> <?><?>
              <?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?> CPU
              <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?>
              <?><?><?><?><?> --overcommit (-O) <?><?><?> <?><?><?><?>
              <?><?><?> <?><?><?><?>.

              <?><?><?><?><?> srun <?><?><?><?> <?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?> <?><?><?> <?><?> <<<?><?> <?><?><?><?><?>
              <?><?><?><?>>> <?><?><?><?><?><?><?> <?><?><?>. <?><?> <?><?><?>
              <?><?><?><?> <?><?> <?><?><?> <?><?> <?><?><?> <?><?><?><?>
              <?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?> <?>
              <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?> <?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?>. <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?> <?><?><?> <?><?><?><?><?><?><?> <?><?><?> <?><?><?>.
              <?><?><?> <?><?><?> <?><?> <?><?><?> <?><?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?> srun
              <?><?><?> <?><?><?><?> <?><?> <?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?> <?><?><?> <?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?>.


              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>/<?><?><?><?><?> (IO
              Redirection)

              <?><?><?><?><?><?> <?><?><?><?><?><?><?><?> stdout <?> stderr
              <?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?> stdout <?> stderr
              <?><?><?><?><?> srun <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?> stdin <?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> srun <?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>.  <?><?><?>
              <?><?><?><?> <?><?><?> stdin <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?> stdin <?><?>
              <?><?><?><?><?> srun <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?> <?> <?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?>.

              <?><?><?><?> OS X<?> <?><?><?><?> poll() <?><?> stdin
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?>.

              <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?> --output<?> --error <?> --input
              (-o<?> -e<?> -i) <?><?><?><?><?> <?><?><?>.  <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?> --error <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?><?><?> (stderr) <?><?><?> srun
              <?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?> stderr <?><?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?>.  <?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?>:


              all       <?><?><?><?><?> stdout <?> stderr <?><?> <?><?><?><?>
                        <?><?><?><?><?><?> <?><?> srun <?><?><?><?><?>
                        <?><?><?><?> <?><?><?><?><?><?><?>.  <?><?><?><?><?>
                        stdin <?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                        <?><?><?> <?><?><?> <?><?><?><?><?><?><?><?>
                        (broadcast) <?><?><?><?><?><?>.  (<?><?><?>
                        <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>)



              none      <?><?><?><?><?> stdout <?> stderr <?><?> <?><?><?>
                        <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?>.
                        <?><?><?><?><?> stdin <?><?> <?><?><?> <?><?><?><?>
                        <?><?><?><?><?> <?><?><?><?><?><?><?><?> (stdin
                        <?><?><?><?> <?><?><?>).



              taskid    <?><?><?><?><?> stdout <?>/<?><?> stderr <?><?><?><?>
                        <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                        <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                        <?><?><?><?> <?><?> <?><?><?><?><?> <?><?> taskid
                        <?><?><?><?><?> <?><?> <?><?> <?><?> 0 <= taskid <=
                        ntasks <?><?><?> <?> ntasks <?><?><?><?><?> <?><?>
                        <?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?> (job
                        step) <?><?><?><?> <?><?><?><?><?><?><?>.
                        <?><?><?><?><?> stdin <?><?> stdin <?><?><?><?><?>
                        srun <?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?>
                        <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>.
                        <?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?><?>
                        <?><?> <?><?><?> <?><?> <?><?><?><?>
                        <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                        <?><?>.



              filename  <?><?><?><?><?> srun <?><?><?><?><?> stdout <?>/<?><?>
                        stderr <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?>
                        <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                        <?><?><?><?> <?><?><?><?><?><?>.  <?><?><?><?><?>
                        stdin <?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
                        <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?>
                        <?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?>
                        <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>. filename
                        <?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                        <?><?><?><?><?><?><?><?><?> srun <?><?><?><?><?>
                        <?><?><?><?>. <?><?><?><?> <?><?> <?><?><?><?><?><?>
                        <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?>
                        <?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
                        <?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
                        <?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                        (batch mode) <?><?><?><?> <?><?><?><?><?><?> <?><?>
                        <?><?><?><?> <?><?><?><?><?> <?><?>
                        <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                        <?><?><?><?> <?><?><?><?>.



              filename pattern
                        <?><?><?><?><?> srun <?><?><?><?><?>
                        <?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?>
                        <?><?><?> <?><?><?><?> (filename pattern) <?><?><?><?>
                        <?><?><?><?><?> <?><?><?><?>
                        <?><?><?><?><?>/<?><?><?><?><?>
                        <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                        <?><?><?><?><?><?><?> <?><?><?>. <?><?><?><?><?>
                        <?><?><?><?><?><?><?><?><?><?><?><?><?><?>
                        <?><?><?><?> <?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                        <?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?>
                        <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?> <?><?>
                        jobid<?> stepid<?> <?><?><?> <?><?> <?><?><?>
                        <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
                        <?><?><?> <?><?><?>. <?><?> <?><?> <?><?><?><?><?>
                        <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                        <?><?><?> <?><?><?> <?> <?><?> <?><?><?><?><?><?><?>
                        <?><?><?><?><?><?> <?><?><?><?><?>
                        <?><?><?><?><?><?><?><?>. <?><?><?><?> <?><?><?><?><?>
                        <?><?><?><?><?> <?><?> <?><?> <?><?><?><?>
                        <?><?><?><?> <?><?><?><?> %t<?> %n<?> <?>/<?><?> %N
                        <?><?><?> <?><?><?> <?><?><?><?> <?><?><?>
                        <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?>
                        <?><?><?> <?><?><?><?><?><?> <?><?> srun <?><?> <?><?>
                        <?><?><?><?> <?><?><?><?><?><?>.


                        \\     <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                               <?><?><?><?><?><?><?><?> <?><?>
                               <?><?><?><?><?><?> <?><?><?>.



                        %%     <?><?><?><?><?> <<%>>.



                        %A     <?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                               <?><?><?><?><?> <?><?><?><?><?> <?><?><?> (job
                               array).



                        %a     <?><?><?><?><?> <?><?><?><?><?> (<?><?><?><?>)
                               <?><?><?><?><?> <?><?><?> (job array).



                        %J     <?><?><?><?><?> jobid.stepid <?><?><?><?>
                               <?><?> <?><?><?> <?><?><?><?> (<?><?><?><?><?>
                               <<128.0>>). <?><?><?><?><?> stepid <?><?><?><?>
                               <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                               <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                               <?><?> <?><?><?><?> <?><?><?><?><?><?><?>
                               <?><?><?> <?><?><?><?><?> <<batch>> <?><?>
                               <<extern>>..IP


                        %j     <?><?><?><?><?> <?><?><?> (jobid)
                               <?><?><?><?><?> <?><?> <?><?><?><?> <?><?>
                               <?><?><?> <?><?><?><?>.



                        %S     <?><?><?><?><?> SLUID <?><?><?><?><?> <?><?>
                               <?><?><?><?> <?><?> <?><?><?> <?><?><?><?>.



                        %s     <?><?><?><?><?> <?><?><?> (stepid)
                               <?><?><?><?><?> <?><?> <?><?><?><?> <?><?>
                               <?><?><?> <?><?><?><?>.



                        %N     <?><?><?> <?><?><?><?><?><?><?><?><?>
                               <?><?><?><?><?><?> (hostname). <?><?><?>
                               <?><?><?><?> <?><?> <?><?><?><?>
                               <?><?><?><?><?>/<?><?><?><?><?> (IO)
                               <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                               <?><?> <?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?>.



                        %n     <?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?>
                               <?><?><?> <?><?><?><?> (<?><?><?><?>
                               <?><?><?><?><?> "0" <?><?><?><?><?><?>
                               <?><?><?> <?><?> <?><?><?><?> <?><?> <?><?><?>
                               <?><?><?><?> <?><?><?>). <?><?><?> <?><?><?><?>
                               <?><?> <?><?><?><?>
                               <?><?><?><?><?>/<?><?><?><?><?> (IO)
                               <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                               <?><?> <?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?>.



                        %t     <?><?><?><?><?> <?><?><?><?><?> (<?><?><?><?>
                               <?><?> rank) <?><?><?><?> <?><?> <?><?><?>
                               <?><?><?><?>. <?><?><?> <?><?><?><?> <?><?>
                               <?><?><?><?> <?><?><?><?><?>/<?><?><?><?><?>
                               (IO) <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                               <?><?> <?><?><?><?><?> <?><?><?><?><?>
                               <?><?><?><?><?> <?><?><?>.



                        %u     <?><?><?> <?><?><?><?><?><?>.



                        %x     <?><?><?> <?><?><?>.

                        <?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
                        <?><?><?><?> <?> <?><?><?><?><?><?><?><?><?><?>
                        <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
                        <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                        <?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
                        (zero-pad) <?><?> <?><?><?> <?><?><?><?>
                        <?><?><?><?><?>/<?><?><?><?><?><?> <?><?><?><?><?><?>
                        <?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                        <?><?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?>.
                        <?><?><?> <?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                        <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
                        <?><?><?><?><?><?><?> <?><?><?><?> (<?><?><?><?>
                        <?><?><?><?><?> %N)<?> <?><?><?> <?><?><?>
                        <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.
                        <?><?><?><?><?><?> <?><?><?> <?><?><?> <?><?>
                        <?><?><?><?> <?><?><?> <?><?><?><?><?><?>
                        <?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?>
                        <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                        <?><?> <?><?><?><?><?> <?><?> <?><?><?> <?><?><?>
                        <?><?><?><?><?><?>.  <?><?><?> <?><?><?><?><?> <?><?>
                        <?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
                        <?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
                        <?><?><?> <?><?><?><?><?> <?> <?><?><?><?><?><?><?><?>
                        <?><?> JobID <?><?><?><?><?> <?><?> 128 <?> step id
                        <?><?><?><?><?> <?><?> 0 <?><?> <?><?><?>
                        <?><?><?><?><?> <?><?><?> <?><?><?>:


                        job%J.out      job128.0.out



                        job%4j.out     job0128.out



                        job%2j-%2t.out job128-00.out, job128-01.out, ...


<?><?><?><?><?><?> (PERFORMANCE)
       <?><?><?><?><?> srun <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
       <?><?> <?><?><?> <?><?><?> (RPC) <?><?> <?><?> slurmctld
       <?><?><?><?><?><?><?><?>. <?><?><?><?><?><?>
       <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
       <?><?><?><?> srun <?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
       <?><?><?><?><?><?> Slurm <?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
       <?><?> <?><?><?> <?><?><?> <?><?> <?><?><?><?> slurmctld
       <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
       <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?>
       <?><?><?> <?><?><?><?><?><?> <?><?><?><?> slurmctld <?><?><?> <?>
       <?><?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?> (denial of
       service) <?><?><?><?><?><?><?><?>.

       <?><?> <?><?><?><?><?> srun <?><?> <?><?><?><?>
       <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> Slurm <?><?>
       <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?>
       <?><?><?> <?><?> slurmctld <?><?><?><?><?><?><?><?><?> <?><?>
       <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?> <?><?>
       <?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
       <?><?><?><?>. <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
       <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
       srun <?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
       <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
       <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>..SH
       "<?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> (INPUT
       ENVIRONMENT VARIABLES)"

       <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?> srun
       <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?>
       <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?>
       <?><?><?><?><?><?> <?> <?><?><?><?><?><?> <?><?><?><?><?><?>.
       <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
       <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?> <?><?>
       <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
       <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>. <?><?><?><?>
       <?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
       <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
       <?><?> <?><?><?> <?><?><?><?><?><?><?><?>
       <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
       <?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
       <?><?><?><?> <?><?><?><?><?> (<?><?><?><?> <?><?><?><?> <?><?> NULL)<?>
       <?><?><?><?> <<yes>> <?><?> <?><?> <?><?><?> <?><?><?><?><?><?>
       <?><?><?><?> <?><?><?>. <?><?> <?><?><?><?><?> <?><?><?><?><?>
       <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
       <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
       <?><?>.  <?><?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?><?>
       <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?> <?><?> <?><?><?>
       <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?>.
       <?><?><?><?>: <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
       <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
       <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
       <?><?><?><?><?>.


       PMI_FANOUT            <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?><?><?> <?><?> PMI (<?><?><?><?> MPICH2
                             <?> MVAPICH2) <?><?><?><?><?><?><?>
                             <?><?><?><?><?><?> <?> <?><?><?><?><?><?>
                             (fanout) <?><?><?><?><?><?><?><?> <?><?><?><?>
                             <?><?> <?><?><?><?><?> <?><?><?><?><?><?>.
                             <?><?><?><?><?> srun <?><?><?><?><?><?><?> <?><?>
                             (<?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
                             PMI) <?><?> <?><?><?><?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?> <?> <?><?><?>
                             <?><?><?><?><?><?><?><?><?> <?><?><?><?>
                             <?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
                             <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                             <?><?> <?><?><?> <?><?><?><?><?> <?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?> (forward)
                             <?><?><?><?>. <?><?><?><?><?><?>
                             <?><?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?>
                             <?><?> <?><?><?><?><?> srun <?><?> <?><?><?>
                             <?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?> <?> <?><?><?><?><?><?>
                             <?><?><?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?> <?><?><?><?><?> <?>
                             <?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?> <?><?><?><?><?><?>.
                             <?><?><?><?><?> <?><?><?><?><?><?><?> 32
                             <?><?><?>.



       PMI_FANOUT_OFF_HOST   <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?><?><?> <?><?> PMI (<?><?><?><?> MPICH2
                             <?> MVAPICH2) <?><?><?><?><?><?><?>
                             <?><?><?><?><?><?> <?> <?><?><?><?><?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?>.
                             <?><?><?><?><?> srun <?><?><?><?><?><?><?> <?><?>
                             (<?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
                             PMI) <?><?> <?><?><?><?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?> <?> <?><?><?>
                             <?><?><?><?><?><?><?><?><?> <?><?><?><?>
                             <?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
                             <?><?><?><?><?><?><?> <?><?> <?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?>. <?><?><?><?><?><?>
                             <?><?><?><?><?><?><?><?> srun <?><?><?><?> <?><?>
                             <?><?><?><?><?><?> <?><?> <?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?> <?> <?><?>
                             <?><?><?> <?><?><?> <?><?> <?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                             <?><?> <?><?><?><?><?> PMI_FANOUT <?><?>
                             <?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?>.  <?><?><?>
                             PMI_FANOUT_OFF_HOST <?><?><?><?><?> <?><?><?>
                             <?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?>
                             <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                             <?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?>
                             <?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?>.  <?><?><?><?><?> PMI_FANOUT_OFF_HOST
                             <?><?><?><?> <?><?><?> <?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?> <?><?><?>.  <?><?>
                             <?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?><?>
                             <?><?><?><?> <?><?><?><?><?><?><?><?> PMI
                             <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?><?> <?> <?><?><?><?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?><?>. <?><?><?> <?><?><?><?><?>
                             <?><?><?><?> <?><?> <?><?><?><?><?> 0 <?><?> 1
                             <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                             <?><?><?>.



       PMI_TIME              <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?><?><?> <?><?> PMI (<?><?><?><?> MPICH2
                             <?> MVAPICH2) <?><?><?><?><?><?><?>
                             <?><?><?><?><?><?> <?> <?><?><?><?><?>
                             <?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                             <?><?> srun <?><?> <?><?> <?><?><?><?><?><?>
                             <?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?> <?><?> <?><?> <?><?><?><?><?>
                             <?><?><?> <?><?><?><?><?> <?> <?><?><?><?><?>
                             <?><?><?><?> <?><?><?><?><?> srun
                             <?><?><?><?><?><?><?> <?><?><?>. <?><?><?><?><?>
                             <?><?><?><?><?><?><?> 500
                             (<?><?><?><?><?><?><?><?><?><?>) <?><?>
                             <?><?><?><?> <?><?> <?><?><?> <?><?><?>.
                             <?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
                             <?><?><?><?><?><?> <?><?><?> <?><?>
                             <?><?><?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?><?><?> (<?>
                             <?><?><?><?><?><?><?><?><?><?><?><?><?><?><?>
                             <?><?><?><?> PMI)<?> <?><?><?><?> <?><?><?>
                             <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?><?> <?><?><?><?> <?><?><?><?>.



       SLURM_ACCOUNT         <?><?><?><?><?> -A, --account



       SLURM_ACCTG_FREQ      <?><?><?><?><?> --acctg-freq



       SLURM_BCAST           <?><?><?><?><?> --bcast



       SLURM_BCAST_EXCLUDE   <?><?><?><?><?> --bcast-exclude



       SLURM_BURST_BUFFER    <?><?><?><?><?> --bb



       SLURM_CLUSTERS        <?><?><?><?><?> -M<?> --clusters



       SLURM_COMPRESS        <?><?><?><?><?> --compress



       SLURM_CONF            <?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?><?><?> Slurm.



       SLURM_CONSTRAINT      <?><?><?><?><?> -C<?> --constraint



       SLURM_CORE_SPEC       <?><?><?><?><?> --core-spec



       SLURM_CPU_BIND        <?><?><?><?><?> --cpu-bind



       SLURM_CPU_FREQ_REQ    <?><?><?><?><?> --cpu-freq.



       SLURM_CPUS_PER_GPU    <?><?><?><?><?> --cpus-per-gpu



       SLURM_CPUS_PER_TASK   <?><?><?><?><?> -c, --cpus-per-task <?><?>
                             --tres-per-task=cpu=#



       SLURM_DEBUG           <?><?><?><?><?> -v, --verbose <?><?> <?><?><?><?>
                             <?><?><?><?><?> <?><?><?> 1<?> <?><?>
                             <?><?><?><?> <?><?><?><?><?> <?><?><?> 2
                             <?><?><?><?><?> -vv <?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?> <?><?><?><?>.



       SLURM_DEBUG_FLAGS     <?><?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                             srun <?><?><?><?> <?><?><?><?><?><?>.
                             <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?><?><?> DebugFlags <?><?> <?><?>
                             <?><?><?><?> <?><?><?><?><?><?><?> slurm.conf(5)
                             <?><?><?><?><?><?>. <?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?>
                             <?><?><?><?><?> <?><?> slurm.conf
                             <?><?><?><?><?><?> <?><?><?><?>.



       SLURM_DELAY_BOOT      <?><?><?><?><?> --delay-boot



       SLURM_DEPENDENCY      <?><?><?><?><?> -d, --dependency=<jobid>



       SLURM_DISABLE_STATUS  <?><?><?><?><?> -X, --disable-status



       SLURM_DIST_PLANESIZE  <?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?> (Plane). <?><?><?><?>
                             <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?><?><?><?> <?><?> --distribution=plane
                             <?><?><?><?> =<size> <?><?><?><?><?> <?><?><?>
                             <?><?><?><?>.



       SLURM_DISTRIBUTION    <?><?><?><?><?> -m, --distribution



       SLURM_EPILOG          <?><?><?><?><?> --epilog



       SLURM_EXACT           <?><?><?><?><?> --exact



       SLURM_EXCLUSIVE       <?><?><?><?><?> --exclusive



       SLURM_EXIT_ERROR      <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
                             <?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?>
                             Slurm (<?><?><?><?><?>
                             <?><?><?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?>) <?><?> <?><?><?><?>
                             <?><?><?><?><?><?>.
                             <?><?><?><?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?>
                             <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?> <?><?><?> <?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?> <?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?> Slurm
                             <?><?><?><?><?><?><?> <?><?><?><?>.
                             <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
                             <?><?> SLURM_EXIT_IMMEDIATE..IP


       SLURM_EXIT_IMMEDIATE  <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?> --immediate <?><?>
                             <?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
                             <?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?> <?><?> <?><?><?><?>
                             <?><?><?><?><?><?>.  <?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                             <?><?><?><?> <?><?><?><?><?> Slurm
                             <?><?><?><?><?><?><?> <?><?><?>.
                             <?><?><?><?><?><?> SLURM_EXIT_ERROR <?><?>
                             <?><?><?><?><?><?>.



       SLURM_EXPORT_ENV      <?><?><?><?><?> <?><?> --export



       SLURM_GPU_BIND        <?><?><?><?><?> <?><?> --gpu-bind



       SLURM_GPU_FREQ        <?><?><?><?><?> <?><?> --gpu-freq



       SLURM_GPUS            <?><?><?><?><?> <?><?> -G, --gpus



       SLURM_GPUS_PER_NODE   <?><?><?><?><?> <?><?> --gpus-per-node<?>
                             <?><?><?> <?><?> <?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?> <?><?> <?><?> <?><?>
                             <?><?><?><?> <?><?><?> --gpus <?><?><?><?>
                             <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?> <?><?>.



       SLURM_GPUS_PER_TASK   <?><?><?><?><?> <?><?> --gpus-per-task



       SLURM_GRES            <?><?><?><?><?> <?><?> --gres. <?><?><?><?><?><?>
                             SLURM_STEP_GRES <?><?> <?><?><?><?><?><?>.



       SLURM_GRES_FLAGS      <?><?><?><?><?> <?><?> --gres-flags



       SLURM_HINT            <?><?><?><?><?> <?><?> --hint



       SLURM_IMMEDIATE       <?><?><?><?><?> <?><?> -I, --immediate



       SLURM_JOB_ID          <?><?><?><?><?> <?><?> --jobid



       SLURM_JOB_NAME        <?><?><?><?><?> <?><?> -J, --job-name<?>
                             <?><?><?> <?><?> <?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?> <?><?> <?><?> <?><?>
                             <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?> <?><?> <?><?> <?><?><?>
                             <?><?><?> <?><?><?><?><?><?><?> (batch job)
                             <?><?> <?><?><?><?><?> <?><?><?> <?><?> <?><?><?>
                             <?><?><?> (job step) <?><?><?><?><?><?><?>
                             <?><?><?><?>.



       SLURM_JOB_NUM_NODES   <?><?><?><?><?> <?><?> -N, --nodes.
                             <?><?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?> <?><?><?><?><?> <?><?><?>.



       SLURM_KILL_BAD_EXIT   <?><?><?><?><?> <?><?> -K, --kill-on-bad-exit.
                             <?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?> <?><?><?><?> <?><?><?>
                             <?><?><?><?><?> <?><?><?><?> <?><?><?> 0 <?><?> 1
                             <?><?><?><?><?> <?><?><?>.



       SLURM_LABELIO         <?><?><?><?><?> <?><?> -l, --label



       SLURM_MEM_BIND        <?><?><?><?><?> <?><?> --mem-bind



       SLURM_MEM_PER_CPU     <?><?><?><?><?> <?><?> --mem-per-cpu



       SLURM_MEM_PER_GPU     <?><?><?><?><?> <?><?> --mem-per-gpu



       SLURM_MEM_PER_NODE    <?><?><?><?><?> <?><?> --mem



       SLURM_MPI_TYPE        <?><?><?><?><?> <?><?> --mpi



       SLURM_NETWORK         <?><?><?><?><?> <?><?> --network



       SLURM_NNODES          <?><?><?><?><?> <?><?> -N, --nodes.
                             <?><?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?> <?><?><?><?><?> <?><?><?>.
                             SLURM_JOB_NUM_NODES <?><?> <?><?><?><?><?><?>.
                             <?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?> <?><?><?>.



       SLURM_NO_KILL         <?><?><?><?><?> <?><?> -k<?> --no-kill



       SLURM_NPROCS          <?><?><?><?><?> <?><?> -n, --ntasks. SLURM_NTASKS
                             <?><?> <?><?><?><?><?><?>. <?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?> <?><?><?>.



       SLURM_NTASKS          <?><?><?><?><?> <?><?> -n, --ntasks



       SLURM_NTASKS_PER_CORE <?><?><?><?><?> <?><?> --ntasks-per-core



       SLURM_NTASKS_PER_GPU  <?><?><?><?><?> <?><?> --ntasks-per-gpu



       SLURM_NTASKS_PER_NODE <?><?><?><?><?> <?><?> --ntasks-per-node



       SLURM_NTASKS_PER_SOCKET
                             <?><?><?><?><?> <?><?> --ntasks-per-socket



       SLURM_OOMKILLSTEP     <?><?><?><?><?> <?><?> --oom-kill-step



       SLURM_OPEN_MODE       <?><?><?><?><?> <?><?> --open-mode



       SLURM_OVERCOMMIT      <?><?><?><?><?> <?><?> -O, --overcommit



       SLURM_OVERLAP         <?><?><?><?><?> <?><?> --overlap.IP


       SLURM_PARTITION       <?><?><?><?><?> -p, --partition



       SLURM_PMI_KVS_NO_DUP_KEYS
                             <?><?><?> <?><?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?><?><?><?><?><?> PMI
                             <?><?><?><?> <?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?>. MPI <?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?> <?><?><?><?><?> <?><?><?><?>
                             <?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?><?><?><?> PMI
                             <?><?><?><?><?><?><?> <?><?><?> <?><?> <?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?><?><?>
                             <?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
                             PMI <?><?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
                             <?><?><?><?><?>.  <?><?><?> <?><?><?><?>
                             <?><?><?><?> MPICH2 <?><?><?><?> <?><?><?> <?>
                             <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                             <?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?>.



       SLURM_POWER           <?><?><?><?><?> --power



       SLURM_PROFILE         <?><?><?><?><?> --profile



       SLURM_PROLOG          <?><?><?><?><?> --prolog



       SLURM_QOS             <?><?><?><?><?> --qos



       SLURM_REMOTE_CWD      <?><?><?><?><?> -D, --chdir=



       SLURM_REQ_SWITCH      <?><?><?><?><?><?> <?><?> <?><?> <?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                             <?><?><?><?> <?><?><?> <?><?><?><?>
                             <?><?><?><?><?> <?><?><?> <?> <?><?> <?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?><?><?>
                             <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
                             <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>
                             <?><?><?><?> <?><?><?><?><?><?>. <?><?>
                             --switches <?><?><?><?><?><?> <?><?><?><?>.



       SLURM_RESERVATION     <?><?><?><?><?> --reservation



       SLURM_RESV_PORTS      <?><?><?><?><?> --resv-ports



       SLURM_SEND_LIBS       <?><?><?><?><?> --send-libs



       SLURM_SIGNAL          <?><?><?><?><?> --signal



       SLURM_SPREAD_JOB      <?><?><?><?><?> --spread-job



       SLURM_SRUN_REDUCE_TASK_EXIT_MSG
                             <?><?><?> <?><?><?><?><?> <?><?><?> <?>
                             <?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?>
                             <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                             <?><?><?> <?><?><?> <?><?><?><?><?><?> <?><?>.



       SRUN_ERROR            <?><?><?><?><?> -e, --error



       SRUN_INPUT            <?><?><?><?><?> -i, --input



       SRUN_OUTPUT           <?><?><?><?><?> -o, --output



       SLURM_STEP_GRES       <?><?><?><?><?> --gres (<?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                             <?><?><?><?><?><?><?><?><?> <?><?><?>).
                             <?><?><?><?><?><?> <?><?> SLURM_GRES
                             <?><?><?><?><?><?> <?><?><?><?>.



       SLURM_STEP_KILLED_MSG_NODE_ID=ID
                             <?><?><?> <?><?><?><?><?> <?><?><?><?>
                             <?><?><?><?> <?><?><?> <?><?><?><?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?>
                             <?><?> <?><?><?> <?><?><?><?> <?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
                             <?><?><?><?><?> <?><?><?>.



       SLURM_TASK_EPILOG     <?><?><?><?><?> --task-epilog



       SLURM_TASK_PROLOG     <?><?><?><?><?> --task-prolog



       SLURM_TEST_EXEC       <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                             srun <?><?><?> <?><?> <?><?><?><?><?>
                             <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                             <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?> <?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?>
                             <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                             <?><?> <?><?><?> <?><?><?><?><?><?> <?><?> srun
                             <?><?> <?><?> <?><?><?><?><?><?><?><?> <?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?>.



       SLURM_THREAD_SPEC     <?><?><?><?><?> --thread-spec



       SLURM_THREADS         <?><?><?><?><?> -T, --threads



       SLURM_THREADS_PER_CORE
                             <?><?><?><?><?> --threads-per-core



       SLURM_TIMELIMIT       <?><?><?><?><?> -t, --time



       SLURM_TRES_BIND       <?><?><?><?><?> --tres-bind. <?><?><?> --gpu-bind
                             <?><?><?><?> <?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?> <?><?><?> <?><?><?> <?><?>
                             <?><?> --tres-bind <?><?><?><?> <?><?><?>
                             <?><?><?><?> <?> <?><?> SLURM_TRES_BIND <?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?> <?><?>.



       SLURM_TRES_PER_TASK   <?><?><?><?><?> --tres-per-task.



       SLURM_UMASK           <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                             Slurm <?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?><?>
                             <?><?><?><?><?>/<?><?><?><?> <?><?><?><?> <?><?>
                             umask <?><?><?><?><?><?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>.



       SLURM_UNBUFFEREDIO    <?><?><?><?><?> -u, --unbuffered



       SLURM_USE_MIN_NODES   <?><?><?><?><?> --use-min-nodes



       SLURM_WAIT            <?><?><?><?><?> -W, --wait



       SLURM_WAIT4SWITCH     <?><?><?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?><?>. <?><?> --switches
                             <?><?><?><?><?><?> <?><?><?><?>.  SLURM_WCKEY
                             <?><?><?><?><?> -W, --wckey.



       SLURM_WORKING_DIR     -D, --chdir



       SLURMD_DEBUG          <?><?><?><?><?> --slurmd-debug.



       SRUN_CONTAINER        <?><?><?><?><?> --container.



       SRUN_CONTAINER_ID     <?><?><?><?><?> --container-id.



       SRUN_CONTAINER_TYPE   <?><?><?><?><?> --container-type.



       SRUN_EXPORT_ENV       <?><?><?><?><?> --export <?><?><?> <?>
                             <?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                             <?><?><?><?> SLURM_EXPORT_ENV <?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>.



       SRUN_SEGMENT_SIZE     <?><?><?><?><?> --segment.



<?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> (OUTPUT ENVIRONMENT
       VARIABLES)
       <?><?><?><?><?> srun <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
       <?><?> <?><?> <?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
       <?><?><?><?> <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
       <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?>
       <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>:


       SLURM_*_HET_GROUP_#   <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?>
                             <?><?><?><?><?><?> (heterogeneous job)<?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                             <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                             <?><?> <?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?>.



       SLURM_CLUSTER_NAME    <?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?>
                             <?><?><?> <?><?> <?><?> <?><?><?> <?><?><?><?>
                             <?><?><?>.



       SLURM_CPU_BIND_LIST   <?><?><?><?><?> <?><?><?><?><?> (map) <?><?>
                             <?><?><?><?> --cpu-bind (<?><?><?><?><?><?>
                             <?><?> <?><?><?><?><?><?><?><?><?> CPU <?><?>
                             <?><?><?><?><?><?><?><?> Slurm <?><?><?><?>
                             <?><?><?> <?><?><?><?> CPU_ID = Board_ID x
                             threads_per_board + Socket_ID x
                             threads_per_socket + Core_ID x threads_per_core +
                             Thread_ID).



       SLURM_CPU_BIND_TYPE   <?><?><?> --cpu-bind (<?><?><?><?><?><?> none<?>
                             map_cpu:<?> mask_cpu:<?> rank_ldom<?>
                             map_ldom:<?> mask_ldom:).



       SLURM_CPU_BIND_VERBOSE
                             <?><?><?><?><?> <?><?><?><?><?><?> --cpu-bind
                             (<?><?><?><?><?><?> quiet<?> verbose).



       SLURM_CPU_FREQ_REQ    <?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?> srun <?><?> <?><?><?><?> <?><?>
                             <?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?>
                             <?><?><?><?><?><?><?><?><?> <?><?> <?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
                             <?><?><?><?> <?><?><?><?><?><?><?> low<?>
                             medium<?> highm1 <?><?> high <?><?><?><?>
                             <?><?><?><?><?> <?><?><?>.  <?><?><?><?><?><?><?>
                             <?><?><?><?><?> --cpu-freq <?><?> <?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?>
                             SLURM_CPU_FREQ_REQ <?><?> <?><?><?><?><?><?>.



       SLURM_CPUS_ON_NODE    <?><?><?><?><?> CPU<?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                             (step) <?><?><?> <?><?><?> <?><?><?>.
                             <?><?><?><?>: <?><?><?><?><?><?> select/linear
                             <?><?> <?><?><?><?><?><?> <?><?> <?><?>
                             <?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                             <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                             <?><?><?><?><?> <?><?> CPU<?><?><?>
                             <?><?><?><?><?> <?><?><?> <?><?><?> <?><?><?>.
                             <?><?><?><?> <?><?><?><?><?><?> cons/tres<?>
                             <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                             <?><?><?><?><?> CPU<?><?><?>
                             <?><?><?><?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?> <?><?><?> <?><?><?> <?><?><?> <?><?><?>
                             <?><?><?>.



       SLURM_CPUS_PER_TASK   <?><?><?><?><?> CPU<?><?><?>
                             <?><?><?><?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?> <?><?> <?><?><?><?><?> (task).
                             <?><?><?><?> <?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                             <?><?> <?><?><?><?><?> --cpus-per-task <?><?>
                             <?><?><?><?><?> --tres-per-task=cpu=#
                             <?><?><?><?> <?><?><?> <?><?><?><?>.



       SLURM_DISTRIBUTION    <?><?><?> <?><?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?>
                             <?><?><?><?><?><?><?><?><?><?><?>.
                             <?><?><?><?><?> <?><?> -m<?> --distribution
                             <?><?><?><?><?> <?><?><?><?><?><?>.



       SLURM_GPUS_ON_NODE    <?><?><?><?><?> GPU<?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                             <?><?><?> <?><?><?> <?><?><?>.



       SLURM_GTIDS           <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                             <?><?><?><?><?> (Global task IDs) <?><?>
                             <?><?><?> <?><?><?><?> <?><?><?> <?><?><?>
                             <?><?><?>.  <?><?><?><?><?> <?><?> <?><?><?> <?>
                             <?><?><?><?><?><?> <?><?> <?><?><?><?>.  <?><?>
                             <?><?><?><?><?> <?><?> Slurm <?><?>
                             <?><?><?><?><?><?><?><?> <?><?> pmi
                             <?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                             <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?> pmi
                             <?><?><?><?><?><?> <?><?><?><?><?><?>.
                             <?><?><?><?> <?><?><?><?><?><?> <?><?><?>
                             <?><?><?><?><?> <?><?><?><?> <?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
                             <?><?><?><?> <?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?> (<?><?><?><?><?>
                             <?><?><?> <?><?> Abaqus <?> Ansys <?><?>
                             <?><?><?><?> <?><?><?><?><?><?><?><?>
                             <?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?><?> - <?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                             <?><?><?><?> <?><?><?><?><?><?>
                             <?><?><?><?><?><?> <?><?><?><?>).



       SLURM_HET_SIZE        <?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?><?> <?><?> <?><?><?>
                             <?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?>.



       SLURM_JOB_ACCOUNT     <?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
                             <?><?><?><?><?> <?><?><?>.



       SLURM_JOB_CPUS_PER_NODE
                             <?><?><?><?><?> CPU<?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                             <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?> <?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                             CPU_count[(xnumber_of_nodes)][,CPU_count[(xnumber_of_nodes)]
                             ...].  <?><?><?><?> <?><?><?><?>: <?><?><?><?><?>
                             SLURM_JOB_CPUS_PER_NODE='72(x2),36' <?><?><?><?>
                             <?><?><?><?><?><?> <?><?> <?><?> <?><?><?>
                             <?><?><?> <?> <?><?><?> (<?><?><?><?><?><?><?>
                             <?><?> <?><?><?><?> SLURM_JOB_NODELIST
                             <?><?><?><?><?> <?><?><?> <?><?><?>)
                             <?><?><?><?><?> <?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?>
                             <?><?><?><?> <?><?> <?><?><?> <?><?><?> <?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?>.
                             <?><?><?><?>: <?><?><?><?><?><?> select/linear
                             <?><?> <?><?><?><?><?><?> <?><?> <?><?>
                             <?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                             <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                             <?><?><?><?><?> <?><?> CPU<?><?> <?><?><?>
                             <?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?><?><?><?><?> <?><?><?>.
                             <?><?><?><?><?><?> select/cons_tres
                             <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?>
                             <?><?><?><?> <?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                             <?><?><?> <?><?><?> <?><?><?><?><?><?>
                             <?><?><?><?><?>
                             <?><?><?><?><?><?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?> <?><?><?>.



       SLURM_JOB_DEPENDENCY  <?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                             --dependency <?><?><?><?><?> <?><?><?><?><?><?>.



       SLURM_JOB_END_TIME    <?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?> (UNIX timestamp) <?><?><?><?>
                             <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?>.



       SLURM_JOB_GPUS        <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                             GPU <?><?><?><?> GPU<?><?><?>
                             <?><?><?><?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?> <?><?><?>. <?><?><?><?><?><?><?><?><?>
                             GPU <?><?><?><?><?><?> <?><?> <?><?><?>
                             <?><?><?><?><?><?> cgroup <?><?><?><?><?><?><?>
                             <?><?><?> <?><?><?> <?><?><?><?><?><?><?><?><?>
                             <?><?> task/cgroup <?><?><?><?><?> <?><?><?>
                             <?><?><?><?><?>.  <?><?><?><?> <?><?>
                             <?><?><?><?><?><?> <?><?><?><?><?><?><?> (batch)
                             <?> <?><?><?><?><?><?> (interactive)
                             <?><?><?><?><?> <?><?><?><?><?><?>.



       SLURM_JOB_ID          <?><?><?><?><?> <?><?><?> (Job ID) <?><?>
                             <?><?><?> <?><?><?><?>.



       SLURM_JOB_LICENSES    <?><?><?> <?> <?><?><?><?><?>
                             <?><?><?><?>(<?><?><?>)
                             <?><?><?><?><?><?><?><?><?><?><?>.



       SLURM_JOB_NAME        <?><?><?><?><?><?> <?><?> srun <?><?><?><?>
                             <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?>
                             <?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?>
                             <?><?><?><?><?> --job-name <?><?> <?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?>. <?><?> <?><?><?><?><?> <?><?>
                             srun <?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                             <?><?> <?><?><?> <?><?><?> (<?><?><?><?>
                             <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?>
                             <?><?><?><?><?>) <?><?> <?><?><?> <?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?><?>.
                             SLURM_JOB_NODELIST <?><?><?><?><?>
                             <?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?>.



       SLURM_JOB_NODES       <?><?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?> <?><?><?><?><?> <?><?><?>.



       SLURM_JOB_PARTITION   <?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?> <?><?> <?><?> <?><?> <?><?><?>
                             <?><?><?><?> <?><?><?>.



       SLURM_JOB_QOS         <?><?><?><?><?> <?><?><?><?><?> (QOS)
                             <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?>.



       SLURM_JOB_RESERVATION <?><?><?><?> <?><?><?><?><?><?><?> (reservation)
                             <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
                             <?><?><?><?> <?><?><?><?>.



       SLURM_JOB_SEGMENT_SIZE
                             <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                             (segments) <?><?> <?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?> <?><?><?>.  <?><?><?><?> <?><?>
                             <?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?> <?><?> --segment <?><?><?><?>
                             <?><?><?> <?><?><?><?>.



       SLURM_JOB_START_TIME  <?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?> (UNIX timestamp) <?><?><?><?>
                             <?><?><?><?> <?><?><?><?> <?><?><?>.



       SLURM_JOBID           <?><?><?><?><?> <?><?><?> <?><?> <?><?><?>
                             <?><?><?><?>. SLURM_JOB_ID <?><?>
                             <?><?><?><?><?><?>. <?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?> <?><?><?>.



       SLURM_LAUNCH_NODE_IPADDR
                             <?><?><?><?><?> IP <?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?> <?><?> <?><?><?><?> <?><?><?> <?><?><?>
                             (<?><?><?><?> <?><?> <?><?><?><?><?> srun <?><?>
                             <?><?> <?><?><?><?> <?><?>).



       SLURM_LOCALID         <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
                             <?><?><?> <?><?><?><?> <?><?><?><?><?><?>
                             <?><?><?><?> <?><?> <?><?><?>.



       SLURM_MEM_BIND_LIST   <?><?><?><?><?> <?><?><?><?><?> <?><?>
                             <?><?><?><?> --mem-bind (<<?><?><?><?><?>
                             <?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?>
                             <?><?><?>>).



       SLURM_MEM_BIND_PREFER <?><?><?><?><?> --mem-bind (<?><?><?><?><?>
                             prefer).



       SLURM_MEM_BIND_TYPE   <?><?><?> --mem-bind (<?><?><?><?>
                             none,rank,map_mem:,mask_mem:,local).



       SLURM_MEM_BIND_VERBOSE
                             <?><?><?><?><?> <?><?><?><?><?><?> --mem-bind
                             (<?><?><?><?> quiet,verbose).



       SLURM_NETWORK         <?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
                             <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
                             --network <?><?><?><?><?> <?><?><?><?><?><?>.



       SLURM_NODEID          <?><?><?><?><?> <?><?><?><?> <?><?><?> (node ID)
                             <?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?>.



       SLURM_NPROCS          <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
                             <?><?> <?><?><?> <?><?> <?><?><?> <?><?><?>
                             <?><?><?><?>. SLURM_NTASKS <?><?>
                             <?><?><?><?><?><?>. <?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?> <?><?><?>.



       SLURM_NTASKS          <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
                             <?><?> <?><?><?> <?><?> <?><?><?> <?><?><?>
                             <?><?><?><?>.



       SLURM_OVERCOMMIT      <?><?><?> --overcommit <?><?><?><?> <?><?><?>
                             <?><?><?><?><?> <?><?><?> 1 <?><?><?><?><?>
                             <?><?><?><?><?><?>.



       SLURM_PRIO_PROCESS    <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                             (<?><?><?><?><?> nice) <?><?> <?><?><?><?>
                             <?><?><?> <?><?><?>.  <?><?><?> <?><?><?><?><?>
                             <?><?> <?><?><?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?><?> (spawned)
                             <?><?><?><?><?><?> <?><?><?><?><?><?><?>.



       SLURM_PROCID          <?><?><?><?> MPI (<?><?> <?><?><?><?><?>
                             <?><?><?><?> <?><?><?><?><?><?>) <?><?><?><?>
                             <?><?><?><?><?><?> <?><?><?><?>.



       SLURM_SRUN_COMM_HOST  <?><?><?><?><?> IP <?><?><?><?><?><?>
                             <?><?><?><?><?><?><?> srun.



       SLURM_SRUN_COMM_PORT  <?><?><?><?><?> <?><?><?><?><?><?><?> srun.



       SLURM_CONTAINER       <?><?><?><?> OCI (<?><?> OCI Bundle) <?><?><?><?>
                             <?><?><?>.  <?><?><?><?> <?><?> <?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                             --container <?><?><?><?> <?><?><?> <?><?><?><?>.



       SLURM_CONTAINER_ID    <?><?><?><?><?> OCI <?><?><?><?> <?><?><?>.
                             <?><?><?><?> <?><?> <?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                             --container_id <?><?><?><?> <?><?><?>
                             <?><?><?><?>.



       SLURM_CONTAINER_TYPE  <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?>
                             <?><?><?>.  <?><?><?><?> <?><?> <?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                             --container_type <?><?><?><?> <?><?><?>
                             <?><?><?><?>.



       SLURM_SHARDS_ON_NODE  <?><?><?><?><?> GPU Shard<?><?><?> <?><?>
                             <?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?>
                             <?><?><?> <?><?><?>.



       SLURM_STEP_GPUS       <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                             GPU <?><?><?><?>
                             <?><?><?><?><?><?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?> <?><?><?> (<?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                             (batch) <?> <?><?><?><?><?><?>).
                             <?><?><?><?><?><?><?><?><?> GPU
                             <?><?><?><?><?><?> <?><?> <?><?><?> cgroup
                             <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?> <?><?><?> <?><?><?><?><?><?><?><?><?>
                             <?><?><?><?> task/cgroup <?><?><?><?><?>
                             <?><?><?> <?><?><?><?><?>.



       SLURM_STEP_ID         <?><?><?><?><?> <?><?><?> (step ID) <?><?>
                             <?><?><?> <?><?><?><?>.



       SLURM_STEP_LAUNCHER_PORT
                             <?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
                             <?><?><?>.



       SLURM_STEP_NODELIST   <?><?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?>.



       SLURM_STEP_NUM_NODES  <?><?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?>.



       SLURM_STEP_NUM_TASKS  <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?> <?><?><?> <?><?> <?><?> <?><?><?>
                             <?><?><?> <?><?><?><?><?><?> (heterogeneous).



       SLURM_STEP_TASKS_PER_NODE
                             <?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
                             <?><?> <?><?><?> <?><?><?><?> <?><?><?>.
                             SLURM_STEPID <?><?><?><?><?> <?><?><?><?><?>
                             (step ID) <?><?><?> <?><?><?><?>. <?><?>
                             SLURM_STEP_ID <?><?><?><?><?><?> <?><?><?><?>.
                             <?><?><?> <?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?> <?><?><?>.



       SLURM_SUBMIT_DIR      <?><?><?><?><?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?>.



       SLURM_SUBMIT_HOST     <?><?><?> <?><?><?><?><?><?> (hostname)
                             <?><?><?><?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?>.



       SLURM_TASK_PID        <?><?><?><?><?> <?><?><?><?><?><?> (PID)
                             <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?>
                             <?><?><?><?> <?><?><?>.



       SLURM_TASKS_PER_NODE  <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                             <?><?><?><?> <?><?><?> <?><?> <?><?><?>
                             <?><?><?><?> <?><?><?><?>. <?><?><?><?><?><?>
                             <?><?> <?><?><?><?> <?><?><?> <?><?><?> <?>
                             <?><?> <?><?><?><?> <?><?><?><?><?><?>
                             <?><?><?><?><?> <?><?> <?><?> SLURM_JOB_NODELIST
                             <?><?><?><?> <?><?><?>. <?><?><?> <?><?> <?><?>
                             <?><?><?> <?><?><?> <?><?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
                             <<(x#)>> <?><?><?><?> <?><?><?><?><?><?> <?><?>
                             <?><?> <?><?> <<#>> <?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?>. <?><?><?><?>
                             <?><?><?><?><?> <<SLURM_TASKS_PER_NODE=2(x3),1>>
                             <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?>
                             <?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?> <?> <?><?><?> <?><?><?><?><?>
                             <?><?> <?><?><?><?><?> <?><?> <?><?><?><?>
                             <?><?><?><?><?><?> <?><?><?>.



       SLURM_TOPOLOGY_ADDR   <?><?><?><?> <?><?> <?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?> topology/tree <?><?><?>
                             <?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                             <?><?><?> <?><?><?><?>. <?><?><?><?><?> <?><?>
                             <?><?><?> <?><?><?> <?><?><?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
                             <?><?><?> <?><?> <?><?><?><?><?><?><?><?>
                             <?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?> <?><?>
                             <?><?><?><?><?> <?><?><?> (leaf) <?> <?><?>
                             <?><?><?><?><?> <?><?><?> <?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?> <?><?>. <?><?>
                             <?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?>
                             <?><?><?> <?><?> <?><?><?>
                             <?><?><?><?><?><?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?><?><?>.



       SLURM_TOPOLOGY_ADDR_PATTERN
                             <?><?><?><?> <?><?> <?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?> topology/tree <?><?><?>
                             <?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
                             <?><?><?> <?><?><?><?>. <?><?><?><?><?> <?><?>
                             <?><?><?> <?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?><?><?><?> <?><?>
                             SLURM_TOPOLOGY_ADDR <?><?><?><?><?>
                             <?><?><?><?><?> <?><?>. <?><?> <?><?><?> <?><?>
                             <?><?><?><?><?> "switch" <?><?> "node"
                             <?><?><?><?><?><?><?> <?><?><?><?><?><?>. <?><?>
                             <?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?>
                             <?><?><?> <?><?> <?><?><?>
                             <?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?>
                             <?><?><?><?><?><?>.



       SLURM_TRES_PER_TASK   <?><?><?> <?><?><?><?><?> --tres-per-task
                             <?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?>
                             --cpus-per-task <?><?> --gpus-per-task
                             <?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?>
                             <?><?><?><?><?><?><?> <?><?> SLURM_TRES_PER_TASK
                             <?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
                             <?><?> <?><?><?><?> <?><?> --tres-per-task
                             <?><?><?><?><?> <?><?><?> <?><?><?>.



       SLURM_UMASK           <?><?><?><?><?> umask <?><?><?><?><?> <?><?>
                             <?><?><?><?> <?><?><?><?><?> <?><?><?>.



       SLURMD_NODENAME       <?><?><?> <?><?><?><?><?><?> <?><?>
                             <?><?><?><?><?> <?><?> <?><?><?><?>
                             <?><?><?><?><?><?>. <?><?> <?><?><?><?> <?><?>
                             <?><?><?> <?><?><?><?><?> <?><?> <?><?><?>
                             <?><?><?><?><?> <?><?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?><?><?> <?><?><?> <?><?> <?><?><?>
                             <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?><?><?><?><?>
                             <?><?><?><?>.



       SRUN_DEBUG            <?><?><?> <?><?><?> <?><?><?> <?><?><?><?><?>
                             (logging) <?><?><?><?><?> srun <?><?><?><?><?>
                             <?><?><?><?><?><?>.  <?><?><?><?><?>
                             <?><?><?><?><?><?><?> <?> <?><?><?> (<?><?><?>
                             info).  <?><?><?> <?><?><?><?><?> <?><?>
                             <?><?><?><?> <?><?><?><?><?><?><?><?><?>
                             --verbose <?> --quiet <?><?><?><?><?><?> <?><?>
                             <?><?><?><?> <?><?><?><?><?><?><?>.



<?><?><?><?><?><?><?><?><?> <?> <?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
       (SIGNALS AND ESCAPE SEQUENCES)
       <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?>
       <?><?><?><?><?> srun<?> <?><?> <?><?> <?><?><?> <?><?><?><?>
       <?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?><?> <?><?>
       <?><?><?><?><?><?> <?><?> <?><?> <?><?><?> <?><?><?><?><?>
       <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>.
       <?><?><?><?><?><?> <?><?><?><?> <control-c> <?><?><?><?><?>
       <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
       srun <?><?> <?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?> <control-c>
       <?><?> <?><?><?> <?><?> <?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
       <?><?><?><?> <?><?><?><?><?><?> SIGINT <?><?><?><?><?><?> <?><?>
       <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?> <?><?>
       <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?>
       <?><?> <?><?><?><?><?><?><?><?><?><?> SIGCONT<?> SIGTERM <?> SIGKILL
       <?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
       <?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?> <?><?><?><?> <?><?><?>
       <?><?><?> <control-c> <?><?><?><?><?><?> <?><?><?><?>
       <?><?><?><?><?><?> srun <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
       <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?>
       <?><?><?><?><?> I/O <?><?><?><?><?> <?><?><?><?><?>
       <?><?><?><?><?><?><?>.

       <?><?><?><?><?><?> <?><?><?><?> <control-z> <?><?> <?><?><?>
       <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>.

       <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?>
       <?><?><?><?><?><?><?> (--async) <?><?> <?><?><?><?><?> <?><?><?><?><?>
       srun <?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
       <?><?><?><?><?><?> <?> <?><?><?> <?><?><?><?><?><?> <?><?>
       <?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?> <?><?><?>
       <?><?><?><?><?><?><?><?>. <?><?> scancel --signal <?><?><?><?>
       <?><?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?> <?><?>
       <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>
       <?><?><?><?>..SH "<?><?><?><?><?><?><?><?> <?><?> MPI (MPI SUPPORT)"
       <?><?><?><?><?><?><?> <?><?> MPI <?><?> <?><?><?> MPI <?><?><?><?>
       <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>.  <?><?>
       <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?>
       <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
       <?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?><?><?>
       <?><?><?><?><?><?><?> MPI <?><?> <?><?><?> <?><?><?><?><?>
       <?><?><?><?><?><?><?>.

       1. Slurm <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
       <?><?><?><?><?><?><?><?><?><?> <?><?><?><?> <?>
       <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
       <?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
       <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?> (API) PMI2
       <?><?> PMIx <?><?><?><?><?> <?><?><?><?><?><?>.  <?><?><?><?>
       <?><?><?><?><?>: "srun -n16 a.out".

       2. Slurm <?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?>
       <?><?><?><?><?> <?><?><?><?><?><?> <?> <?><?><?> mpirun <?><?><?><?><?>
       <?><?> <?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> Slurm
       <?><?><?><?> <?><?><?><?><?><?><?><?> (OpenMPI).

       3. Slurm <?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?>
       <?><?><?><?><?> <?><?><?><?><?><?> <?> <?><?><?> mpirun <?><?><?><?><?>
       <?><?> <?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
       <?><?><?> <?><?> Slurm<?> <?><?><?><?><?> SSH <?><?> RSH <?><?><?><?>
       <?><?><?><?><?><?>.  <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?>
       <?><?><?><?> <?><?> <?><?><?><?><?> Slurm
       <?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?>.
       <?><?><?><?><?><?><?> epilog <?><?> Slurm <?><?><?><?> <?><?><?><?>
       <?><?><?><?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
       <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?>
       <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?><?><?> <?><?>
       <?><?><?><?><?><?><?> <?><?> pam_slurm_adopt <?><?><?><?><?><?>
       <?><?><?><?><?> <?><?><?><?><?><?>.

       <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?>
       <?><?><?><?><?><?><?> <?><?> <?><?><?>
       <?><?><?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?> MPI <?><?>
       Slurm<?> <?><?> https://slurm.schedmd.com/mpi_guide.html
       <?><?><?><?><?><?> <?><?><?><?>.


<?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?> (MULTIPLE
       PROGRAM CONFIGURATION)
       <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
       <?><?><?><?> <?><?> "#" <?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?>
       <?><?><?><?><?>.  <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
       <?><?><?><?><?><?><?> <?><?><?> <?><?><?> <?><?> <?><?>
       <?><?><?><?><?><?><?><?><?> <?><?><?><?> (white space) <?><?> <?><?>
       <?><?><?> <?><?><?><?><?><?><?>:


       <?><?><?><?> <?><?><?><?><?> (Task rank)
              <?><?> <?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?>
              <?><?><?><?><?><?><?><?>.  <?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?> <?><?> <?><?><?> <?><?><?>.
              <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?> <?><?><?> <?><?> <?><?> <?><?> '-' <?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> (<?><?><?><?> <?><?><?><?><?>
              "0-4" <?> <?><?> "4-0").  <?><?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?><?> '*' <?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>.  <?><?><?>
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
              <?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?>:
              "No executable program specified for this task".



       <?><?><?><?><?><?> <?><?><?><?><?><?> (Executable)
              <?><?><?> <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?> <?><?><?>.  <?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> (fully
              qualified pathname) <?><?><?><?>.



       <?><?><?><?><?><?><?><?><?><?> (Arguments)
              <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>.
              <?><?><?><?><?> "%t" <?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>.  <?><?><?><?><?>
              "%o" <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
              (<?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?><?><?> "1-5"
              <?><?><?><?><?><?> <?><?><?><?> "0-4" <?><?> <?><?><?><?><?>
              <?><?><?><?>).  <?><?><?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?> (single quotes)
              <?><?><?><?><?><?><?> <?><?><?>.  <?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?>.  <?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?> <?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?> <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?> <?><?>.

       <?><?><?><?> <?><?><?><?><?>:

       $ cat silly.conf
       ###################################################################
       # srun multiple program configuration file
       #
       # srun -n8 -l --multi-prog silly.conf
       ###################################################################
       4-6       hostname
       1,7       echo  task:%t
       0,2-3     echo  offset:%o

       $ srun -n8 -l --multi-prog silly.conf
       0: offset:0
       1: task:1
       2: offset:1
       3: offset:2
       4: linux15.llnl.gov
       5: linux16.llnl.gov
       6: linux17.llnl.gov
       7: task:7

       <?><?><?><?> <?>:
              <?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> hostname <?><?> <?><?> <?><?><?> <?><?><?> (task) <?><?><?><?>
              <?><?><?><?><?><?>. <?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?> (job) <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
              (<?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?>) <?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?>. <?><?><?><?><?> <?><?> <?><?><?> <?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>.
              (<?><?><?><?><?> <<dev>> <?><?> <?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?> <?><?><?> <?><?><?>)

              $ srun -n8 -l hostname
              0: dev0
              1: dev0
              2: dev1
              3: dev1
              4: dev2
              5: dev2
              6: dev3
              7: dev3


       <?><?><?><?> <?>:
              <?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?> -r <?><?>
              <?><?><?><?><?> srun <?><?><?><?> <?><?> <?><?><?><?><?><?><?>
              <?><?><?> (job script) <?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?> (job step) <?><?><?>
              <?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?> <?><?><?><?>
              <?><?><?>.  <?><?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?>
              <?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?> <?><?>
              <?><?><?> <?><?><?><?><?><?><?> (batch job)<?> <?><?>
              <?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
              (allocate mode) <?><?><?><?> <?><?><?><?><?><?>.

              $ cat test.sh
              #!/bin/sh
              echo $SLURM_JOB_NODELIST
              srun -lN2 -r2 hostname
              srun -lN2 hostname

              $ salloc -N4 test.sh
              dev[7-10]
              0: dev9
              1: dev10
              0: dev7
              1: dev8


       <?><?><?><?> <?>:
              <?><?><?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?> <?><?><?>
              <?><?> <?><?><?><?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?>.

              $ cat test.sh
              #!/bin/bash
              srun -lN2 -n4 -r 2 sleep 60 &
              srun -lN2 -r 0 sleep 60 &
              sleep 1
              squeue
              squeue -s
              wait

              $ salloc -N4 test.sh
                JOBID PARTITION     NAME     USER  ST      TIME  NODES NODELIST
                65641     batch  test.sh   grondo   R      0:01      4 dev[7-10]

              STEPID     PARTITION     USER      TIME NODELIST
              65641.0        batch   grondo      0:01 dev[7-8]
              65641.1        batch   grondo      0:01 dev[9-10]


       <?><?><?><?> <?>:
              <?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?> <?><?><?><?> MPI <?><?> <?><?><?><?>
              <?><?><?><?><?><?>.  <?><?> <?><?> srun <?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>
              (<?><?><?><?><?>) <?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?>
              mpirun <?><?><?><?><?><?><?> <?><?><?><?><?><?><?>. <?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?>
              <?> <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?>.

              $ cat test.sh
              #!/bin/sh
              MACHINEFILE="nodes.$SLURM_JOB_ID"

              # Generate Machinefile for mpi such that hosts are in the same
              #  order as if run via srun
              #
              srun -l /bin/hostname | sort -n | awk '{print $2}' > $MACHINEFILE

              # Run using generated Machine file:
              mpirun -np $SLURM_NTASKS -machinefile $MACHINEFILE mpi-app

              rm $MACHINEFILE

              $ salloc -N2 -n4 test.sh


       <?><?><?><?> <?>:
              <?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?> <?><?> <?><?><?><?><?> srun
              <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>. <?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?> <?><?><?> <?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?> <?><?> <?><?>
              <?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?>.
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> SLURM_NODEID
              <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?> <?><?> 0 <?><?><?><?> <?><?><?> <?> <?><?>
              <?><?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?>
              srun <?><?><?><?><?> <?><?><?><?><?><?><?><?>.

              $ cat test.sh
              case $SLURM_NODEID in
                  0) echo "I am running on "
                     hostname ;;
                  1) hostname
                     echo "is where I am running" ;;
              esac

              $ srun -N2 test.sh
              dev0
              is where I am running
              I am running on
              dev1


       <?><?><?><?> <?>:
              <?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
              (multi-core) <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>.  <?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?><?> <?><?> <?><?><?> <?> <?><?>
              <?><?><?><?> <?><?> <?><?><?><?> <?><?> <?><?><?><?> <?><?>
              <?><?><?> <?><?><?> <?><?><?><?><?><?> <?><?><?><?>.

              $ srun -N2 -B 4-4:2-2 a.out


       <?><?><?><?> <?>:
              <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?> <?><?> <?><?>
              Slurm <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?> <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?> <?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?><?><?><?>.

              $ cat my.script
              #!/bin/bash
              srun -n4 prog1 &
              srun -n3 prog2 &
              srun -n1 prog3 &
              srun -n1 prog4 &
              wait


       <?><?><?><?> <?>:
              <?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?> <<server>> <?><?>
              <?> <?><?><?><?> <?> <?><?><?><?><?><?><?><?> (CPU) <?> <?><?>
              <?><?><?><?><?><?><?><?><?> (GiB) <?><?><?><?><?> (<?> GiB
              <?><?> <?><?><?><?> <?><?> <?><?><?><?><?><?><?><?>) <?><?>
              <?><?> <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?> <<client>> <?><?> <?><?> <?><?><?><?> <?>
              <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?> <?><?><?>
              (<?><?><?><?><?><?><?>) <?> <?> GiB <?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?><?>.

              $ srun -n1 -c8 --mem-per-cpu=2gb server : -n16 --mem-per-cpu=1gb client


       <?><?><?><?> <?>:
              <?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?> --exclusive <?> --overlap <?><?> <?><?>
              <?><?><?><?><?> srun <?><?><?><?><?> <?><?><?><?> <?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?> (job allocation)
              <?><?><?><?> <?><?><?><?><?><?>. <?><?><?><?> --overlap <?><?>
              <?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>. <?><?>
              <?><?><?><?><?><?> <?><?><?><?> --exclusive <?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?>.

              $ salloc  -n1
              salloc: Granted job allocation 9553
              salloc: Waiting for resource configuration
              salloc: Nodes node01 are ready for job

              $ date +%T; srun -n1 --overlap -l sleep 3 &
              $ srun -n1 --overlap -l date +%T &
              14:36:04
              [1] 144341
              [2] 144342
              0: 14:36:04
              [2]+  Done                    srun -n1 --overlap -l date +%T
              [1]+  Done                    srun -n1 --overlap -l sleep 3

              $ date +%T; srun -n1 --exclusive -l sleep 3 &
              $ srun -n1 --exclusive -l date +%T &
              14:36:17
              [1] 144429
              [2] 144430
              srun: Job 9553 step creation temporarily disabled, retrying (Requested nodes are busy)
              srun: Step created for job 9553
              0: 14:36:20
              [1]-  Done                    srun -n1 --exclusive -l sleep 3
              [2]+  Done                    srun -n1 --exclusive -l date +%T
              <?><?><?><?> <?><?>:
              <?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?>
              <?><?> <?><?><?><?> <?><?> <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?> <?><?><?> <?><?><?> <?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?> <?><?><?><?>. <?><?><?> <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?> <?> <?><?><?><?><?><?><?><?> <?><?><?> <?><?> <?><?><?> <?> <?><?>
              <?><?><?><?><?><?><?><?> <?><?><?> <?><?><?> <?><?><?><?> <?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?>.

              $ echo $SLURM_NODELIST; echo $SLURM_JOB_CPUS_PER_NODE
              node[01-02]
              2,24

              <?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?> <?><?>
              <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?><?> <?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?>
              <?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?> <?><?><?>
              <?><?> <?><?><?> <?><?><?><?><?><?>. <?><?><?> <?><?><?> <?><?>
              <?><?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?> <?><?><?>
              <?><?><?><?> <?><?><?> <?><?> <?><?><?> <?><?><?><?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?><?> (pending) <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?>.

              $ srun -n4 --exact sleep 1800 &
              [1] 151837

              $ srun -n2 --exact hostname
              ^Csrun: Cancelled pending job step with signal 2
              srun: error: Unable to create step for job 2677: Job/step already completing or completed

              <?><?><?> <?><?><?> <?><?><?> <?><?> <?><?><?><?><?><?><?>
              <?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?>
              <?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?> <?><?><?><?><?>
              <?><?><?>.

              $ srun -n2 -N1 --exact hostname
              node02
              node02

              <?><?><?> <?><?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?> SelectTypeParameters=CR_Pack_Nodes <?><?>
              <?><?><?><?> slurm.conf <?><?><?><?><?> <?><?><?>. <?><?><?><?>
              <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?> <?><?>
              <?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?> <?><?><?>
              <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?>.


       <?><?><?><?> <?><?>:
              <?><?><?> <?><?><?><?> <?><?><?><?> <?><?><?><?><?><?> <?><?>
              <?><?><?><?><?><?> <?><?><?><?> --exclusive <?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?> <?><?> <?><?><?><?><?>
              <?><?><?> <?><?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?>
              <?><?><?> <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?>
              <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?> <?><?> <?><?>
              <?><?><?><?><?> <?><?><?><?>.

              <?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?><?><?>
              (exclusive) <?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?>.
              $ srun -l --exclusive  bash -c 'grep Cpus_allowed_list /proc/self/status'
              0: Cpus_allowed_list:   0-23

              <?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?><?><?>
              <?><?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?> <?><?> <?><?>
              <?><?><?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?>.
              $ srun -l --exclusive -n2 bash -c 'grep Cpus_allowed_list /proc/self/status'
              0: Cpus_allowed_list:   0
              1: Cpus_allowed_list:   12

              <?><?><?> <?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
              <?><?><?><?><?> <?><?><?><?><?><?> <?><?> <?><?><?> <?><?>
              <?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?> <?><?><?><?><?>
              <?><?><?><?><?><?><?><?><?><?><?> <?><?> <?><?><?><?> <?><?>
              <?><?><?> <?><?> <?><?><?><?> <?><?><?><?>.
              $ srun -l --exclusive -n2 --cpus-per-task=12 bash -c 'grep Cpus_allowed_list /proc/self/status'
              0: Cpus_allowed_list:   0-5,12-17
              1: Cpus_allowed_list:   6-11,18-23


<?><?><?><?><?><?><?><?> <?> <?><?><?><?><?> (COPYING)
       Copyright (C) 2006-2007 The Regents of the University of California.
       Produced at Lawrence Livermore National Laboratory (cf, DISCLAIMER).
       Copyright (C) 2008-2010 Lawrence Livermore National Security.
       Copyright (C) 2010-2022 SchedMD LLC.

       <?><?><?> <?><?><?><?> <?><?><?><?> <?><?> Slurm <?><?><?><?> <?><?>
       <?><?><?><?><?><?> <?><?><?><?><?><?> <?><?><?><?><?>.  <?><?><?><?>
       <?><?><?><?><?><?> <?><?><?><?><?><?> <https://slurm.schedmd.com>
       <?><?> <?><?><?><?><?><?>.

       <?><?><?><?><?><?><?><?><?> Slurm <?><?> <?><?><?><?><?><?><?><?><?>
       <?><?><?><?> <?><?><?><?> <?><?><?> <?><?><?><?><?><?><?><?><?> <?><?>
       <?><?> <?><?><?> <?><?><?><?><?> <<<?><?><?><?><?><?> <?><?><?><?><?>
       <?><?><?><?><?><?> <?><?><?>>> (GNU General Public License) <?><?>
       <?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?><?><?>
       <?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?> <?><?><?><?>
       <?> <?><?><?><?><?><?> <?> <?><?> (<?><?> <?><?><?><?><?><?>
       <?><?><?><?><?><?>) <?><?> <?><?><?><?> <?><?><?><?><?><?><?><?>
       <?><?><?><?><?><?><?><?> <?><?><?><?> <?>/<?><?> <?><?><?><?><?>
       <?><?><?><?>.

       <?><?><?><?><?><?><?><?><?> Slurm <?><?> <?><?><?> <?><?><?><?>
       <?><?><?><?><?> <?><?><?> <?><?><?> <?><?> <?><?><?><?><?><?>
       <?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?><?>
       <?><?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?> <?><?><?><?>
       <<<?><?><?><?> <?><?><?><?> <?><?><?><?>>> <?><?> <<<?><?><?><?><?>
       <?><?><?><?> <?><?><?><?> <?><?> <?><?><?> <?><?><?>>>.  <?><?><?><?>
       <?><?><?><?><?><?> <?><?><?><?><?><?> <<<?><?><?><?><?><?>
       <?><?><?><?><?> <?><?><?><?><?><?> <?><?><?>>> <?><?>
       <?><?><?><?><?><?>..SH "<?><?><?><?><?><?> <?><?><?><?><?><?> (SEE
       ALSO)" salloc(1), sattach(1), sbatch(1), sbcast(1), scancel(1),
       scontrol(1), squeue(1), slurm.conf(5), sched_setaffinity (2), numa (3)
       getrlimit (2)

Slurm 26.05                     Slurm Commands                         srun(1)