نام (NAME)

sh5util - ابزاری برای ادغام فایل‌های HDF5 افزایهٔ acct_gather_profile جهت گردآوری داده‌های تفصیلی کارهای Slurm

خلاصه دستور (SYNOPSIS)

sh5util

توضیحات (DESCRIPTION)

دستور sh5util فایل‌های HDF5 تولیدشده در هر گره را برای هر گام از یک کار ادغام کرده و به یک فایل واحد HDF5 برای آن کار تبدیل می‌کند. فایل حاصل را می‌توان با ابزارهای متداول HDF5 مانند HDF5View، h5dump، h5edit یا h5ls مشاهده و دستکاری کرد.

همچنین sh5util دارای دو حالت استخراج است. در حالت نخست، مجموعه محدودی از داده‌ها را برای گره‌ها، گام‌ها و سری‌های دادهٔ مشخص در قالب «مقادیر جداشده با کاما» (CSV) در فایلی می‌نویسد که می‌تواند به سایر ابزارهای تحلیلی مانند صفحات گسترده وارد شود.

حالت دوم، (Item-Extract) یک قلم داده را از یک سری زمانی برای تمام نمونه‌های همه گره‌ها از نمایهٔ HDF5 یک کار استخراج می‌کند.

- نمونه‌ای با بیشترین مقدار آن قلم را می‌یابد.

- یک فایل CSV حاوی مقادیر کمینه (min)، میانگین (ave)، بیشینه (max) و مجموع مقادیر قلم را برای هر گره و به ازای هر نمونه می‌نویسد.

گزینه‌ها (OPTIONS)

-E, --extract

استخراج سری داده از فایل ادغام‌شدهٔ کار.

-h, --help

چاپ این توضیحات راهنمای استفاده.

-I, --item-extract

استخراج یک قلم داده از تمام نمونه‌های یک سری داده از همه گره‌ها در یک فایل ادغام‌شدهٔ کار.

-j, --jobs=<job[.step]>

قالب به صورت <job[.step]> است. ادغام این کار/گام (یا فهرستی از گام‌های کار جدا شده با کاما). این گزینه الزامی است. عدم تعیین گام منجر به پردازش تمام گام‌های یافت‌شده خواهد شد.

شناسه‌های وظایف آرایه‌ای و شناسه‌های مؤلفه‌های ناهمگن (het) پشتیبانی نمی‌شوند. در عوض از شناسه‌های معمولی کار استفاده کنید:

$ sacct -X -j 5077 --format=JobId,JobIdRaw
JobID        JobIDRaw
------------ ------------
5077_1       5078
5077_2       5079
5077_3       5077
$ sh5util -S -j 5079 # for merging 5077_2 only
sh5util: Merging node-step files into ./job_5079.h5

-L, --list

چاپ اقلام یک سری موجود در فایل کار.

-o, --output=<path>

مسیر فایلی که باید در آن نوشته شود. پیش‌فرض برای ادغام ./job_$jobid.h5 است پیش‌فرض برای استخراج ./extract_$jobid.csv است

-p, --profiledir=<dir>

مکان دایرکتوری که فایل‌های گره-گام در آن قرار دارند؛ مقدار پیش‌فرض در acct_gather.conf تعیین می‌شود.

-S, --savefiles

به جای حذف فایل‌های گره-گام پس از ادغام آن‌ها در فایل کار، آن‌ها را نگه می‌دارد.

--usage

نمایش پیام کوتاه نحوه استفاده.

--user=<user>

کاربری که کار را پروفایل‌سازی کرده است. (برای کاربر root مناسب است؛ پیش‌فرض کاربری است که این دستور را اجرا می‌کند.)

اقلام داده در هر سری (Data Items per Series)

Energy

Filesystem

Network

Task

کارایی (PERFORMANCE)

اجرای sh5util یک فراخوانی رویه از راه دور (RPC) به slurmctld ارسال می‌کند. اگر فراخوانی‌های زیادی از سوی sh5util یا سایر دستورات کلاینت Slurm که RPC به دیمن slurmctld ارسال می‌کنند به طور هم‌زمان دریافت شود، می‌تواند منجر به کاهش کارایی دیمن slurmctld و احتمالاً ایجاد وضعیت منع سرویس (DoS) گردد.

دستور sh5util یا سایر دستورات کلاینت Slurm را که فراخوانی رویه از راه دور به slurmctld ارسال می‌کنند، از درون حلقه‌ها در اسکریپت‌های شل یا برنامه‌های دیگر اجرا نکنید. اطمینان حاصل کنید که برنامه‌ها فراخوانی‌های sh5util را به حداقل میزان لازم برای داده‌های مورد نظر محدود می‌سازند.

مثال‌ها (EXAMPLES)

ادغام فایل‌های گره-گام (به عنوان بخشی از یک اسکریپت sbatch):

$ sbatch -n1 -d$SLURM_JOB_ID --wrap="sh5util --savefiles -j $SLURM_JOB_ID"

استخراج تمام داده‌های وظیفه از یک گره:

$ sh5util -j 42 -N snowflake01 --level=Node:TimeSeries --series=Tasks

استخراج تمام داده‌های انرژی:

$ sh5util -j 42 --series=Energy --data=power

کپی‌رایت و تکثیر (COPYING)

Copyright (C) 2013 Bull.
Copyright (C) 2013-2022 SchedMD LLC.

نرم‌افزار Slurm یک نرم‌افزار آزاد است؛ شما می‌توانید آن را تحت شرایط مجوز عمومی همگانی گنو (GNU General Public License) همان‌طور که توسط بنیاد نرم‌افزارهای آزاد منتشر شده است، چه نسخه ۲ مجوز یا (به انتخاب خودتان) هر نسخه بعدی، بازتوزیع کرده یا تغییر دهید.

نرم‌افزار Slurm به این امید که مفید واقع شود توزیع شده است، اما بدون هرگونه ضمانت؛ حتی بدون ضمانت ضمنی قابلیت فروش یا مناسب بودن برای یک هدف خاص. برای جزئیات بیشتر به GNU General Public License مراجعه کنید.

همچنین ببینید (SEE ALSO)

sreport(1), sacct(1), sbatch(1), acct_gather.conf(5), slurm.conf(5)