بدون محتوا (No content)

محتوای معناداری در این بخش وجود ندارد زیرا Open MPI یا:

اگر Open MPI را با نسخه جدیدتری از PRRTE بسازید (و ابزار Sphinx هنگام اجرای دستور configure در دسترس باشد)، باید مستندات معنادارتری را در اینجا دریافت کنید.

از این رو، مستنداتی برای این بخش وجود ندارد.

با عرض پوزش!

متغیرهای محیطی (Environment Variables)

تعیین گره‌های میزبان (Specifying Host Nodes)

گره‌های میزبان را می‌توان در خط فرمان mpirun با گزینه --host یا در یک فایل میزبان (Hostfile) مشخص کرد.

برای مثال:

shell$ mpirun -H aa,aa,bb ./a.out

دو فرآیند را در گره aa و یکی را در bb راه‌اندازی می‌کند.

یا فایل میزبان زیر را در نظر بگیرید:

shell$ cat myhostfile
aa slots=2
bb slots=2
cc slots=2

در اینجا، ما هم نام‌های میزبان (aa، bb و cc) و هم تعداد اسلات‌های هر یک را فهرست می‌کنیم.

shell$ mpirun --hostfile myhostfile ./a.out

دو فرآیند را در هر یک از این سه گره راه‌اندازی می‌کند.

shell$ mpirun --hostfile myhostfile --host aa ./a.out

دو فرآیند را راه‌اندازی می‌کند که هر دو در گره aa خواهند بود.

shell$ mpirun --hostfile myhostfile --host dd ./a.out

هیچ میزبانی را برای اجرا پیدا نمی‌کند و با خطا متوقف می‌شود. به این معنی که میزبان مشخص‌شده dd در فایل میزبان مشخص‌شده وجود ندارد.

هنگام اجرا تحت مدیران منابع (مانند Slurm، Torque و غیره)، Open MPI هم نام میزبان‌ها و هم تعداد اسلات‌ها را مستقیماً از مدیر منابع دریافت می‌کند.

تعیین تعداد فرآیندها (Specifying Number of Processes)

همان‌طور که دیدیم، تعداد فرآیندها برای اجرا را می‌توان با استفاده از فایل میزبان تنظیم کرد. سازوکارهای دیگری نیز وجود دارند.

تعداد فرآیندهای راه‌اندازی‌شده را می‌توان به صورت مضربی از تعداد گره‌ها یا بسته‌های پردازنده موجود مشخص کرد. برای مثال:

shell$ mpirun -H aa,bb --map-by ppr:2:package ./a.out

فرآیندهای 0-3 را در گره aa و فرآیندهای 4-7 را در گره bb راه‌اندازی می‌کند (با فرض این‌که aa و bb هر کدام شامل ۴ اسلات باشند).

shell$ mpirun -H aa,bb --map-by ppr:2:node ./a.out

فرآیندهای 0-1 را در گره aa و فرآیندهای 2-3 را در گره bb راه‌اندازی می‌کند.

shell$ mpirun -H aa,bb --map-by ppr:1:node ./a.out

یک فرآیند در هر گره میزبان راه‌اندازی می‌کند.

mpirun -H aa,bb --pernode ./a.out

مشابه با --map-by ppr:1:node و --npernode 1 است.

راهکار دیگر تعیین تعداد فرآیندها با گزینه -n است. اکنون این فایل میزبان را در نظر بگیرید:

shell$ cat myhostfile
aa slots=4
bb slots=4
cc slots=4

اکنون اجرا با myhostfile:

shell$ mpirun --hostfile myhostfile -n 6 ./a.out

فرآیندهای 0-3 را در گره aa و فرآیندهای 4-5 را در گره bb راه‌اندازی می‌کند. اسلات‌های باقیمانده در فایل میزبان استفاده نخواهند شد زیرا گزینه -n نشان داده است که تنها ۶ فرآیند باید راه‌اندازی شوند.

نگاشت فرآیندها به گره‌ها: استفاده از سیاست‌ها (Mapping Processes to Nodes: Using Policies)

مثال‌های بالا نگاشت پیش‌فرض فرآیندها به گره‌ها را نشان می‌دهند. این نگاشت را می‌توان با گزینه‌های مختلف mpirun که سیاست‌های نگاشت را توصیف می‌کنند نیز کنترل کرد.

همان فایل میزبان بالا را دوباره با -n 6 در نظر بگیرید. جدول زیر چند حالت مختلف mpirun را فهرست کرده و نشان می‌دهد کدام رتبه‌های MPI_COMM_WORLD در کدام گره قرار می‌گیرند:

گزینه --map-by node بار فرآیندها را در سراسر گره‌های موجود متعادل می‌کند و هر فرآیند را به شیوه نوبت‌گردشی شماره‌گذاری می‌نماید.

گزینه --nolocal از نگاشت هر فرآیندی روی میزبان محلی (در این مورد گره aa) جلوگیری می‌کند. اگرچه mpirun معمولاً منابع سیستمی کمی مصرف می‌کند، --nolocal می‌تواند برای راه‌اندازی کارهای بسیار بزرگ که در آن‌ها mpirun ممکن است واقعاً نیاز به استفاده از مقادیر قابل توجهی حافظه و/یا زمان پردازش داشته باشد، مفید باشد.

همان‌طور که -n می‌تواند فرآیندهایی کمتر از تعداد اسلات‌ها را مشخص کند، می‌تواند اسلات‌ها را دچار اشتراک بیش از حد (Oversubscribe) نیز بکند. برای مثال با همان فایل میزبان:

shell$ mpirun --hostfile myhostfile -n 14 ./a.out

فرآیندهای 0-3 را در گره aa، فرآیندهای 4-7 را در bb و 8-11 را در cc راه‌اندازی می‌کند. سپس دو فرآیند باقیمانده را به هر گره‌ای که انتخاب کند اضافه می‌نماید.

همچنین می‌توان محدودیت‌هایی را برای اشتراک بیش از حد تعیین کرد. برای مثال با همان فایل میزبان:

shell$ mpirun --hostfile myhostfile -n 14 --nooversubscribe ./a.out

خطا تولید خواهد کرد زیرا --nooversubscribe از اشتراک بیش از حد جلوگیری می‌کند.

محدودیت‌های اشتراک بیش از حد را می‌توان در خود فایل میزبان نیز مشخص کرد:

shell$ cat myhostfile
aa slots=4 max_slots=4
bb         max_slots=4
cc slots=4

فیلد max_slots چنین محدودیتی را تعیین می‌کند. هنگامی که این کار را انجام می‌دهد، مقدار slots به طور پیش‌فرض برابر با این محدودیت می‌شود. اکنون:

shell$ mpirun --hostfile myhostfile -n 14 ./a.out

باعث می‌شود ۱۲ فرآیند اول مانند قبل راه‌اندازی شوند، اما دو فرآیند باقیمانده به اجبار در گره cc قرار گیرند. دو گره دیگر توسط فایل میزبان در برابر اشتراک بیش از حد توسط این کار محافظت می‌شوند.

استفاده از گزینه --nooversubscribe می‌تواند مفید باشد زیرا Open MPI در حال حاضر مقادیر max_slots را از مدیر منابع دریافت نمی‌کند.

البته، -n را می‌توان با گزینه -H یا -host نیز استفاده کرد. برای مثال:

shell$ mpirun -H aa,bb -n 8 ./a.out

۸ فرآیند را راه‌اندازی می‌کند. از آنجا که تنها دو میزبان مشخص شده‌اند، پس از نگاشت دو فرآیند اول (یکی به aa و یکی به bb)، فرآیندهای باقیمانده میزبان‌های مشخص‌شده را دچار اشتراک بیش از حد می‌کنند.

و این یک مثال MIMD است:

shell$ mpirun -H aa -n 1 hostname : -H bb,cc -n 2 uptime

فرآیند 0 را که hostname را اجرا می‌کند در گره aa و فرآیندهای 1 و 2 را که هر کدام uptime را اجرا می‌کنند به ترتیب در گره‌های bb و cc راه‌اندازی می‌کند.

نگاشت، رتبه‌بندی و مقیدسازی (Mapping, Ranking, and Binding: Oh My!)

برنامه Open MPI یک فرآیند سه مرحله‌ای را برای تخصیص مکان‌ها و رتبه‌های فرآیند به کار می‌گیرد:

مرحله نگاشت برای تخصیص یک مکان پیش‌فرض به هر فرآیند بر اساس نگاشت‌کننده (Mapper) مورد استفاده به کار می‌رود. نگاشت بر اساس اسلات، گره و به صورت متوالی منجر به تخصیص فرآیندها در سطح گره می‌شود. در مقابل، نگاشت بر اساس شیء به نگاشت‌کننده امکان می‌دهد فرآیند را به یک شیء واقعی در هر گره تخصیص دهد.

توجه داشته باشید که مکان اختصاص‌یافته به فرآیند مستقل از جایی است که به آن مقید خواهد شد — این تخصیص صرفاً به عنوان ورودی برای الگوریتم مقیدسازی استفاده می‌شود.

نگاشت فرآیندها به گره‌ها نه تنها با سیاست‌های کلی، بلکه در صورت لزوم با استفاده از نگاشت‌های دلخواهی که نمی‌توان آن‌ها را با یک سیاست ساده توصیف کرد نیز قابل تعریف است. می‌توان از «نگاشت‌کننده متوالی» استفاده کرد که فایل میزبان را خط به خط خوانده و فرآیندها را به هر ترتیبی که فایل میزبان مشخص می‌کند به گره‌ها تخصیص می‌دهد. از گزینه --map-by seq استفاده کنید. برای مثال، با استفاده از همان فایل میزبان قبلی:

shell$ mpirun -hostfile myhostfile --map-by seq ./a.out

سه فرآیند راه‌اندازی می‌کند، یکی در هر یک از گره‌های aa، bb و cc به ترتیب. تعداد اسلات‌ها اهمیتی ندارد؛ در هر خط روی هر گره‌ای که در آن خط فهرست شده باشد، یک فرآیند راه‌اندازی می‌شود.

روش دیگر برای تعیین نگاشت‌های دلخواه، استفاده از یک فایل رتبه‌بندی (Rankfile) است که به شما کنترل دقیقی روی مقیدسازی فرآیند نیز می‌دهد. فایل‌های رتبه‌بندی در ادامه بررسی شده‌اند.

مرحله دوم بر رتبه‌بندی فرآیند در MPI_COMM_WORLD کار متمرکز است. Open MPI این مرحله را از فرآیند نگاشت جدا می‌کند تا انعطاف‌پذیری بیشتری در جای‌گذاری نسبی فرآیندهای MPI فراهم سازد. این موضوع به بهترین وجه با در نظر گرفتن موارد زیر که در آن‌ها از گزینه --np 8 --map-by ppr:2:package --host aa:4,bb:4 استفاده شده است، نشان داده می‌شود:

رتبه‌بندی بر اساس fill رتبه‌های MCW را در یک پیشروی ساده در سراسر هر گره تخصیص می‌دهد. رتبه‌بندی با span و با slot نتیجه یکسانی ارائه می‌دهند — یک پیشروی نوبت‌گردشی بسته‌ها در تمام گره‌ها قبل از بازگشت به اولین بسته در گره اول. رتبه‌بندی بر اساس node رتبه‌های MCW را ابتدا با تکرار در گره‌ها و سپس بر اساس بسته اختصاص می‌دهد.

مرحله مقیدسازی عملاً هر فرآیند را به مجموعه معینی از پردازنده‌ها مقید می‌کند. این کار می‌تواند کارایی را در صورتی که سیستم‌عامل فرآیندها را به صورت غیربهینه جای‌گذاری می‌کند بهبود بخشد. برای مثال، ممکن است برخی از بسته‌های پردازنده چند‌هسته‌ای را دچار اشتراک بیش از حد کند، در حالی که بسته‌های دیگر را بیکار رها می‌سازد؛ این می‌تواند منجر به رقابت غیرضروری فرآیندها بر سر منابع مشترک شود. یا ممکن است فرآیندها را بیش از حد پراکنده کند؛ این حالت در صورتی که کارایی برنامه به هزینه‌های ارتباط بین فرآیندی حساس باشد، می‌تواند غیربهینه باشد. مقیدسازی همچنین می‌تواند مانع از مهاجرت بیش از حد فرآیندها توسط سیستم‌عامل شود، صرف‌نظر از این‌که آن فرآیندها در ابتدا چقدر بهینه جای‌گذاری شده بودند.

پردازنده‌هایی که باید برای مقیدسازی استفاده شوند را می‌توان از نظر گروه‌بندی‌های توپولوژیکی شناسایی کرد — به عنوان مثال، مقیدسازی به یک l3cache هر فرآیند را به تمامی پردازنده‌های درون محدوده یک کش L3 در مکان تخصیص‌یافته به آن‌ها مقید می‌کند. بنابراین، اگر فرآیندی توسط نگاشت‌کننده به یک بسته پردازنده معین تخصیص یابد، دستورالعمل --bind-to l3cache باعث می‌شود فرآیند به پردازنده‌هایی که یک کش L3 مشترک در آن بسته دارند، مقید شود.

از طرف دیگر، فرآیندها را می‌توان با استفاده از گزینه --map-by pe-list= به هسته‌های مشخص‌شده نگاشت و مقید کرد. برای مثال، --map-by pe-list=0,2,5 سه فرآیند را نگاشت می‌کند که هر سه به هسته‌های منطقی 0,2,5 مقید خواهند شد. اگر قصد دارید هر یک از سه فرآیند را به هسته‌های متفاوتی مقید کنید، می‌توان از اصلاح‌کننده :ordered مانند --map-by pe-list=0,2,5:ordered استفاده کرد. در این مثال، اولین فرآیند در یک گره به CPU 0، فرآیند دوم در آن گره به CPU 2 و فرآیند سوم در آن گره به CPU 5 مقید خواهد شد.

در نهایت، --report-bindings می‌تواند برای گزارش مقیدسازی‌ها استفاده شود.

به عنوان مثال، یک گره با دو بسته پردازنده را در نظر بگیرید که هر کدام شامل چهار هسته هستند و هر یک از آن هسته‌ها شامل یک ریسه سخت‌افزاری است. گزینه --report-bindings مقیدسازی هر فرآیند را به روشی توصیفی نشان می‌دهد. در زیر چند مثال آورده شده است.

shell$ mpirun --np 4 --report-bindings --map-by core --bind-to core
[...] Rank 0 bound to package[0][core:0]
[...] Rank 1 bound to package[0][core:1]
[...] Rank 2 bound to package[0][core:2]
[...] Rank 3 bound to package[0][core:3]

در حالت بالا، فرآیندها به هسته‌های متوالی مقید می‌شوند.

shell$ mpirun --np 4 --report-bindings --map-by package --bind-to package
[...] Rank 0 bound to package[0][core:0-3]
[...] Rank 1 bound to package[0][core:0-3]
[...] Rank 2 bound to package[1][core:4-7]
[...] Rank 3 bound to package[1][core:4-7]

در حالت بالا، فرآیندها به تمام هسته‌ها در بسته‌های متوالی مقید می‌شوند. فرآیندها به تعداد دفعات مورد نیاز به صورت نوبت‌گردشی در بسته‌های پردازنده می‌چرخند. به طور پیش‌فرض، فرآیندها به شیوه fill رتبه‌بندی می‌شوند.

shell$ mpirun --np 4 --report-bindings --map-by package --bind-to package --rank-by span
[...] Rank 0 bound to package[0][core:0-3]
[...] Rank 1 bound to package[1][core:4-7]
[...] Rank 2 bound to package[0][core:0-3]
[...] Rank 3 bound to package[1][core:4-7]

حالت بالا تفاوت در رتبه‌بندی را زمانی که از اصلاح‌کننده span به جای پیش‌فرض استفاده می‌شود نشان می‌دهد.

shell$ mpirun --np 4 --report-bindings --map-by slot:PE=2 --bind-to core
[...] Rank 0 bound to package[0][core:0-1]
[...] Rank 1 bound to package[0][core:2-3]
[...] Rank 2 bound to package[0][core:4-5]
[...] Rank 3 bound to package[0][core:6-7]

در حالت بالا، خروجی به ما نشان می‌دهد که ۲ هسته به ازای هر فرآیند مقید شده‌اند. به طور مشخص، نگاشت بر اساس slot با اصلاح‌کننده PE=2 نشان داد که هر اسلات (یعنی فرآیند) باید دو عنصر پردازشی مصرف کند. به طور پیش‌فرض، Open MPI «عنصر پردازشی» را به عنوان «هسته» تعریف می‌کند و بنابراین --bind-to core باعث شد هر فرآیند به هر دو هسته‌ای که به آن نگاشت شده بود، مقید شود.

shell$ mpirun --np 4 --report-bindings --map-by slot:PE=2 --use-hwthread-cpus
[...]] Rank 0 bound to package[0][hwt:0-1]
[...]] Rank 1 bound to package[0][hwt:2-3]
[...]] Rank 2 bound to package[0][hwt:4-5]
[...]] Rank 3 bound to package[0][hwt:6-7]

در حالت بالا، --bind-to core را با --use-hwthread-cpus جایگزین می‌کنیم. گزینه --use-hwthread-cpus به --bind-to hwthread تبدیل می‌شود و به خروجی --report-bindings اعلام می‌کند که ریسه‌های سخت‌افزاری مقیدشده به یک فرآیند را نشان دهد. در این حالت، فرآیندها به ازای هر فرآیند به ۲ ریسه سخت‌افزاری مقید می‌شوند.

shell$ mpirun --np 4 --report-bindings --bind-to none
[...] Rank 0 is not bound (or bound to all available processors)
[...] Rank 1 is not bound (or bound to all available processors)
[...] Rank 2 is not bound (or bound to all available processors)
[...] Rank 3 is not bound (or bound to all available processors)

در حالت بالا، مقیدسازی خاموش است و به همین صورت گزارش می‌شود.

پشتیبانی Open MPI از مقیدسازی فرآیند به سیستم‌عامل زیرین بستگی دارد. بنابراین، برخی از گزینه‌های مقیدسازی فرآیند ممکن است در هر سیستمی در دسترس نباشند.

مقیدسازی فرآیند را می‌توان با پارامترهای MCA نیز تنظیم کرد. استفاده از آن‌ها نسبت به گزینه‌های mpirun کمتر راحت است. از سوی دیگر، پارامترهای MCA نه تنها در خط فرمان mpirun، بلکه در فایل mca-params.conf سیستم یا کاربر یا به عنوان متغیرهای محیطی، همان‌طور که در بخش تنظیم پارامترهای MCA توصیف شده است، قابل تنظیم هستند. این‌ها پارامترهای MCA برای زمان اجرای PRRTE هستند، بنابراین آرگومان خط فرمان --prtemca (بله، prte با یک r، نه دو r) باید برای ارسال جفت کلید/مقدار پارامتر MCA استفاده شود. متناوباً، جفت کلید/مقدار پارامتر MCA ممکن است در خط فرمان با پیشوند قرار دادن PRTE_MCA_ برای کلید مشخص شود (باز هم، این یک غلط املایی نیست: PRTE است نه PRRTE). برخی از مثال‌ها عبارتند از:

پیش‌فرض‌ها برای نگاشت، رتبه‌بندی و مقیدسازی (Defaults for Mapping, Ranking, and Binding)

اگر کاربر هر یک از گزینه‌های --map-by، --rank-by و --bind-to را مشخص نکند، مقادیر پیش‌فرض به شرح زیر خواهند بود:

دو میزبان یکسان (hostA و hostB) با ۲ بسته پردازنده (با علامت []) را در نظر بگیرید که هر کدام ۸ هسته (با علامت /../) و ۲ ریسه سخت‌افزاری در هر هسته (با علامت .) دارند.

پیش‌فرض --map-by core --bind-to core --rank-by span زمانی که تعداد فرآیندها کمتر یا مساوی ۲ است:

shell$ mpirun --np 2 --host hostA:4,hostB:2 ./a.out
R0  hostA  [BB/../../../../../../..][../../../../../../../..]
R1  hostA  [../BB/../../../../../..][../../../../../../../..]

پیش‌فرض --map-by package --bind-to package --rank-by fill زمانی که تعداد فرآیندها بیشتر از ۲ است:

shell$ mpirun --np 4 --host hostA:4,hostB:2 ./a.out
R0  hostA  [BB/BB/BB/BB/BB/BB/BB/BB][../../../../../../../..]
R1  hostA  [BB/BB/BB/BB/BB/BB/BB/BB][../../../../../../../..]
R2  hostA  [../../../../../../../..][BB/BB/BB/BB/BB/BB/BB/BB]
R3  hostA  [../../../../../../../..][BB/BB/BB/BB/BB/BB/BB/BB]

اگر فقط --map-by OBJ مشخص شود، دلالت بر --bind-to OBJ --rank-by fill دارد. مثال زیر منجر به --map-by hwthread --bind-to hwthread --rank-by fill می‌شود:

shell$ mpirun --np 4 --map-by hwthread --host hostA:4,hostB:2 ./a.out
R0  hostA  [B./../../../../../../..][../../../../../../../..]
R1  hostA  [.B/../../../../../../..][../../../../../../../..]
R0  hostA  [../B./../../../../../..][../../../../../../../..]
R1  hostA  [../.B/../../../../../..][../../../../../../../..]

اگر فقط --bind-to OBJ مشخص شود، --map-by بر اساس تعداد فرآیندها تعیین می‌شود و --rank-by fill اعمال می‌گردد. مثال زیر منجر به --map-by package --bind-to core --rank-by fill می‌شود:

shell$ mpirun --np 4 --bind-to core --host hostA:4,hostB:2 ./a.out
R0  hostA  [BB/../../../../../../..][../../../../../../../..]
R1  hostA  [../BB/../../../../../..][../../../../../../../..]
R2  hostA  [../../../../../../../..][BB/../../../../../../..]
R3  hostA  [../../../../../../../..][../BB/../../../../../..]

الگوی نگاشت ممکن است بهتر دیده شود اگر --rank-by پیش‌فرض را از fill به span تغییر دهیم. ابتدا، فرآیندها بر اساس بسته نگاشت می‌شوند و بین این دو با علامت‌گذاری یک هسته در هر بار چرخش می‌کنند. سپس، فرآیندها به روش گسترده (span) که بار آن‌ها را روی شیء نگاشت‌شده متعادل می‌کند، رتبه‌بندی می‌شوند. در نهایت، فرآیندها به هسته‌ای که به آن نگاشت شده بودند مقید می‌شوند:

shell$ mpirun --np 4 --bind-to core --rank-by span --host hostA:4,hostB:2 ./a.out
R0  hostA  [BB/../../../../../../..][../../../../../../../..]
R1  hostA  [../../../../../../../..][BB/../../../../../../..]
R2  hostA  [../BB/../../../../../..][../../../../../../../..]
R3  hostA  [../../../../../../../..][../BB/../../../../../..]

فایل‌های رتبه (Rankfiles)

فایل‌های رتبه‌بندی (Rankfiles) فایل‌های متنی هستند که اطلاعات دقیقی در مورد نحوه نگاشت فرآیندهای منفرد به گره‌ها و این‌که باید به کدام پردازنده(ها) مقید شوند، مشخص می‌کنند. هر خط از یک فایل رتبه‌بندی، مکان یک فرآیند را مشخص می‌کند (برای کارهای MPI، «رتبه» فرآیند به رتبه آن در MPI_COMM_WORLD اشاره دارد). شکل کلی هر خط در فایل رتبه‌بندی به صورت زیر است:

rank <N>=<hostname> slot=<slot list>

برای مثال:

shell$ cat myrankfile
rank 0=aa slot=1:0-2
rank 1=bb slot=0:0,1
rank 2=cc slot=2-3
shell$ mpirun -H aa,bb,cc,dd --map-by rankfile:file=myrankfile ./a.out

به این معناست که:

توجه داشته باشید که تنها مکان‌های منطقی پردازنده پشتیبانی می‌شوند. به طور پیش‌فرض، مقادیر مشخص‌شده هسته فرض می‌شوند. اگر قصد دارید ریسه‌های سخت‌افزاری خاصی را مشخص کنید، باید اصلاح‌کننده :hwtcpus را به گزینه خط فرمان --map-by اضافه کنید (مثلاً --map-by rankfile:file=myrankfile:hwtcpus).

اگر مشخصات مقیدسازی بین هر دو رتبه همپوشانی داشته باشد، خطایی رخ می‌دهد. اگر قصد دارید به فرآیندها اجازه دهید یک واحد پردازشی منطقی یکسان را به اشتراک بگذارند، باید گزینه خط فرمان --bind-to :overload-allowed را ارسال کنید تا به سیستم زمان اجرا اعلام کند این بررسی را نادیده بگیرد.

نام‌های میزبان فهرست‌شده در بالا «مطلق» هستند، به این معنی که نام‌های میزبان واقعی و قابل حل مشخص شده‌اند. با این حال، نام‌های میزبان را می‌توان به صورت «نسبی» نیز مشخص کرد، یعنی نسبت به یک فهرست از نام‌های میزبان مشخص‌شده از خارج (مانند آرگومان --host در mpirun، یک فایل میزبان یا زمان‌بند کار).

مشخصات «نسبی» به صورت +n<X> است که در آن X یک عدد صحیح است که Xامین نام میزبان را در مجموعه تمام نام‌های میزبان موجود مشخص می‌کند که از 0 شماره‌گذاری شده است. برای مثال:

shell$ cat myrankfile
rank 0=+n0 slot=1:0-2
rank 1=+n1 slot=0:0,1
rank 2=+n2 slot=2-3
shell$ mpirun -H aa,bb,cc,dd --map-by rankfile:file=myrankfile ./a.out

تمام مکان‌های اسلات بسته/هسته به صورت شاخص‌های منطقی مشخص می‌شوند.

NOTE:

می‌توانید از ابزارهایی مانند lstopo(1) در Hwloc برای یافتن شاخص‌های منطقی بسته و هسته‌ها استفاده کنید.

زمینه برنامه یا برنامه اجرایی؟ (Application Context or Executable Program?)

برای تمایز بین این دو شکل مختلف، mpirun در خط فرمان به دنبال گزینه --app می‌گردد. در صورت مشخص شدن آن، فرض می‌شود فایلی که در خط فرمان نام‌گذاری شده است، یک زمینه برنامه (Application Context) است. اگر مشخص نشده باشد، فرض می‌شود فایل یک برنامه اجرایی است.

یافتن فایل‌ها (Locating Files)

اگر هیچ مسیر نسبی یا مطلقی برای یک فایل مشخص نشده باشد، Open MPI ابتدا با جستجو در دایرکتوری‌های مشخص‌شده توسط گزینه --path به دنبال فایل‌ها می‌گردد. اگر گزینه --path تنظیم نشده باشد یا اگر فایل در مکان --path پیدا نشود، آنگاه Open MPI متغیر محیطی PATH کاربر را همان‌طور که در گره(های) مبدأ تعریف شده است جستجو می‌کند.

اگر یک دایرکتوری نسبی مشخص شده باشد، باید نسبت به دایرکتوری کاری اولیه که توسط آغازگر خاص مورد استفاده تعیین شده است، نسبی باشد. به عنوان مثال هنگام استفاده از آغازگر ssh، دایرکتوری اولیه به طور پیش‌فرض $HOME است. سایر آغازگرها ممکن است دایرکتوری اولیه را روی دایرکتوری کاری جاری ناشی از فراخوانی mpirun تنظیم کنند.

دایرکتوری کاری جاری (Current Working Directory)

گزینه --wdir در mpirun (و مترادف آن، --wd) به کاربر امکان می‌دهد پیش از فراخوانی برنامه، به یک دایرکتوری دلخواه تغییر مسیر دهد. همچنین می‌توان از آن در فایل‌های زمینه برنامه برای تعیین دایرکتوری‌های کاری در گره‌های خاص و/یا برای برنامه‌های خاص استفاده کرد.

اگر گزینه --wdir هم در یک فایل زمینه و هم در خط فرمان ظاهر شود، دایرکتوری فایل زمینه بر مقدار خط فرمان اولویت خواهد داشت.

اگر گزینه -wdir مشخص شده باشد، Open MPI تلاش می‌کند در تمامی گره‌های راه دور به دایرکتوری مشخص‌شده تغییر مسیر دهد. در صورت عدم موفقیت، mpirun متوقف می‌شود.

اگر گزینه -wdir مشخص نشده باشد، Open MPI نام دایرکتوری محل فراخوانی mpirun را به هر یک از گره‌های راه دور ارسال می‌کند. گره‌های راه دور تلاش می‌کنند به آن دایرکتوری تغییر مسیر دهند. اگر نتوانند (مثلاً اگر دایرکتوری در آن گره وجود نداشته باشد)، Open MPI از دایرکتوری پیش‌فرض تعیین‌شده توسط آغازگر استفاده خواهد کرد.

تمام تغییر دایرکتوری‌ها پیش از فراخوانی برنامه کاربر رخ می‌دهد؛ این فرآیند تا زمان فراخوانی MPI_INIT(3) منتظر نمی‌ماند.

ورودی/خروجی استاندارد (Standard I/O)

برنامه Open MPI ورودی استاندارد یونیکس (stdin) را در تمام فرآیندها به جز فرآیند با رتبه 0 در MPI_COMM_WORLD به /dev/null هدایت می‌کند. فرآیند رتبه 0 در MPI_COMM_WORLD ورودی استاندارد را از mpirun به ارث می‌برد.

NOTE:

برنامه Open MPI خروجی و خطای استاندارد یونیکس (stdout و stderr) را از گره‌های راه دور به گره‌ای که mpirun را فراخوانی کرده هدایت کرده و آن را در خروجی/خطای استاندارد mpirun چاپ می‌کند. فرآیندهای محلی خروجی/خطای استاندارد mpirun را به ارث برده و مستقیماً به آن انتقال می‌دهند.

بنابراین می‌توان ورودی/خروجی استاندارد را برای برنامه‌های Open MPI با استفاده از رویه متداول تغییر مسیر شل روی mpirun تغییر مسیر داد. برای مثال:

shell$ mpirun -n 2 my_app < my_input > my_output

توجه داشته باشید که در این مثال تنها فرآیند رتبه 0 در MPI_COMM_WORLD جریان را از my_input در stdin دریافت خواهد کرد. stdin در تمام گره‌های دیگر به /dev/null متصل خواهد شد. با این حال، stdout از تمام گره‌ها در فایل my_output جمع‌آوری خواهد شد.

انتشار سیگنال (Signal Propagation)

هنگامی که mpirun سیگنال‌های SIGTERM و SIGINT را دریافت می‌کند، تلاش می‌کند تا کل کار را با ارسال یک SIGTERM به تمام فرآیندهای موجود در کار، انتظار برای چند ثانیه کوتاه، و سپس ارسال یک SIGKILL به تمام فرآیندهای کار متوقف کند.

سیگنال‌های SIGUSR1 و SIGUSR2 دریافت‌شده توسط mpirun به تمامی فرآیندهای موجود در کار منتشر می‌شوند.

یک سیگنال SIGTSTP به mpirun باعث ارسال سیگنال SIGSTOP به تمامی برنامه‌های راه‌اندازی‌شده توسط mpirun می‌شود و به همین ترتیب سیگنال SIGCONT به mpirun باعث ارسال SIGCONT خواهد شد.

سیگنال‌های دیگر در حال حاضر توسط mpirun منتشر نمی‌شوند.

خاتمه فرآیند / رسیدگی به سیگنال (Process Termination / Signal Handling)

در طول اجرای یک برنامه MPI، اگر هر فرآیندی به طور غیرعادی متوقف شود (یا پیش از فراخوانی MPI_FINALIZE(3) خارج شود، یا در نتیجه یک سیگنال بمیرد)، mpirun یک پیام خطا چاپ کرده و بقیه برنامه MPI را متوقف می‌کند.

گرداننده‌های سیگنال کاربر (Signal handlers) احتمالاً باید از تلاش برای پاک‌سازی وضعیت MPI خودداری کنند (Open MPI در حال حاضر از نظر سیگنال‌های ناهمگام ایمن نیست (async-signal-safe)؛ برای جزئیات درباره MPI_THREAD_MULTIPLE و ایمنی ریسه به MPI_INIT_THREAD(3) مراجعه کنید). برای مثال، اگر یک خطای دسترسی به حافظه (Segmentation fault) در MPI_SEND(3) رخ دهد (احتمالاً به دلیل ارسال یک بافر نامعتبر) و یک گرداننده سیگنال کاربر فراخوانی شود، اگر این گرداننده کاربر تلاش کند MPI_FINALIZE(3) را فراخوانی کند، ممکن است اتفاقات ناگواری رخ دهد زیرا Open MPI هنگام بروز خطا از قبل «درون» MPI بوده است. از آنجا که mpirun متوجه خواهد شد فرآیند به دلیل یک سیگنال متوقف شده است، احتمالاً برای کاربر نیازی نیست (و امن‌ترین حالت است) که فقط وضعیت‌های غیر MPI را پاک‌سازی کند.

محیط فرآیند (Process Environment)

فرآیندها در برنامه MPI محیط خود را از دیمن PRRTE موجود در گره‌ای که روی آن در حال اجرا هستند به ارث می‌برند. محیط معمولاً از شل کاربر به ارث برده می‌شود. در گره‌های راه دور، محیط دقیق توسط ماژول MCA راه‌انداز (Boot) مورد استفاده تعیین می‌شود. ماژول راه‌اندازی rsh، برای مثال، از rsh/ssh برای راه‌اندازی دیمن PRRTE در گره‌های راه دور استفاده می‌کند و معمولاً پیش از راه‌اندازی دیمن PRRTE، یک یا چند فایل راه‌اندازی شل کاربر را اجرا می‌نماید. هنگام اجرای برنامه‌های پیوندیافته پویا (Dynamically linked) که نیازمند تنظیم متغیر محیطی LD_LIBRARY_PATH هستند، باید دقت شود تا اطمینان حاصل شود که این متغیر هنگام بوت Open MPI به درستی تنظیم شده باشد.

برای جزئیات بیشتر بخش اجرای از راه دور را ببینید.

اجرای از راه دور (Remote Execution)

برنامه Open MPI نیاز دارد که متغیر محیطی PATH برای یافتن فایل‌های اجرایی در گره‌های راه دور تنظیم شده باشد (این موضوع معمولاً فقط در محیط‌های مبتنی بر rsh یا ssh ضروری است — محیط‌های دسته‌ای/زمان‌بندی‌شده معمولاً محیط فعلی را برای اجرای کارهای راه دور کپی می‌کنند، بنابراین اگر محیط فعلی PATH و/یا LD_LIBRARY_PATH را به درستی تنظیم کرده باشد، گره‌های راه دور نیز آن را به درستی تنظیم خواهند داشت). اگر Open MPI با پشتیبانی از کتابخانه‌های اشتراکی کامپایل شده باشد، ممکن است لازم باشد متغیر محیطی LD_LIBRARY_PATH نیز در گره‌های راه دور تنظیم شود (به ویژه برای یافتن کتابخانه‌های اشتراکی مورد نیاز برای اجرای برنامه‌های MPI کاربر).

با این حال، همیشه مطلوب یا ممکن نیست که فایل‌های راه‌اندازی شل برای تنظیم PATH و/یا LD_LIBRARY_PATH ویرایش شوند. گزینه --prefix برای برخی از پیکربندی‌های ساده که در آن‌ها این کار امکان‌پذیر نیست فراهم شده است.

گزینه --prefix یک آرگومان منفرد می‌گیرد: دایرکتوری پایه‌ای در گره راه دور که Open MPI در آن نصب شده است. Open MPI از این دایرکتوری برای تنظیم PATH و LD_LIBRARY_PATH راه دور پیش از اجرای هر برنامه Open MPI یا کاربر استفاده خواهد کرد. این امکان اجرای کارهای Open MPI را بدون نیاز به پیکربندی قبلی PATH و LD_LIBRARY_PATH در گره‌های راه دور فراهم می‌کند.

برنامه Open MPI نام پایه (Basename) دایرکتوری $bindir گره جاری (دایرکتوری محل نصب فایل‌های اجرایی Open MPI) را به پیشوند اضافه کرده و از آن برای تنظیم PATH در گره راه دور استفاده می‌کند. به طور مشابه، Open MPI نام پایه دایرکتوری $libdir گره جاری (دایرکتوری محل نصب کتابخانه‌های Open MPI) را به پیشوند اضافه کرده و از آن برای تنظیم LD_LIBRARY_PATH در گره راه دور استفاده می‌کند. برای مثال:

اگر از خط فرمان زیر استفاده شود:

shell$ mpirun --prefix /remote/node/directory

برنامه Open MPI پیش از تلاش برای اجرای هر چیزی، /remote/node/directory/bin را به PATH و /remote/node/directory/lib64 را به LD_LIBRARY_PATH در گره راه دور اضافه خواهد کرد.

گزینه --prefix در صورتی که مسیرهای نصب در گره راه دور با گره محلی متفاوت باشد (برای مثال، اگر در گره محلی از /lib استفاده شود اما در گره راه دور از /lib64 استفاده گردد)، یا اگر مسیرهای نصب چیزی غیر از یک زیردایرکتوری تحت یک پیشوند مشترک باشند، کافی نخواهد بود.

توجه داشته باشید که اجرای mpirun از طریق یک نام مسیر مطلق معادل تعیین --prefix بدون آخرین زیردایرکتوری در مسیر مطلق به mpirun است. برای مثال:

shell$ /usr/local/bin/mpirun ...

معادل است با

shell$ mpirun --prefix /usr/local

متغیرهای محیطی صادرشده (Exported Environment Variables)

تمامی متغیرهای محیطی که به صورت OMPI_* نام‌گذاری شده‌اند به طور خودکار به فرآیندهای جدید در گره‌های محلی و راه دور صادر می‌شوند. پارامترهای محیطی را می‌توان با استفاده از پارامتر MCA با نام mca_base_env_list نیز برای فرآیندهای جدید تنظیم یا فوروارد کرد. گزینه -x برای mpirun منسوخ شده است، اما نحو پارامتر MCA از همان مثال قبلی پیروی می‌کند. اگرچه نحو گزینه -x و پارامتر MCA تعریف متغیرهای جدید را ممکن می‌سازد، توجه داشته باشید که تجزیه‌کننده این گزینه‌ها در حال حاضر چندان پیشرفته نیست — حتی مقادیر نقل‌قول‌شده را متوجه نمی‌شود. به کاربران توصیه می‌شود متغیرها را در محیط مقداردهی کنند و از این گزینه برای صادر کردن آن‌ها (نه تعریف آن‌ها) استفاده نمایند.

تنظیم پارامترهای MCA (Setting MCA Parameters)

سوییچ --mca اجازه ارسال پارامترها به ماژول‌های مختلف MCA (معماری مؤلفه ماژولار یا Modular Component Architecture) را می‌دهد. ماژول‌های MCA تأثیر مستقیمی بر برنامه‌های MPI دارند زیرا به پارامترهای قابل تنظیم اجازه می‌دهند در زمان اجرا تنظیم شوند (مانند این‌که از کدام درایور دستگاه ارتباطی BTL استفاده شود، چه پارامترهایی به آن BTL ارسال شود و غیره).

سوییچ --mca دو آرگومان می‌گیرد: <key> و <value>. آرگومان <key> عموماً مشخص می‌کند که کدام ماژول MCA مقدار را دریافت خواهد کرد. به عنوان مثال، <key> با مقدار btl برای انتخاب BTL مورد استفاده در انتقال پیام‌های MPI استفاده می‌شود. آرگومان <value> مقداری است که ارسال می‌شود. برای مثال:

shell$ mpirun --mca btl tcp,self -n 1 my_mpi_app

این دستور به Open MPI می‌گوید که از BTLهای tcp و self استفاده کند و یک نسخه تکی از my_mpi_app را در یک گره تخصیص‌یافته اجرا نماید.

shell$ mpirun --mca btl self -n 1 my_mpi_app

به Open MPI می‌گوید از BTL با نام self استفاده کند و یک نسخه تکی از my_mpi_app را در یک گره تخصیص‌یافته اجرا نماید.

سوییچ --mca را می‌توان چندین بار برای تعیین آرگومان‌های مختلف <key> و/یا <value> استفاده کرد. اگر یک <key> یکسان بیش از یک بار مشخص شود، مقادیر <value> با یک کاما (,``) جداکننده به هم متصل می‌شوند.

توجه داشته باشید که سوییچ --mca صرفاً یک میانبر برای تنظیم متغیرهای محیطی است. همین اثر را می‌توان با تنظیم متغیرهای محیطی متناظر پیش از اجرای mpirun به دست آورد. شکل متغیرهای محیطی که Open MPI تنظیم می‌کند به این صورت است:

OMPI_MCA_<key>=<value>

بنابراین، سوییچ --mca هرگونه متغیر محیطی از قبل تنظیم‌شده را لغو و بازنویسی می‌کند. تنظیمات --mca به طور مشابه پارامترهای MCA تنظیم‌شده در فایل $OPAL_PREFIX/etc/openmpi-mca-params.conf یا $HOME/.openmpi/mca-params.conf را بازنویسی می‌کنند.

آرگومان‌های ناشناخته <key> همچنان به عنوان متغیر محیطی تنظیم می‌شوند — صحت آن‌ها (توسط mpirun) بررسی نمی‌شود. آرگومان‌های غیرمجاز یا نادرست <value> ممکن است گزارش شوند یا نشوند — این امر به ماژول خاص MCA بستگی دارد.

برای یافتن انواع مؤلفه‌های موجود تحت معماری MCA یا یافتن پارامترهای موجود برای یک مؤلفه خاص، از دستور ompi_info استفاده کنید. برای اطلاعات دقیق در مورد این دستور به صفحه راهنمای ompi_info(1) مراجعه فرمایید.

تنظیم پارامترهای MCA و متغیرهای محیطی از طریق فایل (Setting MCA parameters and environment variables from file)

گزینه خط فرمان --tune و مترادف آن --mca mca_base_envar_file_prefix به کاربر اجازه می‌دهد پارامترهای MCA و متغیرهای محیطی را با نحو توضیح‌داده‌شده در زیر تنظیم کند. این گزینه نیازمند یک فایل منفرد یا فهرستی از فایل‌های جداشده با «,» در ادامه است.

یک خط معتبر در فایل ممکن است شامل صفر یا چند -x یا --mca باشد. الگوهای زیر پشتیبانی می‌شوند:

اگر آرگومانی در فایل تکرار شود، آخرین مقدار خوانده‌شده استفاده خواهد شد.

پارامترهای MCA و متغیرهای محیطی مشخص‌شده در خط فرمان اولویت بالاتری نسبت به متغیرهای مشخص‌شده در فایل دارند.

اجرا به عنوان ریشه (Running as root)

هشدار (WARNING):

دستور mpirun به طور پیش‌فرض از اجرا به عنوان ریشه خودداری می‌کند.

برای لغو این پیش‌فرض، می‌توانید گزینه --allow-run-as-root را به خط فرمان mpirun اضافه کنید، یا می‌توانید پارامترهای محیطی OMPI_ALLOW_RUN_AS_ROOT=1 و OMPI_ALLOW_RUN_AS_ROOT_CONFIRM=1 را تنظیم نمایید. توجه داشته باشید که تنظیم دو متغیر محیطی برای اعمال رفتاری مشابه با --allow-run-as-root به منظور تأکید بر توصیه اکید تیم Open MPI مبنی بر عدم اجرا به عنوان کاربر ریشه در نظر گرفته شده است.

پس از بحث‌های گسترده با جوامعی که از کانتینرها استفاده می‌کنند (که در آن‌ها اجرا به عنوان کاربر ریشه پیش‌فرض است)، تمایل مداومی برای امکان فعال کردن اجرای ریشه در mpirun از طریق کنترل محیطی (در مقایسه با پارامتر خط فرمان موجود --allow-run-as-root) وجود داشت. راه‌حل میانه استفاده از دو متغیر محیطی اتخاذ شد: این کار امکان اجرای ریشه را از طریق کنترل محیطی فراهم می‌کند، اما توصیه اکید تیم Open MPI را علیه این رفتار منتقل می‌سازد.

وضعیت خروج (Exit status)

هیچ تعریف استانداردی برای آن‌چه mpirun باید به عنوان وضعیت خروج برگرداند وجود ندارد. پس از بحث‌های قابل توجه، ما روش زیر را برای تخصیص وضعیت خروج mpirun تعیین کردیم (نکته: در توضیحات زیر، کار «اصلی» برنامه اولیه‌ای است که توسط mpirun آغاز شده است — تمام کارهایی که توسط آن کار ایجاد می‌شوند کارهای «فرعی» نامیده می‌شوند):

به طور پیش‌فرض، زمانی که هر فرآیندی با وضعیت غیرصفر خاتمه یابد، کل کار لغو می‌شود. پارامتر MCA با نام --prtemca state_base_error_non_zero_exit را می‌توان روی «false» (یا «0») تنظیم کرد تا در صورت بازگشت وضعیت غیرصفر توسط یک یا چند فرآیند، باعث لغو کار توسط Open MPI نشود. در این شرایط، Open MPI خروج فرآیندها با وضعیت خاتمه غیرصفر را ثبت کرده و وضعیت خروج مناسب mpirun را (طبق موارد فوق) گزارش می‌دهد.