نصب (Installation)

دستور نصب pyperformance:

python3 -m pip install pyperformance

این دستور برنامهٔ جدید pyperformance را نصب می‌کند.

در صورت نیاز، وابستگی‌های pyperf و six به‌طور خودکار نصب می‌شوند.

نرم‌افزار pyperformance بر روی Python 3.6 و نسخه‌های جدیدتر اجرا می‌شود، اما ممکن است بر روی Python 3.4 و 3.5 نیز کار کند.

در زمان اجرا، ممکن است فایل‌های توسعهٔ Python (فایل‌های هدر) برای نصب برخی وابستگی‌ها مانند dulwich_log یا psutil به‌منظور کامپایل افزونه‌های C آن‌ها نیاز باشد. دستورهای نصب این وابستگی‌ها در Fedora:

.\python.bat -m PC.layout --preset-default --copy installed -v

installed\python.exe -m pip install pyperformance
installed\python.exe -m pyperformance run ...

اجرای بنچمارک‌ها

دستورهایی برای مقایسه‌ی کارایی Python 3.6 و Python 3.7:

pyperformance run --python=python3.6 -o py36.json
pyperformance run --python=python3.7 -o py37.json
pyperformance compare py36.json py37.json

نکته: ساختار python3 -m pyperformance ... نیز کار می‌کند (مثال: python3 -m pyperformance run -o py37.json)، اما مستلزم نصب pyperformance روی هر یک از نسخه‌های آزمایش‌شده‌ی Python است.

فایل‌های JSON توسط ماژول pyperf تولید می‌شوند و بنابراین می‌توان آن‌ها را با استفاده از دستورهای pyperf تحلیل کرد:

python3 -m pyperf show py36.json
python3 -m pyperf check py36.json
python3 -m pyperf metadata py36.json
python3 -m pyperf stats py36.json
python3 -m pyperf hist py36.json
python3 -m pyperf dump py36.json
(...)

همچنین امکان استفاده از pyperf برای مقایسه‌ی نتایج دو فایل JSON وجود دارد:

python3 -m pyperf compare_to py36.json py37.json --table

دستورهای پایه

عملیات‌های pyperformance:

run                 اجرای بنچمارک‌ها روی پایتون در حال اجرا
show                نمایش یک فایل بنچمارک
compare             مقایسه دو فایل بنچمارک
list                فهرست کردن بنچمارک‌های پایتون در حال اجرا
list_groups         فهرست کردن گروه‌های بنچمارک پایتون در حال اجرا
venv                عملیات روی محیط مجازی

-h, --help            نمایش این پیام راهنما و خروج

run

اجرای بنچمارک‌ها روی python در حال اجرا.

کاربرد:

pyperformance run [-h] [-r] [-f] [--debug-single-value] [-v] [-m]
                     [--affinity CPU_LIST] [-o FILENAME]
                     [--append FILENAME] [--manifest MANIFEST]
                     [--timeout TIMEOUT] [-b BM_LIST]
                     [--inherit-environ VAR_LIST] [-p PYTHON]
                     [--hook HOOK]

گزینه‌ها:

-h, --help            نمایش این پیام راهنما و خروج
-r, --rigorous        صرف زمان بیشتر برای اجرای آزمون‌ها جهت دریافت
                      نتایج دقیق‌تر
-f, --fast            دریافت سریع نتایج تقریبی
--debug-single-value  اشکال‌زدایی: سریع‌ترین حالت، تنها محاسبه یک
                      مقدار واحد
-v, --verbose         چاپ خروجی بیشتر
-m, --track-memory    ردیابی مصرف حافظه. این قابلیت فقط در Linux
                      کار می‌کند.
--affinity CPU_LIST   تعیین CPU affinity برای اجراهای بنچمارک. به
                      این ترتیب، می‌توان بنچمارک‌ها را مجبور به
                      اجرا روی یک CPU مشخص کرد تا تغییرات بین
                      اجراها به حداقل برسد.
-o FILENAME, --output FILENAME
                      اجرای بنچمارک‌ها تنها روی یک مفسر و نوشتن
                      نتایج در FILENAME. فقط baseline_python را
                      مشخص کنید، نه changed_python.
--append FILENAME     افزودن اجراها به یک فایل موجود، یا ایجاد آن
                      اگر وجود نداشته باشد
--timeout TIMEOUT     تعیین مهلت زمانی به ثانیه برای یک بار اجرای
                      بنچمارک (پیش‌فرض: غیرفعال)
--manifest MANIFEST   فایل مانیفست بنچمارک برای استفاده
-b BM_LIST, --benchmarks BM_LIST
                      فهرست جداشده با کاما از بنچمارک‌ها برای اجرا.
                      می‌تواند شامل آرگومان‌های مثبت و منفی باشد:
                      --benchmarks=run_this,also_this,-not_this.
                      اگر هیچ آرگومان مثبتی نباشد، تمام بنچمارک‌ها
                      به‌جز آرگومان‌های منفی اجرا می‌شوند؛ در غیر
                      این صورت فقط آرگومان‌های مثبت اجرا خواهند شد.
--inherit-environ VAR_LIST
                      فهرست جداشده با کاما از متغیرهای محیطی که
                      هنگام اجرای زیرپردازش‌های بنچمارک، از محیط والد
                      به ارث برده می‌شوند.
-p PYTHON, --python PYTHON
                      فایل اجرایی Python (پیش‌فرض: استفاده از
                      Python در حال اجرا)
--same-loops SAME_LOOPS
                      استفاده از همان تعداد تکرار اجرای پیشین
                      (یعنی کالیبراسیون مجدد نشود). باید مسیر یک
                      فایل .json از اجرای قبلی باشد.
--hook HOOK
                      اعمال hook مشخص‌شده از pyperf هنگام اجرای
                      بنچمارک‌ها.

show FILENAME

FILENAME

compare

مقایسه دو فایل بنچمارک.

کاربرد:

pyperformance compare [-h] [-v] [-O STYLE] [--csv CSV_FILE]
                      [--inherit-environ VAR_LIST] [-p PYTHON]
                      baseline_file.json changed_file.json

آرگومان‌های موضعی:

baseline_file.json
changed_file.json

گزینه‌ها:

-v, --verbose         چاپ خروجی بیشتر
-O STYLE, --output_style STYLE
                      سبکی که خروجی بنچمارک باید به خود بگیرد.
                      گزینه‌های معتبر 'normal' و 'table' هستند.
                      پیش‌فرض normal است.
--csv CSV_FILE        نام فایلی که نتایج در آن نوشته خواهد شد،
                      به صورت یک فایل CSV سه‌ستونه شامل کمترین
                      زمان‌های اجرا برای هر بنچمارک.
--inherit-environ VAR_LIST
                      فهرست جداشده با کاما از نام‌های متغیرهای محیطی
                      که هنگام اجرای زیرفرآیندهای بنچمارک از محیط
                      والد به ارث برده می‌شوند.
-p PYTHON, --python PYTHON
                      فایل اجرایی پایتون (پیش‌فرض: استفاده از
                      پایتون در حال اجرا)

list

فهرست‌کردن بنچمارک‌های پایتونِ در حال اجرا.

کاربرد:

pyperformance list [-h] [--manifest MANIFEST] [-b BM_LIST]
                   [--inherit-environ VAR_LIST] [-p PYTHON]

گزینه‌ها:

--manifest MANIFEST   فایل مانیفست بنچمارک برای استفاده
-b BM_LIST, --benchmarks BM_LIST
                      فهرست جداشده با کاما از بنچمارک‌ها برای اجرا.
                      می‌تواند شامل هر دو آرگومان مثبت و منفی باشد:
                      --benchmarks=run_this,also_this,-not_this. اگر
                      هیچ آرگومان مثبتی نباشد، تمام بنچمارک‌ها به‌جز
                      آرگومان‌های منفی اجرا می‌شوند. در غیر این صورت
                      فقط آرگومان‌های مثبت اجرا می‌شوند.
--inherit-environ VAR_LIST
                      فهرست جداشده با کاما از نام متغیرهای محیطی
                      که هنگام اجرای زیرفرآیندهای بنچمارک از محیط
                      والد به ارث برده می‌شوند.
-p PYTHON, --python PYTHON
                      فایل اجرایی پایتون (پیش‌فرض: استفاده از
                      پایتون در حال اجرا)

برای فهرست‌کردن تمام بنچمارک‌ها از python3 -m pyperformance list -b all استفاده کنید..SS list_groups

فهرست گروه‌های بنچمارک Python در حال اجرا.

کاربرد:

pyperformance list_groups [-h] [--manifest MANIFEST]
                          [--inherit-environ VAR_LIST]
                          [-p PYTHON]

گزینه‌ها:

--manifest MANIFEST   فایل مانیفست بنچمارک برای استفاده
--inherit-environ VAR_LIST
                      فهرست جداشده با کاما از نام‌های متغیرهای
                      محیطی که هنگام اجرای زیرپردازش‌های بنچمارک
                      از محیط والد به ارث برده می‌شوند.
-p PYTHON, --python PYTHON
                      فایل اجرایی Python (پیش‌فرض: استفاده از
                      Python در حال اجرا)

venv

عملیات روی محیط مجازی.

عملیات‌ها:

show      نمایش مسیر محیط مجازی و وضعیت آن
          (ایجاد شده یا خیر)
create    ایجاد محیط مجازی
recreate  اجبار به ایجاد مجدد محیط مجازی
remove    حذف محیط مجازی

گزینه‌های عمومی:

--venv VENV           مسیر محیط مجازی
--inherit-environ VAR_LIST
                      فهرست جداشده با کاما از نام‌های متغیرهای
                      محیطی که هنگام اجرای زیرپردازش‌های بنچمارک
                      از محیط والد به ارث برده می‌شوند.
-p PYTHON, --python PYTHON
                      فایل اجرایی Python (پیش‌فرض: استفاده از
                      Python در حال اجرا)

venv show

نمایش مسیر محیط مجازی و وضعیت آن (ایجاد شده یا خیر).

کاربرد:

pyperformance venv show [-h] [--venv VENV]
                        [--inherit-environ VAR_LIST] [-p PYTHON]

pyperformance venv create [-h] [--venv VENV]
                          [--manifest MANIFEST] [-b BM_LIST]
                          [--inherit-environ VAR_LIST]
                          [-p PYTHON]

--manifest MANIFEST   فایل مانیفست محک مورد استفاده
-b BM_LIST, --benchmarks BM_LIST
                      فهرست محک‌های جداشده با کاما برای اجرا. می‌تواند
                      شامل هر دو آرگومان مثبت و منفی باشد:
                      --benchmarks=run_this,also_this,-not_this. اگر
                      هیچ آرگومان مثبتی نباشد، تمام محک‌ها به‌جز
                      آرگومان‌های منفی اجرا خواهند شد. در غیر این
                      صورت تنها آرگومان‌های مثبت اجرا می‌شوند.

venv recreate

ایجاد مجدد اجباری محیط مجازی.

کاربرد:

pyperformance venv recreate [-h] [--venv VENV]
                            [--manifest MANIFEST] [-b BM_LIST]
                            [--inherit-environ VAR_LIST]
                            [-p PYTHON]

گزینه‌ها:

--manifest MANIFEST   فایل مانیفست محک مورد استفاده
-b BM_LIST, --benchmarks BM_LIST
                      فهرست محک‌های جداشده با کاما برای اجرا. می‌تواند
                      شامل هر دو آرگومان مثبت و منفی باشد:
                      --benchmarks=run_this,also_this,-not_this. اگر
                      هیچ آرگومان مثبتی نباشد، تمام محک‌ها به‌جز
                      آرگومان‌های منفی اجرا خواهند شد. در غیر این
                      صورت تنها آرگومان‌های مثبت اجرا می‌شوند.

venv remove

حذف محیط مجازی.

کاربرد:

pyperformance venv remove [-h] [--venv VENV]
                          [--inherit-environ VAR_LIST]
                          [-p PYTHON]

compile             کامپایل و نصب CPython و اجرای محک‌ها روی
                    پایتونِ نصب‌شده
compile_all         کامپایل و نصب CPython و اجرای محک‌ها روی
                    پایتونِ نصب‌شده در تمام شاخه‌ها و بازبینی‌های
                    CONFIG_FILE
upload              بارگذاری نتایج JSON در وب‌سایت Codespeed

[config]
json_dir = ~/prog/python/bench_json
[scm]
repo_dir = ~/prog/python/master
update = True
[compile]
bench_dir = ~/prog/python/bench_tmpdir
[run_benchmark]
system_tune = True
affinity = 2,3

[config]
# دایرکتوری‌ای که فایل‌های JSON در آن نوشته می‌شوند.
# - فایل‌های بارگذاری‌شده به json_dir/uploaded/ منتقل می‌شوند
# - نتایج پایتون وصله‌شده در json_dir/patch/ نوشته می‌شوند
json_dir = ~/json
# اگر True باشد، CPython در حالت اشکال‌زدایی کامپایل می‌شود (LTO و PGO غیرفعال می‌شوند)،
# محک‌ها با --debug-single-sample اجرا می‌شوند و بارگذاری غیرفعال می‌گردد.
#
# از این گزینه برای بررسی سریع یک پیکربندی استفاده کنید.
debug = False
[scm]
# دایرکتوری کد منبع CPython (مخزن Git)
repo_dir = ~/cpython
# مخزن Git به‌روزرسانی شود (git fetch)؟
update = True
# نام ریموت Git، برای ایجاد بازبینیِ
# شاخهٔ Git استفاده می‌شود. به عنوان مثال، از بازبینی 'remotes/origin/3.6'
# برای شاخهٔ '3.6' استفاده کنید.
git_remote = remotes/origin
[compile]
# ایجاد فایل‌ها در bench_dir:
# - bench_dir/bench-xxx.log
# - bench_dir/prefix/: جایی که پایتون در آن نصب می‌شود
# - bench_dir/venv/: محیط مجازی استفاده‌شده توسط pyperformance
bench_dir = ~/bench_tmpdir
# بهینه‌سازی زمان پیوند (LTO)؟
lto = True
# بهینه‌سازی هدایت‌شده با پروفایل (PGO)؟
pgo = True
# کامپایلر آزمایشی درجا (JIT) ساخته شود؟
# مقادیر ممکن عبارتند از:
# - no: (پیش‌فرض) کامپایلر JIT یا مفسر micro-op ساخته نشود.
#   متغیر محیطی جدید PYTHON_JIT تأثیری ندارد.
# - yes: کامپایلر JIT ساخته شده و به‌طور پیش‌فرض فعال شود. از PYTHON_JIT=0 می‌توان
#   برای غیرفعال کردن آن در زمان اجرا استفاده کرد.
# - yes-off: کامپایلر JIT ساخته شود، اما به‌طور پیش‌فرض فعال نشود. از PYTHON_JIT=1 می‌توان
#   برای فعال کردن آن در زمان اجرا استفاده کرد.
# - interpreter: کامپایلر JIT ساخته نشود، اما مفسر micro-op ساخته و فعال شود.
#   این برای کسانی مفید است که در حال توسعه یا اشکال‌زدایی micro-opها هستند
#   (اما نمی‌خواهند با JIT سر و کله بزنند).
#   از PYTHON_JIT=0 می‌توان برای غیرفعال کردن مفسر micro-op در زمان اجرا استفاده کرد.
jit = no
# فهرستی از کتابخانه‌های جداشده با فاصله که package-only هستند،
# یعنی به‌صورت محلی نصب شده‌اند اما در مسیرهای هدر و کتابخانه قرار ندارند.
# برای هر یک از این کتابخانه‌ها، مسیر نصب تعیین شده و یک زیرمسیر مناسب
# به اعلان‌های CFLAGS و LDFLAGS که به configure ارسال می‌شوند افزوده می‌شود.
# به عنوان یک استثنا، پیشوند openssl، در صورت وجود این کتابخانه در اینجا،
# از طریق گزینهٔ --with-openssl ارسال می‌شود. در حال حاضر، این قابلیت
# فقط با Homebrew روی macOS کار می‌کند.
# در صورت اجرا روی macOS با Homebrew، احتمالاً مایلید از این استفاده کنید:
#     pkg_only = openssl readline sqlite3 xz zlib
# نسخهٔ zlib ارائه‌شده به همراه macOS نیز احتمالاً کار می‌کند،
# تا زمانی که هدرهای SDK اپل نصب شده باشند.
pkg_only =
# پایتون نصب شود؟ اگر false باشد، پایتون از دایرکتوری ساخت اجرا می‌شود
#
# هشدار: اجرای پایتون از دایرکتوری ساخت تغییرات ظریفی نسبت به اجرای
# یک پایتونِ نصب‌شده ایجاد می‌کند. علاوه بر این، ایجاد یک محیط مجازی با استفاده
# از پایتون اجراشده از دایرکتوری ساخت در موارد بسیاری با شکست مواجه می‌شود،
# به‌ویژه در پایتون‌های قدیمی‌تر از 3.4. نصب را فقط در صورتی غیرفعال کنید
# که واقعاً بدانید چه کاری انجام می‌دهید!
install = True
# پارامتر '-j' در دستور 'make' مشخص شود
jobs = 8
[run_benchmark]
# دستور "sudo python3 -m pyperf system tune" پیش از اجرای محک‌ها اجرا شود؟
system_tune = True
# گزینهٔ --manifest برای 'pyperformance run'
manifest =
# گزینهٔ --benchmarks برای 'pyperformance run'
benchmarks =
# گزینهٔ --affinity برای 'pyperf system tune' و 'pyperformance run'
affinity =
# فایل JSON تولیدشده بارگذاری شود؟
#
# بارگذاری در پایتون وصله‌شده، در حالت اشکال‌زدایی یا در صورت غیرفعال
# بودن install غیرفعال است.
upload = False
# گزینهٔ --rigorous برای 'pyperformance run'
rigorous = False
# پیکربندی برای بارگذاری نتایج در یک وب‌سایت Codespeed
[upload]
url =
environment =
executable =
project =
[compile_all]
# فهرست شاخه‌های Git مربوط به CPython
branches = default 3.6 3.5 2.7
# فهرست بازبینی‌ها برای سنجش با compile_all
[compile_all_revisions]
# فهرستی از 'sha1=' (شاخهٔ پیش‌فرض: 'master') یا 'sha1=branch'
# استفاده‌شده توسط دستور "pyperformance compile_all"
# مثلاً:
11159d2c9d6616497ef4cc62953a5c3cc8454afb =

pyperformance compile [-h] [--patch PATCH] [-U] [-T]
                      [--inherit-environ VAR_LIST] [-p PYTHON]
                      config_file revision [branch]

config_file           نام فایل پیکربندی
revision              بازبینی محک‌زده‌شده Python
branch                شاخه Git

--patch PATCH         فایل وصله
-U, --no-update       مخزن Git به‌روزرسانی نشود
-T, --no-tune         دستور 'pyperf system tune' برای تنظیم
                      سیستم جهت اجرای محک‌ها اجرا نشود
--inherit-environ VAR_LIST
                      فهرست جداشده با کاما از نام‌های متغیرهای محیطی
                      که هنگام اجرای زیرپردازش‌های محک‌زنی از
                      محیط والد به ارث برده می‌شوند.
-p PYTHON, --python PYTHON
                      فایل اجرایی Python (پیش‌فرض: استفاده از
                      Python در حال اجرا)

compile_all

کامپایل تمام شاخه‌ها و بازبینی‌های CONFIG_FILE.

کاربرد:

pyperformance compile_all [-h] [--inherit-environ VAR_LIST] [-p PYTHON]
                          config_file

آرگومان‌های موضعی:

config_file           نام فایل پیکربندی

گزینه‌ها:

--inherit-environ VAR_LIST
                      فهرست جداشده با کاما از نام‌های متغیرهای محیطی
                      که هنگام اجرای زیرپردازش‌های محک‌زنی از
                      محیط والد به ارث برده می‌شوند.
-p PYTHON, --python PYTHON
                      فایل اجرایی Python (پیش‌فرض: استفاده از
                      Python در حال اجرا)

pyperformance upload [-h] [--inherit-environ VAR_LIST] [-p PYTHON]
                     config_file json_file

config_file           نام فایل پیکربندی
json_file             نام فایل JSON

--inherit-environ VAR_LIST
                      فهرست جداشده با کاما از نام‌های متغیرهای
                      محیطی که هنگام اجرای زیرپردازش‌های محک‌زنی
                      از محیط والد به ارث برده می‌شوند.
-p PYTHON, --python PYTHON
                      فایل اجرایی Python (پیش‌فرض: استفاده از
                      Python در حال اجرا)

چگونگی دستیابی به محک‌های پایدار

محیط مجازی pyperformance

برای اجرای محک‌ها، pyperformance ابتدا یک محیط مجازی ایجاد می‌کند. این ابزار پیش‌نیازها را با نسخه‌های مشخص نصب می‌کند تا محیطی بازتولیدپذیر فراهم شود. Python سیستمی ممکن است ماژول‌های ناشناخته‌ای با نسخه‌های نامشخص داشته باشد و همچنین ممکن است فایل‌های .pth داشته باشد که هنگام راه‌اندازی Python اجرا می‌شوند و می‌توانند رفتار Python را تغییر دهند یا دست‌کم راه‌اندازی آن را کُند کنند.

هدف pyperformance چیست

یک محک همیشه برای هدفی مشخص نوشته می‌شود. بسته به این‌که محک چگونه نوشته شده و چگونه اجرا شود، نتیجه می‌تواند متفاوت باشد و در نتیجه مفهوم متفاوتی داشته باشد.

مجموعه محک‌های pyperformance چندین هدف را دنبال می‌کند:

لحاظ کردن داده‌های پرت و جهش‌ها

علاوه بر این، در حالی که مستندات pyperf نحوه کاهش نویز تصادفی سیستم و سایر برنامه‌ها را توضیح می‌دهد، برخی از بنچمارک‌ها از سیستم استفاده می‌کنند و بنابراین بسته به بار کاری سیستم، کارایی I/O و غیره می‌توانند زمان‌بندی‌های متفاوتی داشته باشند. داده‌های پرت و جهش‌های موقت در نتایج به‌طور خودکار حذف نمی‌شوند: مقادیر به جای استفاده از میانه و انحراف مطلق میانه که داده‌های پرت را نادیده می‌گیرند، با محاسبه میانگین (میانگین حسابی) و انحراف معیار که این جهش‌ها را "شامل می‌شود" خلاصه می‌گردند. این یک انتخاب آگاهانه است، زیرا برنامه‌های در حال اجرا در محیط عملیاتی تحت تأثیر چنین کندی‌های موقتی ناشی از عوامل مختلفی مانند زباله‌روبی یا کامپایل JIT قرار می‌گیرند.

گرم‌کردن و وضعیت پایدار

یک موضوع بینابینی، "گرم‌کردن" (warmups) بنچمارک‌ها است. مقادیر اولیه هر فرایند کارگر (worker process) همواره کندتر هستند: در بهترین حالت 10% کندتر، و در PyPy می‌تواند 1000% یا بیشتر کندتر باشد. در حال حاضر (2017-04-14)، pyperformance مقادیر اولیه‌ای را که گرم‌کردن در نظر گرفته می‌شوند نادیده می‌گیرد تا زمانی که بنچمارک به "وضعیت پایدار" (steady state) خود برسد. این "وضعیت پایدار" می‌تواند شامل جهش‌های موقت به ازای هر 5 مقدار باشد (برای نمونه: ناشی از زباله‌روب)، و همچنان می‌تواند بهینه‌سازی‌های بیشتری از کامپایلر JIT را به دنبال داشته باشد اما با تأثیری "اندک" بر میانگین pyperformance.

جهت شفافیت، "گرم‌کردن" و "وضعیت پایدار" موضوعاتی در حال توسعه و مباحثی بسیار پیچیده هستند، به‌ویژه در PyPy و کامپایلر JIT آن.

نکات

ابزاری برای مقایسه کارایی دو پیاده‌سازی پایتون.

دستور pyperformance آزمون تی دو دامنه‌ای استیودنت (Student's two-tailed T test) را با سطح اطمینان 95% روی نتایج بنچمارک اجرا می‌کند تا نشان دهد که آیا اختلاف مشاهده‌شده از نظر آماری معنادار است یا خیر.

حذف گزینه -b منجر به اجرای گروه پیش‌فرض بنچمارک‌ها می‌شود؛ حذف -b همانند مشخص کردن -b default است.

برای اجرای تمام بنچمارک‌هایی که pyperformance می‌شناسد، از -b all استفاده کنید. برای مشاهده فهرست کامل همه بنچمارک‌های موجود، از --help استفاده کنید.

مشخص کردن منفی بنچمارک‌ها نیز پشتیبانی می‌شود: -b -2to3 همه بنچمارک‌های گروه پیش‌فرض را به جز 2to3 اجرا خواهد کرد (این کار مشابه -b default,-2to3 است). گزینه -b all,-django همه بنچمارک‌ها به جز بنچمارک الگوهای Django را اجرا می‌کند. گروه‌های منفی (مانند -b -default) پشتیبانی نمی‌شوند. بنچمارک‌های مثبت پیش از کسر بنچمارک‌های منفی تجزیه می‌شوند.

اگر گزینه --track_memory داده شود، pyperformance به‌طور مداوم مصرف حافظه بنچمارک را نمونه‌برداری می‌کند. این ویژگی در حال حاضر فقط روی لینوکس 2.6.16 و بالاتر، یا ویندوز با PyWin32 کار می‌کند. از آنجا که --track_memory هنگام جمع‌آوری اندازه‌گیری‌های حافظه نوسان (jitter) کارایی ایجاد می‌کند، در گزارش نهایی تنها مصرف حافظه گزارش می‌شود.

گروه‌های دردسترس

مشابه بنچمارک‌های تکی (به "بنچمارک‌های دردسترس" در زیر نگاه کنید)، استفاده از گروه‌های بنچمارک نیز پس از گزینه -b مجاز است. از دستور python3 -m pyperformance list_groups برای فهرست کردن گروه‌ها و بنچمارک‌های آن‌ها استفاده کنید.

گروه‌های بنچمارک دردسترس:

از دستور python3 -m pyperformance list_groups برای فهرست کردن گروه‌ها و بنچمارک‌های آن‌ها استفاده کنید..SS بنچمارک‌های موجود

در pyperformance 0.5.5، ریزبنچمارک‌های زیر حذف شده‌اند زیرا بسیار کوتاه‌اند، نمایندهٔ برنامه‌های کاربردی واقعی نیستند و بیش از حد ناپایدارند.

2to3

اجرای ابزار 2to3 بر روی دایرکتوری pyperformance/benchmarks/data/2to3/: رونوشتی از ۹ فایل django/core/*.py مربوط به Django 1.1.4.

اجرای دستور python -m lib2to3 -f all <files> که در آن python همان sys.executable است. بنابراین این آزمون تنها کارایی خود Python را نمی‌سنجد، بلکه کارایی ماژول lib2to3 را نیز می‌سنجد که می‌تواند بسته به نسخهٔ Python تغییر کند.

نکته:

async_tree

بنچمارک بار کاری ناهمگام (Async)، که تابع asyncio.gather() را روی یک درخت (با عمق ۶ سطح و ۶ شاخه در هر سطح) فراخوانی می‌کند، در حالی که گره‌های برگ کارهای [احتمالاً] ناهمگام را شبیه‌سازی می‌کنند (بسته به گونهٔ بنچمارک). گونه‌های موجود:

این بنچمارک‌ها همچنین در صورت دردسترس بودن، دارای گونهٔ "eager" هستند که از eager task factory ماژول asyncio استفاده می‌کند.

base64

سنجش کارایی توابع کدگذاری و رمزگشایی ماژول base64. هر الگوریتم دارای گونه‌های _small و _large است که هر دو عمل کدگذاری و رمزگشایی را در یک بنچمارک واحد می‌سنجند:

بنچمارک‌های موجود:

ماژول base64 را ببینید: https://docs.python.org/dev/library/base64.html..SS chameleon

رندر کردن یک قالب با استفاده از ماژول chameleon برای ایجاد یک جدول HTML با ۵۰۰ سطر و ۱۰ ستون.

کلاس chameleon.PageTemplate را ببینید.

chaos

ایجاد فرکتال‌های مشابه بازی آشوب (chaosgame). گزینه‌های خط فرمان:

--thickness THICKNESS
                      ضخامت (پیش‌فرض: 0.25)
--width WIDTH         عرض تصویر (پیش‌فرض: 256)
--height HEIGHT       ارتفاع تصویر (پیش‌فرض: 256)
--iterations ITERATIONS
                      تعداد تکرارها (پیش‌فرض: 5000)
--filename FILENAME.PPM
                      نام فایل خروجی تصویر PPM
--rng-seed RNG_SEED   بذر تولیدکننده عدد تصادفی (پیش‌فرض: 1234)

هنگامی که گزینهٔ --filename استفاده می‌شود، زمان‌سنجی شامل زمان ایجاد فایل PPM نیز می‌شود.

حق نشر (C) 2005 Carl Friedrich Bolz [تصویر: بازی آشوب، بنچ‌مارک bm_chaos] [تصویر]

تصویر تولیدشده توسط bm_chaos (روی CPython 3.5 ۳ ثانیه طول کشید) با دستور:

python3 pyperformance/benchmarks/bm_chaos.py --worker -l1 -w0 -n1 --filename chaos.ppm --width=512 --height=512 --iterations 50000

crypto_pyaes

بنچ‌مارک یک پیاده‌سازی پایتون خالص از رمز قطعه‌ای AES در حالت CTR با استفاده از ماژول pyaes.

این بنچ‌مارک روی CPython 3 در مقایسه با CPython 2.7 کندتر است، زیرا CPython 3 دیگر نوع دادهٔ "small int" (int) را ندارد. نوع int در CPython 3 اکنون همیشه دارای اندازهٔ دلخواه است، مانند نوع long در CPython 2.7.

پروژهٔ pyaes در https://github.com/ricmoo/pyaes را ببینید: یک پیاده‌سازی پایتون خالص از الگوریتم رمز قطعه‌ای AES و حالت‌های عملیاتی رایج (CBC، CFB، CTR، ECB و OFB).

deepcopy

بنچ‌مارک متد copy.deepcopy پایتون. متد deepcopy روی یک دیکشنری تو در تو و یک dataclass اجرا می‌شود.

deltablue

بنچ‌مارک DeltaBlue

پورت‌شده برای پروژهٔ PyPy. با مشارکت Daniel Lindsley

این پیاده‌سازی از بنچ‌مارک DeltaBlue مستقیماً از کد منبع V8 در https://github.com/v8/v8/blob/master/benchmarks/deltablue.js پورت شده است، که آن هم به نوبهٔ خود از پیاده‌سازی Smalltalk توسط John Maloney و Mario Wolczko مشتق شده بود. پیاده‌سازی اصلی Javascript تحت پروانهٔ GPL منتشر شده بود.

در بخش‌هایی به‌روزرسانی شده تا با سبک پایتون سازگارتر باشد (حلقه‌های for روی مجموعه‌ها، چند متد جادویی، استفاده از یک لیست برای OrderedCollection، و تغییر مواردی که این مجموعه‌ها را دستکاری می‌کردند به متدهای توکار) اما تا حد زیادی ساختار و منطق نسخهٔ اصلی را حفظ کرده است. (اه!)

django_template

استفاده از سیستم قالب‌بندی Django برای ساخت یک جدول HTML با ۱۵۰×۱۵۰ خانه.

از کلاس‌های Context و Template از ماژول django.template استفاده می‌کند.

dulwich_log

پیمایش روی کامیت‌های مخزن گیت asyncio با استفاده از ماژول Dulwich. از مخزن pyperformance/benchmarks/data/asyncio.git/ استفاده می‌کند.

شبه‌کد بنچ‌مارک:

repo = dulwich.repo.Repo(repo_path)
head = repo.head()
for entry in repo.get_walker(head):
    pass

پروژهٔ Dulwich در https://www.dulwich.io را ببینید..SS docutils

استفاده از Docutils https://docutils.sourceforge.io برای تبدیل مستندات Docutils به HTML. نمونه‌ای از ساخت یک مجموعه مستندات با اندازه متوسط.

fannkuch

پروژه The Computer Language Benchmarks Game: http://benchmarksgame.alioth.debian.org

ارائه‌شده توسط Sokolov Yura، اصلاح‌شده توسط Tupteq.

float

بنچمارک ساختگی با محاسبات سنگین ممیز شناور که در اصل توسط Factor استفاده شده است.

ایجاد ۱۰۰٬۰۰۰ شیء point که math.cos()، math.sin() و math.sqrt() را محاسبه می‌کنند.

تغییریافته در نسخه 0.5.5: استفاده از __slots__ در کلاس Point جهت تمرکز بنچمارک روی ممیز شناور به جای آزمودن کارایی ویژگی‌های کلاس.

genshi

رندر کردن یک قالب با استفاده از Genshi (ماژول genshi.template):

پروژه Genshi را ببینید: http://pythonhosted.org/Genshi.

go

هوش مصنوعی برای انجام بازی تخته‌ای Go. از Zobrist hashing استفاده می‌کند https://en.wikipedia.org/wiki/Zobrist_hashing.

hexiom

حل‌کننده بازی تخته‌ای Hexiom (به‌طور پیش‌فرض سطح ۲۵). گزینه خط فرمان:

--level {2,10,20,25,30,36}   Hexiom board level (default: 25)

hg_startup

دریافت صفحه راهنمای Mercurial.

سنجش کارایی دستور python path/to/hg help با استفاده از pyperf.Runner.bench_command()، که در آن python همان sys.executable و path/to/hg برنامه Mercurial نصب‌شده در یک محیط مجازی است.

تابع bench_command() خروجی‌های stdout و stderr را به /dev/null هدایت می‌کند.

پروژه Mercurial را ببینید: https://www.mercurial-scm.org.

html5lib

تجزیه فایل HTML با نام pyperformance/benchmarks/data/w3_tr_html5.html (۱۳۲ کیلوبایت) با استفاده از html5lib. این فایل همان مشخصات HTML 5 است، اما کوتاه شده است تا تجزیه آن در کمتر از ۱ ثانیه (حدود ۲۵۰ میلی‌ثانیه) انجام شود.

روی CPython، پس از ۳ مرحله گرم‌کردن (warmup)، بنچمارک وارد چرخه‌ای از ۵ مقدار می‌شود: هر پنجمین مقدار ۱۰٪ کندتر است. نمودار ۱ اجرا از ۵۰ مقدار (مرحله گرم‌کردن ترسیم نشده است): [image: html5lib values] [image]

پروژه html5lib را ببینید: https://html5lib.readthedocs.io.

json_dumps, json_loads

سنجش کارایی توابع dumps() و loads() از ماژول json.

گزینه خط فرمان bm_json_dumps.py:

--cases CASES         Comma separated list of cases. Available cases: EMPTY,
                      SIMPLE, NESTED, HUGE. By default, run all cases.

format
silent
simple

mako

استفاده از سیستم قالب Mako برای ساخت یک جدول HTML با ابعاد 150x150 سلول. شامل:

پروژهٔ Mako را ببینید http://docs.makotemplates.org.

mdp

نبرد همراه با خسارت‌ها و مرتب‌سازی توپولوژیکی گره‌ها در یک گراف.

مرتب‌سازی توپولوژیکی را ببینید https://en.wikipedia.org/wiki/Topological_sorting.

meteor_contest

حل‌کننده برای صفحه پازل Meteor.

صفحه پازل Meteor: http://benchmarksgame.alioth.debian.org/u32/meteor-description.html#meteor

پروژهٔ The Computer Language Benchmarks Game: http://benchmarksgame.alioth.debian.org

ارائه شده توسط Daniel Nanz، 2008-08-21.

nbody

بنچمارک N-body از The Computer Language Benchmarks Game. میکروبنچمارک روی محاسبات ممیز شناور.

این مورد برای پشتیبانی از perf.py متعلق به Unladen Swallow در نظر گرفته شده است. بر همین اساس، نسبت به نسخهٔ Shootout تغییر یافته است:

برگرفته از: <http://benchmarksgame.alioth.debian.org/u64q/program.php?test=nbody&lang=python3&id=1>

ارائه شده توسط Kevin Carson. تغییریافته توسط Tupteq، Fredrik Johansson و Daniel Nanz.

python_startup, python_startup_nosite

اجرای بنچمارک با pyperf.Runner.bench_command()..SS nqueens

حل‌کننده ساده و جستجوی جامع (brute-force) برای معمای N-وزیر.

معمای هشت وزیر را ببینید: https://en.wikipedia.org/wiki/Eight_queens_puzzle.

pathlib

سنجش کارایی عملیات ماژول pathlib از کتابخانه استاندارد.

این بنچمارک بر ایجاد اشیاء کوچک، الگوخوانی مسیر (globbing) و فراخوانی‌های سیستمی فشار وارد می‌کند.

مستندات ماژول pathlib را ببینید: https://docs.python.org/dev/library/pathlib.html.

pickle

بنچمارک‌های pickle (سریال‌سازی):

بنچمارک‌های unpickle (دی‌سریال‌سازی):

pidigits

محاسبه ۲٬۰۰۰ رقم از π. این بنچمارک بر محاسبات اعداد صحیح بزرگ فشار می‌آورد.

گزینه‌ خط فرمان:

--digits DIGITS     تعداد ارقام محاسبه‌شده پی (پیش‌فرض: 2000)

برگرفته از کد در: http://benchmarksgame.alioth.debian.org

pyflate

بنچمارک ازفشرده‌ساز bzip2 با پایتون خالص: باز کردن فایل pyperformance/benchmarks/data/interpreter.tar.bz2 در حافظه از حالت فشرده.

کپی‌رایت 2006--2007-01-21 متعلق به Paul Sladen: http://www.paul.sladen.org/projects/compression

شما می‌توانید این کد را تحت هر یک از مجوزهای سازگار با DFSG (مانند BSD یا GNU GPLv2) استفاده و توزیع کنید.

رمزگشا/ازفشرده‌ساز مستقل DEFLATE (gzip) و bzip2 با پایتون خالص. این ابزار احتمالاً برای اهداف پژوهشی/ایجاد نمایه کاربردی‌تر است؛ مسلماً در بخش تطبیق‌دهنده بیتی هافمن هنوز جای بهبود وجود دارد.

در پیاده‌سازیِ موجود، اشکال شناخته‌شده‌ای در رمزگشایی BWT مربوط به رشته‌های تکراری وجود داشت. این مشکل دور زده شده است؛ 'bwt_reverse()' را ببینید. در تمام موارد آزمون خروجی صحیح تولید می‌شود، اما در حالت ایده‌آل باید ریشه مشکل پیدا می‌شد...

raytrace

ردیاب پرتو (raytracer) ساده.

گزینه‌های خط فرمان:

--width WIDTH             عرض تصویر (پیش‌فرض: 100)
--height HEIGHT           ارتفاع تصویر (پیش‌فرض: 100)
--filename FILENAME.PPM   نام فایل خروجی تصویر PPM

این فایل حاوی تعاریفی برای یک ردیاب پرتو ساده است. کپی‌رایت Callum و Tony Garnock-Jones، سال 2008.

این فایل را می‌توان آزادانه تحت مجوز MIT بازتوزیع کرد، http://www.opensource.org/licenses/mit-license.php

از https://leastfixedpoint.com/tonyg/kcbbs/lshift_archive/toy-raytracer-in-python-20081029.html [تصویر: Pure Python raytracer] [تصویر]

تصویر تولیدشده با دستور (در CPython 3.5 حدود 68.4 ثانیه زمان برد):

python3 pyperformance/benchmarks/bm_raytrace.py --worker --filename=raytrace.ppm  -l1 -w0 -n1 -v --width=800 --height=600

regex_dna

بنچمارک regex DNA با استفاده از "fasta" برای ایجاد مورد آزمون.

مسابقه بنچمارک زبان‌های رایانه‌ای (The Computer Language Benchmarks Game) http://benchmarksgame.alioth.debian.org

برنامه شماره ۵ regex-dna در Python 3: ارائه‌شده توسط Dominique Wahli 2to3 اصلاح‌شده توسط Justin Peel

برنامه شماره ۳ fasta در Python 3: اصلاح‌شده توسط Ian Osgood اصلاح مجدد توسط Heinrich Acker اصلاح‌شده توسط Justin Peel اصلاح‌شده توسط Christopher Sean Forgeron

regex_effbot

برخی از بنچمارک‌های اصلی مورد استفاده برای تنظیم و بهینه‌سازی موتور regex فعلی در خط اصلی توسعهٔ Python.

regex_v8

پورت بنچمارک regex موتور V8 برای Python.

تولیدشده به‌صورت خودکار در 2009-01-30.

این بنچمارک با بارگذاری ۵۰ صفحه از محبوب‌ترین صفحات وب و ثبت تمامی عملیات regexp انجام‌شده تولید شده است. به هر عملیات وزنی اختصاص می‌یابد که از تخمین محبوبیت صفحاتی که در آن‌ها رخ می‌دهد و تعداد دفعات اجرای آن هنگام بارگذاری هر صفحه محاسبه شده است. در نهایت، حروف نویسه‌ای در داده‌ها با استفاده از ROT13 به‌گونه‌ای رمزگذاری شده‌اند که بر نحوهٔ تطابق regexp با ورودی‌هایشان تأثیری نداشته باشد.

برای Unladen Swallow به Python پورت شده است. نسخهٔ اصلی JS را می‌توان در https://github.com/v8/v8/blob/master/benchmarks/regexp.js، r1243 یافت.

richards

بنچمارک کلاسیک Richards در Python.

بر پایه یک نسخهٔ Java.

بر اساس نسخهٔ اصلی نوشته‌شده به زبان BCPL توسط Dr Martin Richards در سال ۱۹۸۱ در آزمایشگاه رایانهٔ دانشگاه کمبریج، انگلستان و یک نسخهٔ C++ برگرفته از نسخهٔ Smalltalk نوشته‌شده توسط L Peter Deutsch.

نسخهٔ Java: حق نشر (C) ۱۹۹۵ Sun Microsystems, Inc. ترجمه‌شده از C++ توسط Mario Wolczko، حلقه بیرونی اضافه‌شده توسط Alex Jacoby.

scimark

spectral_norm

سایت MathWorld: "مسائل چالش صد دلاری، صد رقمی"، چالش شماره ۳. http://mathworld.wolfram.com/Hundred-DollarHundred-DigitChallengeProblems.html

مسابقه بنچمارک زبان‌های رایانه‌ای (The Computer Language Benchmarks Game) http://benchmarksgame.alioth.debian.org/u64q/spectralnorm-description.html#spectralnorm

ارائه‌شده توسط Sebastien Loisel. تصحیح‌شده توسط Isaac Gouy. افزایش سرعت توسط Josh Goldfoot. افزایش سرعت با ترفندهای نامتعارف (dirtily sped up) توسط Simon Descarpentries. پیاده‌سازی همزمانی توسط Jason Stitt..SS sqlalchemy_declarative, sqlalchemy_imperative

پروژهٔ SQLAlchemy را ببینید: https://www.sqlalchemy.org.

sqlite_synth

محک توابع تجمیعی پایتون برای SQLite.

هدف این محک (نوشته‌شده برای PyPy) سنجش کارایی CFFI و تبادلات زیاد رفت‌وبرگشتی میان SQLite و Python است. بنابراین، خود پرس‌وجوها بسیار ساده هستند.

پروژهٔ SQLite را در https://www.sqlite.org و ماژول sqlite3 پایتون (stdlib) را در https://docs.python.org/dev/library/sqlite3.html ببینید.

sympy

محک روی ماژول sympy:

در CPython، برخی از مقادیر sympy_sum بین ۵٪ تا ۱۰٪ کندتر هستند:

$ python3 -m pyperf dump sympy_sum.json
Run 1: 1 warmup, 50 values, 1 loop
- warmup 1: 404 ms (+63%)
- value 1: 244 ms
- value 2: 245 ms
- value 3: 258 ms <----
- value 4: 245 ms
- value 5: 245 ms
- value 6: 279 ms (+12%) <----
- value 7: 246 ms
- value 8: 244 ms
- value 9: 245 ms
- value 10: 255 ms <----
- value 11: 245 ms
- value 12: 245 ms
- value 13: 256 ms <----
- value 14: 248 ms
- value 15: 245 ms
- value 16: 245 ms
...

نمودار ۱ اجرا از ۵۰ مقدار (مرحلهٔ گرم‌کردن [warmup] رسم نشده است): [تصویر: مقادیر sympy_sum] [تصویر]

پروژهٔ sympy را ببینید: http://www.sympy.org.

telco

محک Telco برای سنجش کارایی محاسبات ده‌دهی (اعشاری):

این محک پایتون با ماژول decimal پیاده‌سازی شده است.

ماژول decimal پایتون (stdlib) را ببینید: https://docs.python.org/dev/library/decimal.html..SS tornado_http

بنچمارک سرور HTTP مربوط به ماژول tornado

پروژه Tornado را ببینید http://www.tornadoweb.org.

unpack_sequence

میکروبنچمارک برای باز کردن (unpacking) لیست‌ها و تاپل‌ها.

شبه‌کد:

a, b, c, d, e, f, g, h, i, j = to_unpack

که در آن to_unpack برابر با tuple(range(10)) یا list(range(10)) است.

xml_etree

بنچمارک API مربوط به ElementTree از ماژول xml.etree:

ماژول xml.etree.ElementTree پایتون (stdlib) را ببینید https://docs.python.org/dev/library/xml.etree.elementtree.html.

استفاده از بنچمارک‌های سفارشی

برای استفاده از بنچمارک‌های سفارشی، باید از گزینه خط فرمان --manifest استفاده کرده و مسیر فایل مانیفست توصیف‌کننده آن بنچمارک‌ها را ارائه دهید.

قالب‌های فایل pyperformance

pyperformance از دو قالب فایل برای شناسایی بنچمارک‌ها استفاده می‌کند:

برای هر بنچمارک، دو فایل الزامی و چندین فایل اختیاری وجود دارد. انتظار می‌رود این فایل‌ها در یک ساختار دایرکتوری مشخص قرار داشته باشند (مگر اینکه در متادیتا سفارشی‌سازی شده باشد).

این ساختار (به زیر مراجعه کنید) به گونه‌ای است که نگهداری یک بنچمارک (یا مجموعه‌ای از بنچمارک‌ها) در GitHub و توزیع آن در PyPI را آسان می‌کند. همچنین انتشار بنچمارک‌های یک پروژه پایتون را ساده می‌سازد. راهکار جایگزین، ارجاع دادن افراد به یک مخزن است.

بنچمارک‌ها می‌توانند متادیتا را از فایل‌های متادیتای دیگر به ارث ببرند. این قابلیت برای نگهداری متادیتای مشترک یک مجموعه بنچمارک (مانند "version") در یک فایل مفید است. به همین ترتیب، بنچمارک‌های یک پروژه پایتون می‌توانند متادیتا را از فایل pyproject.toml پروژه به ارث ببرند.

گاهی اوقات یک بنچمارک دارای یک یا چند نگارش متغیر (variant) است که با استفاده از همان اسکریپت اجرا می‌شوند. چنین متغیرهایی بدون نیاز به تلاش اضافی زیاد توسط pyperformance پشتیبانی می‌شوند.

ساختار دایرکتوری بنچمارک

به‌طور معمول یک بنچمارک ساختاری به این شکل دارد:

bm_NAME/
   data/  # if needed
   requirements.txt  # lock file, if any
   pyproject.toml
   run_benchmark.py

(به پیشوند "bm_" در نام دایرکتوری توجه کنید.)

فایل "pyproject.toml" حاوی متادیتا است. فایل "run_benchmark.py" کد واقعی بنچمارک را در خود دارد. هر دو مورد الزامی هستند.

pyperformance با فایل متادیتا به عنوان منبع بنیادین اطلاعات درباره یک بنچمارک رفتار می‌کند. مانیفست برای یک مجموعه بنچمارک، در عمل یک نگاشت از نام‌ها به فایل‌های متادیتا است. بنابراین فایل متادیتا ضروری است. این فایل می‌تواند در هر کجای دیسک قرار گیرد. با این حال، اگر در ساختاری که در بالا توضیح داده شد قرار نداشته باشد، متادیتا باید مشخص کند که سایر فایل‌ها در کجا قرار دارند.

به غیر از آن، تنها یک اسکریپت بنچمارک (مانند "run_benchmark.py" در بالا) مورد نیاز است. تمام فایل‌های دیگر اختیاری هستند.

هنگامی که یک بنچمارک دارای متغیرها (variants) باشد، هر کدام فایل متادیتای اختصاصی خود را در کنار "pyproject.toml" معمولی و با نام "bm_NAME.toml" خواهند داشت. (به پیشوند "bm_" توجه کنید.) قالب فایل‌های متادیتای این متغیرها کاملاً یکسان است. pyperformance به همان صورت با آن‌ها رفتار می‌کند، با این تفاوت که "pyproject.toml" همجوار به‌طور پیش‌فرض به ارث برده می‌شود..SS فایل‌های مانیفست (Manifest Files)

یک فایل مانیفست مجموعه‌ای از بنچ‌مارک‌ها و همچنین (به‌طور اختیاری) نحوه گروه‌بندی آن‌ها را مشخص می‌کند. pyperformance از مانیفست برای تعیین اینکه کدام بنچ‌مارک‌ها برای اجرا در دسترس هستند (و در نتیجه کدام موارد به‌طور پیش‌فرض اجرا شوند) استفاده می‌کند.

یک مانیفست معمولاً به این صورت است:

[benchmarks]
name        metafile
bench1      somedir/bm_bench1/pyproject.toml
bench2      somedir/pyproject.toml
bench3      ../anotherdir

بخش "benchmarks" جدولی با ردیف‌هایی از مقادیر جداشده با تب (tab-separated-values) است. مقدار "name" نحوه شناسایی بنچ‌مارک توسط pyperformance را تعیین می‌کند. مقدار "metafile" مکانی است که pyperformance در آن به دنبال متادیتای بنچ‌مارک می‌گردد. اگر یک metafile یک دایرکتوری باشد، در آن دایرکتوری به دنبال "pyproject.toml" می‌گردد.

گروه‌های بنچ‌مارک (Benchmark Groups)

بخش‌های دیگر در فایل مانیفست مربوط به گروه‌بندی هستند:

[benchmarks]
name        metafile
bench1      somedir/bm_bench1
bench2      somedir/bm_bench2
bench3      anotherdir/mybench.toml
[groups]
tag1
tag2
[group default]
bench2
bench3
[group tricky]
bench2

بخش "groups" گروه‌های در دسترسی را مشخص می‌کند که ممکن است توسط برچسب‌های بنچ‌مارک شناسایی شوند (درباره برچسب‌ها در بخش متادیتا در زیر را ببینید). هر بخش گروه دیگری در مانیفست به‌طور خودکار به فهرست گروه‌های موجود اضافه می‌شود.

اگر هیچ گروه "default" مشخص نشده باشد، گروهی به‌طور خودکار با تمام بنچ‌مارک‌های موجود در بخش "benchmarks" اضافه می‌شود. اگر هیچ بخش "groups" و هیچ بخش گروه مجزایی (به جز "default") وجود نداشته باشد، مجموعه تمام برچسب‌های بنچ‌مارک‌های شناخته‌شده به‌عنوان "groups" در نظر گرفته می‌شود. همچنین گروهی با نام "all" به‌طور خودکار اضافه می‌شود که شامل تمام بنچ‌مارک‌های شناخته‌شده است.

بنچ‌مارک‌ها می‌توانند با استفاده از یک پیشوند - (منها) از یک گروه حذف شوند. هر بنچ‌مارکی که از قبل در فهرست باشد (در آن نقطه) و مطابقت داشته باشد، از فهرست حذف خواهد شد. اگر اولین ورودی در بخش یک حذف (استثنا) باشد، ابتدا تمام بنچ‌مارک‌های شناخته‌شده به فهرست اضافه می‌شوند و سپس حذف اعمال می‌گردد.

برای مثال:

[benchmarks]
name        metafile
bench1      somedir/bm_bench1
bench2      somedir/bm_bench2
bench3      anotherdir/mybench.toml
[group default]
-bench1

این بدان معناست که به‌طور پیش‌فرض تنها "bench2" و "bench3" اجرا می‌شوند..SS ادغام مانیفست‌ها (Merging Manifests)

برای ترکیب مانیفست‌ها، از بخش [includes] در مانیفست استفاده کنید:

[includes]
project1/benchmarks/MANIFEST
project2/benchmarks/MANIFEST
<default>

توجه داشته باشید که <default> همانند گنجاندن فایل مانیفست برای بنچمارک‌های پیش‌فرض pyperformance است.

مجموعه بنچمارک محلی (A Local Benchmark Suite)

اغلب پروژه‌ها بیش از یک بنچمارک دارند که با آن‌ها به عنوان یک مجموعه رفتار می‌شود. pyperformance این موضوع را بدون نیاز به هیچ کار اضافی مدیریت می‌کند.

در دایرکتوری حاوی فایل مانیفست، همه بنچمارک‌ها را قرار دهید. سپس عبارت <local> را در ستون "metafile" بگذارید، مانند این:

[benchmarks]
name        metafile
bench1      <local>
bench2      <local>
bench3      <local>
bench4      <local>
bench5      <local>

این ابزار به دنبال DIR/bm_NAME/pyproject.toml خواهد گشت.

اگر متغیرها یا گونه‌ها (variants) نیز وجود دارند، بنچمارک اصلی را در مقدار "metafile" مشخص کنید، مانند این:

[benchmarks]
name        metafile
bench1      <local>
bench2      <local>
bench3      <local>
variant1    <local:bench3>
variant2    <local:bench3>

ابزار pyperformance به دنبال DIR/bm_BASE/bm_NAME.toml می‌گردد، که در آن "BASE" بخش پس از "local:" است.

مجموعه بنچمارک یک پروژه (A Project's Benchmark Suite)

یک پروژه پایتون می‌تواند مجموعه بنچمارک خود را با قرار دادن مسیر فایل مانیفست در بالاترین سطح فایل pyproject.toml پروژه مشخص کند. مانیفست‌های اضافی را نیز می‌توان مشخص کرد:

[tool.pyperformance]
manifest = "..."
manifests = ["...", "..."]

(یادآوری: این pyproject.toml است، نه فایل مانیفست.)

فایل‌های فراداده بنچمارک (Benchmark Metadata Files)

فایل فراداده یک بنچمارک (معمولاً pyproject.toml) از قالبی پیروی می‌کند که در PEP 621 https://www.python.org/dev/peps/pep-0621 و PEP 518 https://www.python.org/dev/peps/pep-0518 مشخص شده است. بنابراین دو بخش پشتیبانی‌شده در این فایل وجود دارد: "project" و "tool.pyperformance".

یک فایل فراداده معمولی شبیه به این خواهد بود:

[project]
version = "0.9.1"
dependencies = ["pyperf"]
dynamic = ["name"]
[tool.pyperformance]
name = "my_benchmark"

یک نمونه بسیار دقیق‌تر و با جزئیات بیشتر می‌تواند شبیه به این باشد:

[project]
name = "pyperformance_bm_json_dumps"
version = "0.9.1"
description = "A benchmark for json.dumps()"
requires-python = ">=3.8"
dependencies = ["pyperf"]
urls = {repository = "https://github.com/python/pyperformance"}
dynamic = ["version"]
[tool.pyperformance]
name = "json_dumps"
tags = "serialize"
runscript = "bench.py"
datadir = ".data-files/extras"
extra_opts = ["--special"]

[project]
dependencies = ["pyperf"]
dynamic = ["name", "version"]
[tool.pyperformance]
name = "my_benchmark"
inherits = "../common.toml"

مقادیر استنتاج‌شده (Inferred Values)

در برخی شرایط، مقادیر مشخص‌نشده از سایر داده‌های موجود استنتاج خواهند شد (حتی برای فیلدهای الزامی).

هنگامی که نام از روی نام فایل برای بنچ‌مارکی با ساختار استاندارد استنتاج می‌شود، پیشوند "bm_" از دایرکتوری بنچ‌مارک حذف می‌شود. اگر یک variant باشد، این پیشوند و همچنین پسوند .toml از نام فایل متادیتا حذف می‌گردد.

بخش [project] (The [project] Section)

"R": الزامی (required) "T": استنتاج‌شده از بخش tool "B": استنتاج‌شده از متادیتای به ارث برده‌شده "D": برای بنچ‌مارک‌های پیش‌فرض، استنتاج‌شده از pyperformance

بر اساس PEP 621 فیلد "dynamic" زمانی الزامی است که مقداری به صورت پویا توسط ابزار پر شود. این موضوع به‌ویژه برای فیلدهای الزامی حائز اهمیت است.

تمام فیلدهای دیگر PEP 621 اختیاری هستند (مانند requires-python = ">=3.8"، {repository = "https://github.com/..."})..SS بخش [tool.pyperformance]

"R": الزامی "B": استنباط‌شده از فراداده‌های به ارث‌رسیده "F": استنباط‌شده از نام فایل

بهینه‌سازی‌ها (Optimizations)

2016-12-14: افزایش سرعت فراخوانی متدها (speedup method calls)

بهینه‌سازی: افزایش 1.2 برابری سرعت فراخوانی متدها https://bugs.python.org/issue26110، کامیت f2392133 https://github.com/python/cpython/commit/f2392133eba777f05947a8996c507690b95379c3.

2016-04-22: تخصیص‌دهنده حافظه pymalloc (pymalloc allocator)

بهینه‌سازی: تابع PyMem_Malloc() اکنون از تخصیص‌دهنده سریع pymalloc استفاده می‌کند http://bugs.python.org/issue26249، کامیت f5c4b990 https://github.com/python/cpython/commit/f5c4b99034fae12ac2b9498dd12b5b3f352b90c8.

تغییرات دست‌کم 5%:

2015-09-19: استفاده PGO از مجموعه‌آزمون، pidigits

بهینه‌سازی: مورد #24915: افزودن پشتیبانی Clang به ساخت‌های PGO و استفاده از مجموعه‌آزمون برای داده‌های پروفایل http://bugs.python.org/issue24915، کامیت 7188a3ef https://github.com/python/cpython/commit/7188a3efe07b9effdb760f3a96783f250214f0be.

تغییرات دست‌کم ۵٪:

تغییرات دست‌کم ۵٪، متأسفانه دو بنچ‌مارک نیز کندتر شدند:

2015-05-23: پیاده‌سازی C برای functools.lru_cache()، sympy

بهینه‌سازی: گزارش #14373: افزودن پیاده‌سازی C برای functools.lru_cache() http://bugs.python.org/issue14373، کامیت 1c858c35 https://github.com/python/cpython/commit/1c858c352b8c11419f79f586334c49378726dba8.

تغییرات دست‌کم 5%:

pickle_dict حدود 1.06 برابر کندتر دیده شد، اما از آنجا که pickle از functools.lru_cache() استفاده نمی‌کند، این تغییر در جدول نادیده گرفته شده است..SS افت سرعت (Slowdown)

2016-09-11: regex_compile

افت سرعت: تبدیل پرچم‌های re به ثابت‌های (بسیار کاربرپسندتر) IntFlag (مورد #28082) http://bugs.python.org/issue28082، کامیت f93395bc https://github.com/python/cpython/commit/f93395bc5125c99539597bf134ca8bcf9707655b.

روند زمانی (Timeline)

آوریل ۲۰۱۶ -> مه ۲۰۱۶

2016-04-01 .. 2016-05-01:

crypto_pyaes

2016-03-01 .. 2016-06-01:

logging_silent

pickle

pickle،‏ 2016-08-02 .. 2016-09-08:

pickle روی dict/list:

unpickle:

2016-04-01 .. 2017-01-01:

regex_compile

scimark

2016-10-01 .. 2017-03-31:

sqlalchemy_declarative

xml_etree_generate