نام (NAME)

ids2ngram - تولید فایل داده‌های n-gram از فایل ids

خلاصه دستور (SYNOPSIS)

ids2ngram [option]... ids_file...

توضیحات (DESCRIPTION)

دستور ids2ngram فایل idngram (که آرایه‌ای مرتب‌شده از [id1,..,idN,freq] است) را از فایل‌های جریان شناسه (id stream) باینری تولید می‌کند. در اینجا، فایل‌های جریان شناسه همواره توسط mmseg یا slmseg تولید می‌شوند. این ابزار اساساً تمام رخدادهای تاپل‌های n-کلمه‌ای (یعنی تاپل شامل (id1,..,idN)) را پیدا کرده، این تاپل‌ها را بر اساس ترتیب الفبایی شناسه‌های تشکیل‌دهنده آن‌ها مرتب می‌کند و سپس آن‌ها را در فایل خروجی مشخص‌شده می‌نویسد.

ورودی (INPUT)

فایل ورودی به‌صورت یک جریان شناسه باینری ارائه می‌شود که به شکل زیر است:
[id0,...,idX]

گزینه‌ها (OPTIONS)

همه گزینه‌های زیر اجباری هستند.

-n,--NMax N

نتیجه N-gram را تولید می‌کند. ids2ngram تنها از uni-gram، bi-gram و trigram پشتیبانی می‌کند، بنابراین هر عددی خارج از محدوده ۱..۳ نامعتبر است.

-s,--swap swap-file

فایل واسط موقت را مشخص می‌کند.

-o, --out output-file

فایل نتیجه idngram، مانند آرایه [id1, ..., idN, freq] را مشخص می‌کند.

-p, --para N

حداکثر موارد n-gram در هر بند (paragraph) را مشخص می‌کند. ids2ngram خروجی را بر مبنای بند به بند در فایل موقت می‌نویسد. هر بار که یک بند را می‌نویسد، حافظه اختصاص‌یافته به آن را آزاد می‌کند. در صورت اجازه سیستم، مقدار بالاتر N پیشنهاد می‌شود؛ این کار به دلیل ورودی/خروجی (I/O) کمتر می‌تواند سرعت پردازش را افزایش دهد.

مثال‌ها (EXAMPLES)

مثال زیر از سه فایل ورودی idstream با نام‌های idsfile[1,2,3] برای تولید فایل idngram با نام all.id3gram استفاده می‌کند. اندازه هر بند (اندازه نگاشت داخلی یا اندازه درهم‌سازی) ۱۰۲۴۰۰۰ خواهد بود و برای نتایج موقت از فایل swap استفاده می‌شود. در نهایت تمام نتایج موقت بندها ادغام خواهند شد تا نتیجه نهایی حاصل شود.

ids2ngram -n 3 -s /tmp/swap -o all.id3gram -p 1024000 idsfile1 idsfile2 idsfile3

نویسندگان (AUTHORS)

در ابتدا توسط Phill.Zhang <phill.zhang@sun.com> نوشته شده است. در حال حاضر توسط Kov.Chai <tchaikov@gmail.com> نگهداری می‌شود.

همچنین ببینید (SEE ALSO)

mmseg(1), slmseg(1), slmbuild (1).