.\" -*- mode: troff; coding: utf-8 -*- .\" Automatically generated by Pod::Man 5.01 (Pod::Simple 3.43) .\" .\" Standard preamble: .\" ======================================================================== .de Sp \" Vertical space (when we can't use .PP) .if t .sp .5v .if n .sp .. .de Vb \" Begin verbatim text .ft CW .nf .ne \\$1 .. .de Ve \" End verbatim text .ft R .fi .. .\" \*(C` and \*(C' are quotes in nroff, nothing in troff, for use with C<>. .ie n \{\ . ds C` "" . ds C' "" 'br\} .el\{\ . ds C` . ds C' 'br\} .\" .\" Escape single quotes in literal strings from groff's Unicode transform. .ie \n(.g .ds Aq \(aq .el .ds Aq ' .\" .\" If the F register is >0, we'll generate index entries on stderr for .\" titles (.TH), headers (.SH), subsections (.SS), items (.Ip), and index .\" entries marked with X<> in POD. Of course, you'll have to process the .\" output yourself in some meaningful fashion. .\" .\" Avoid warning from groff about undefined register 'F'. .de IX .. .nr rF 0 .if \n(.g .if rF .nr rF 1 .if (\n(rF:(\n(.g==0)) \{\ . if \nF \{\ . de IX . tm Index:\\$1\t\\n%\t"\\$2" .. . if !\nF==2 \{\ . nr % 0 . nr F 2 . \} . \} .\} .rr rF .\" ======================================================================== .\" .IX Title "IDS2NGRAM 1" .TH IDS2NGRAM 1 2024-07-13 "perl v5.38.2" "User Contributed Perl Documentation" .\" For nroff, turn off justification. Always turn off hyphenation; it makes .\" way too many mistakes in technical documents. .if n .ad l .nh .SH "نام (NAME)" ids2ngram \- تولید فایل داده‌های n\-gram از فایل ids .SH "خلاصه دستور (SYNOPSIS)" .IX Header "SYNOPSIS" ids2ngram [\fIoption\fR]... \fIids_file\fR... .SH "توضیحات (DESCRIPTION)" .IX Header "DESCRIPTION" دستور \&\fBids2ngram\fR فایل idngram (که آرایه‌ای مرتب‌شده از [id1,..,idN,freq] است) را از فایل‌های جریان شناسه (id stream) باینری تولید می‌کند. در اینجا، فایل‌های جریان شناسه همواره توسط \fBmmseg\fR یا \fBslmseg\fR تولید می‌شوند. این ابزار اساساً تمام رخدادهای تاپل‌های n\-کلمه‌ای (یعنی تاپل شامل (id1,..,idN)) را پیدا کرده، این تاپل‌ها را بر اساس ترتیب الفبایی شناسه‌های تشکیل‌دهنده آن‌ها مرتب می‌کند و سپس آن‌ها را در فایل خروجی مشخص‌شده می‌نویسد. .SH "ورودی (INPUT)" .IX Header "INPUT" فایل ورودی به‌صورت یک جریان شناسه باینری ارائه می‌شود که به شکل زیر است: [id0,...,idX] .SH "گزینه‌ها (OPTIONS)" .IX Header "OPTIONS" همه گزینه‌های زیر اجباری هستند. .IP "\fB\-n\fR,\fB\-\-NMax\fR \fIN\fR" 4 .IX Item "-n,--NMax N" نتیجه \fIN\fR\-gram را تولید می‌کند. \fBids2ngram\fR تنها از uni-gram، bi-gram و trigram پشتیبانی می‌کند، بنابراین هر عددی خارج از محدوده ۱..۳ نامعتبر است. .IP "\fB\-s\fR,\fB\-\-swap\fR \fIswap-file\fR" 4 .IX Item "-s,--swap swap-file" فایل واسط موقت را مشخص می‌کند. .IP "\fB\-o\fR, \fB\-\-out\fR \fIoutput-file\fR" 4 .IX Item "-o, --out output-file" فایل نتیجه idngram، مانند آرایه [id1, ..., idN, freq] را مشخص می‌کند. .IP "\fB\-p\fR, \fB\-\-para\fR \fIN\fR" 4 .IX Item "-p, --para N" حداکثر موارد n\-gram در هر بند (paragraph) را مشخص می‌کند. \fBids2ngram\fR خروجی را بر مبنای بند به بند در فایل موقت می‌نویسد. هر بار که یک بند را می‌نویسد، حافظه اختصاص‌یافته به آن را آزاد می‌کند. در صورت اجازه سیستم، مقدار بالاتر \fIN\fR پیشنهاد می‌شود؛ این کار به دلیل ورودی/خروجی (I/O) کمتر می‌تواند سرعت پردازش را افزایش دهد. .SH "مثال‌ها (EXAMPLES)" .IX Header "EXAMPLES" مثال زیر از سه فایل ورودی idstream با نام‌های idsfile[1,2,3] برای تولید فایل idngram با نام all.id3gram استفاده می‌کند. اندازه هر بند (اندازه نگاشت داخلی یا اندازه درهم‌سازی) ۱۰۲۴۰۰۰ خواهد بود و برای نتایج موقت از فایل swap استفاده می‌شود. در نهایت تمام نتایج موقت بندها ادغام خواهند شد تا نتیجه نهایی حاصل شود. .PP \&\fBids2ngram \-n 3 \-s /tmp/swap \-o all.id3gram \-p 1024000 idsfile1 idsfile2 idsfile3\fR .SH "نویسندگان (AUTHORS)" .IX Header "AUTHORS" در ابتدا توسط Phill.Zhang نوشته شده است. در حال حاضر توسط Kov.Chai نگهداری می‌شود. .SH "همچنین ببینید (SEE ALSO)" .IX Header "SEE ALSO" \&\fBmmseg\fR(1), \fBslmseg\fR(1), \fBslmbuild\fR (1).