SLMBUILD(1)           User Contributed Perl Documentation          SLMBUILD(1)


<?><?><?> (NAME)
       slmbuild - <?><?><?><?><?> <?><?><?> <?><?><?><?><?> <?><?>
       <?><?><?><?> idngram

<?><?><?><?><?> <?><?><?><?><?> (SYNOPSIS)
       slmbuild [option]... idngram_file...

<?><?><?><?><?><?><?> (DESCRIPTION)
       <?><?><?><?><?> slmbuild <?><?> <?><?><?> <?><?><?><?><?>
       <?><?><?><?><?><?><?><?><?> <?><?><?><?><?><?> (back-off smoothing
       language model) <?><?> <?><?> <?><?> <?><?><?><?> idngram <?><?><?><?>
       <?><?><?><?><?> <?><?><?><?><?><?>. <?><?><?><?><?><?><?> <?><?><?><?>
       idngram_file <?><?><?><?> ids2ngram <?><?><?><?><?> <?><?><?><?><?><?>.

<?><?><?><?><?><?><?><?> (OPTIONS)
       <?><?><?><?><?> <?><?><?><?><?><?><?><?><?> <?><?><?>
       <?><?><?><?><?><?> <?><?><?><?><?>.

       -n,--NMax N
           <?><?><?><?><?> 1 <?><?><?><?> unigram<?> <?><?><?><?><?> 2
           <?><?><?><?> bigram <?> 3 <?><?><?><?> trigram. <?><?> <?><?><?><?>
           <?><?><?><?> <?><?> <?><?><?><?> 1..3 <?><?><?><?><?><?><?>
           <?><?><?>.

       -o, --out output-file
           <?><?><?><?><?> <?><?><?> <?><?><?><?> <?><?><?><?><?>.

       -l, --log
           <?><?><?><?><?><?><?> <?><?> -log(pr)<?> <?><?> <?><?><?><?>
           <?><?><?><?><?><?><?> <?><?><?><?><?><?><?><?> <?><?> pr
           <?><?><?><?><?><?><?> <?><?><?><?><?><?>.

       -w, --wordcount N
           <?><?><?><?><?><?> <?><?><?><?><?><?> (lexicon)<?> <?><?><?><?><?>
           <?><?><?><?><?> <?><?><?><?><?><?>.

       -b, --brk id...
           <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?> (id) <?><?>
           <?><?><?><?> <?><?> <?><?><?><?><?> <?><?><?><?><?><?><?><?>
           (breaker) <?><?> <?><?><?> <?><?><?><?><?> <?><?><?><?>.

       -e, --e id...
           <?><?><?><?><?> <?><?><?><?><?><?><?><?><?><?> (id) <?><?>
           <?><?><?><?><?> <?><?> <?><?><?> <?><?><?><?><?> (LM) <?><?><?><?>
           <?><?><?><?><?>.

       -c, --cut c...
           <?><?><?><?><?><?> <?><?> k-gram <?><?> <?><?><?><?><?> (freq)
           <?><?><?><?><?> <= c[k] <?><?><?><?> <?><?><?><?>
           <?><?><?><?><?><?> <?><?><?><?><?><?><?>.

       -d, --discount method, param...
           <?><?><?><?><?><?><?> k-<?><?> -d <?><?><?> <?><?><?><?><?>
           (discount) <?><?> <?><?><?><?> <?><?><?><?><?><?>.

           <?><?><?><?> k-gram<?> <?><?><?><?><?><?> <?><?><?><?> <?><?><?><?>
           method/param <?><?><?><?><?><?><?> <?><?>:

                 B<GT>,I<R>,I<dis>  : <?><?><?><?><?> B<GT> <?><?><?><?> r E<lt>= I<R><?> r <?><?><?><?><?> <?><?> ngram <?><?><?>.
                             <?><?><?><?><?> <?><?><?> <?><?><?><?> r E<gt> I<R><?> <?><?><?><?> r'=r*dis
                             0 E<lt>E<lt> dis E<lt> 1.0<?> <?><?><?><?> <?><?><?><?> 0.999
                 B<ABS>,[I<dis>] : <?><?><?><?><?> <?><?><?><?> r'=r-I<dis><?> <?> I<dis> <?><?><?><?><?><?><?> <?><?><?>
                             0 E<lt>E<lt> I<dis> E<lt> cut[k]+1.0<?> <?><?><?><?><?><?><?> I<dis> E<lt> 1.0.
                 LIN,[I<dis>] : <?><?><?><?><?> <?><?><?> r'=r*dis<?> <?> dis <?><?><?><?><?><?><?> <?><?><?>
                             0 E<lt> dis E<lt> 1.0

<?><?><?><?> (NOTES)
       <?><?><?><?><?> -n <?><?><?><?> <?><?><?> <?><?> -c <?> -b <?><?><?><?>
       <?><?><?>. <?><?><?><?><?><?> -c <?><?><?><?> <?><?><?><?><?>
       <?><?><?><?><?> <?><?> <?><?><?><?><?><?> cut-off <?><?>
       <?><?><?><?><?> <?><?><?><?> <?><?><?><?><?><?><?><?><?> -d <?><?><?>
       <?><?><?><?> <?><?><?><?><?><?> N <?><?><?> <?><?><?><?><?>
       <?><?><?><?> <?><?> <?><?><?><?><?><?><?><?> <?><?> <?><?>
       <?><?><?><?><?> <?><?><?><?> 1-gram<?> 2-gram <?>... <?><?><?><?>
       <?><?><?><?>.

       <?><?><?><?><?><?><?><?><?> BREAKER-ID <?><?><?><?><?><?><?><?><?>
       SentenceTokens <?><?> ParagraphTokens <?><?><?><?><?>. <?><?> <?><?><?>
       <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?><?><?><?>
       <?><?><?><?><?><?> <?><?> <?><?> <?><?><?><?> <?><?> n-gram
       <?><?><?><?> <?><?><?><?><?> <?><?><?> <?><?><?><?><?><?>
       <?><?><?><?><?><?>.

       <?><?><?><?><?><?><?><?><?> EXCLUDE-ID <?><?><?><?><?><?><?><?><?>
       <?><?><?><?><?><?><?><?><?> <?><?><?><?> (ambiguous-ids)
       <?><?><?><?><?>. <?><?> <?><?><?> <?><?><?><?><?><?><?>
       n-gram<?><?><?><?> <?><?> <?><?><?><?> <?><?><?>
       <?><?><?><?><?><?><?><?> <?><?><?><?><?> <?><?><?><?><?><?><?>
       <?><?><?><?><?>.

       <?><?><?><?><?><?><?><?> n-gram<?><?> <?><?> <?><?><?><?><?><?><?><?>
       <?><?> <?><?><?><?> BREAKER-ID<?><?> <?> EXCLUDE-ID<?><?> <?><?>
       <?><?><?><?> IDNGRAM <?><?><?> <?><?><?><?> <?><?><?> <?><?>
       <?><?><?><?> <?><?> <?><?><?><?><?><?><?> <?><?><?> <?><?><?><?><?>
       <?><?><?><?><?> <?><?> <?><?> <?><?><?><?><?><?> <?><?><?><?>
       <?><?><?><?><?>.

<?><?><?><?><?><?><?> (EXAMPLES)
       <?><?><?><?> <?><?><?> <?><?><?><?> 'all.id3gram' <?><?>
       <?><?><?><?><?><?><?><?> <?> <?><?><?> trigram <?><?> <?><?><?>
       'all.slm' <?><?> <?><?><?><?><?><?><?><?>.

       <?><?> <?><?><?> 1-gram<?> <?><?> <?><?><?><?><?> Good-Turing <?><?>
       cut-off <?><?><?><?><?> <?><?> 0<?> <?><?><?><?><?> R=8 <?> dis=0.9995
       <?><?><?><?><?><?><?> <?><?><?><?><?><?>. <?><?> <?><?><?> 2-gram<?>
       <?><?> <?><?><?><?><?> Absolute <?><?> cut-off <?><?><?><?><?> <?><?> 3
       <?> <?><?><?><?><?><?> <?><?><?><?><?><?> dis <?><?><?><?><?><?><?>
       <?><?><?><?><?><?>. <?><?> <?><?><?> 3-gram<?> <?><?> <?><?><?><?><?>
       Absolute <?><?> cut-off <?><?><?><?><?> <?><?> 2 <?> <?><?><?><?><?><?>
       <?><?><?><?><?><?> dis <?><?><?><?><?><?><?> <?><?><?><?><?><?>.
       <?><?><?><?><?><?><?><?><?> <?><?><?><?> 10<?> 11 <?> 12
       <?><?><?><?><?><?><?><?> <?><?><?><?><?> (<?><?><?><?><?><?><?><?>
       <?><?><?><?>/<?><?><?><?><?><?><?><?>/<?><?><?><?><?> <?>
       <?><?><?><?>). <?><?><?><?><?> Exclude-ID <?><?><?><?><?> 9 <?><?><?>.
       <?><?><?><?><?><?> <?><?><?><?> 200000 <?><?><?><?> <?><?><?>.
       <?><?><?> <?><?><?><?><?> <?><?><?><?> <?><?> -log(pr)
       <?><?><?><?><?><?><?> <?><?><?><?><?><?>.

       slmbuild -l -n 3 -o all.slm -w 200000 -c 0,3,2 -d GT,8,0.9995 -d ABS -d
       ABS -b 10,11,12 -e 9 all.id3gram

<?><?><?><?><?><?><?><?><?> (AUTHORS)
       <?><?> <?><?><?><?><?> <?><?><?><?> Phill.Zhang <phill.zhang@sun.com>
       <?><?><?><?><?> <?><?><?> <?><?><?>.  <?><?> <?><?><?> <?><?><?><?>
       <?><?><?><?> Kov.Chai <tchaikov@gmail.com> <?><?><?><?><?><?><?>
       <?><?><?><?><?><?>.

<?><?><?><?><?><?> <?><?><?><?><?><?> (SEE ALSO)
       ids2ngram(1), slmprune(1).

perl v5.38.2                      2024-07-13                       SLMBUILD(1)