1. 介紹

thulac4j是THULAC的Java 8工程化實(shí)現(xiàn)，相比于官方版THULAC-Java，我們做了如下工作：

  1. 規(guī)范化分詞詞典，并去掉一些無(wú)用詞；

  2. 重寫(xiě)DAT（雙數(shù)組Trie樹(shù)）的構(gòu)造算法，生成的DAT size減少了8%左右，從而節(jié)省了內(nèi)存；

  3. 優(yōu)化分詞算法，提高了分詞速率。

若想在項(xiàng)目中使用thulac4j，可添加依賴(lài)：

<dependency>
  <groupId>io.github.yizhiru</groupId>
  <artifactId>thulac4j</artifactId>
  <version>1.0.1</version></dependency>

thulac4j支持兩種分詞模式：

  1. SegOnly模式，只分詞沒(méi)有詞性標(biāo)注；

  2. SegPos模式，分詞兼有詞性標(biāo)注。

// SegOnly modeString sentence = "滔滔的流水，向著波士頓灣無(wú)聲逝去";
SegOnly seg = new SegOnly("seg_only.bin");
System.out.println(seg.segment(sentence));// [滔滔, 的, 流水, ，,&nb
        
		

        		
網(wǎng)友評(píng)論