finalseg基于HMM模型的中文分词

联合创作 · 2023-09-29 05:27

finalseg -> Chinese Words Segment Library in Python based on HMM Model 基于HMM模型的中文分词

用法

  • 将finalseg目录放置于当前目录或者site-packages目录
  • import finalseg

代码示例

import finalseg

sentence_list = [
"姚晨和老凌离婚了",
"他说的确实在理",
"长春市长春节讲话"
]

print u"=默认效果"

for sentence in sentence_list:
    seg_list = finalseg.cut(sentence)
    print "/ ".join(seg_list)

print u"\n=打开新词发现功能后的效果\n"


for sentence in sentence_list:
    seg_list = finalseg.cut(sentence,find_new_word=True)
    print "/ ".join(seg_list)

算法

性能

  • 200 KB/Second
  • Test Env: Intel(R) Core(TM) i7-2600 CPU @ 3.4GHz;《围城》.txt

例子

浏览 8
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报