scsegPython中文分词
scseg中文分词,是基于mmseg的简单分词组件
Feature
- 支持pinyin分词
- 支持用户自定义词典
- 支持单位合并
- 支持汉字数字识别
Install
- pip install scseg
- 通过import scseg来引用
Algorithm
- 采用mmseg算法进行切分
- 采用规则方式支持中文数字分词
功能 1):分词scseg.seg_text方法
- scseg.seg_text函数接受3个参数:
- text参数为需要分词的字符
- ext_dict_words为用户自定义的扩展字典
- use_combine代表是否需要合并处理
代码示例( 全功能分词 )
#encoding=utf-8 import genius seg_list = scseg.seg_text(u'中国人民站起来了pinyin') print '\n'.join(seg_list)
功能 2):面向索引的分词
- scseg.seg_keywords为面向索引的切割方式
- 其作用是枚举出所有可能的切割方式
- text参数为需要分词的字符
代码示例( 全功能分词 )
#encoding=utf-8 import scseg seg_list = scseg.seg_keywords(u'中国人民站起来了pinyin') print '\n'.join(seg_list)
评论