CRF中文分词开源版
中文分词是互联网应用不可缺少的基础技术之一,也是其他语音和语言产品必不可少的技术组件。
自2003年第一届国际中文分词评测以来,由字构词的分词方法获得了压倒性优势,国内主要通过CRF++开源软件包来学习该分词方法,但是CRF++过于复杂的代码结构,导致了该算法的普及率。
CRF中文分词开源版仅仅包含CRF++软件包中分词解码器部分,简化了CRF++复杂代码结构,清除了分词解码器不需要的代码,大大提高了分词解码器的可读性和可懂度。同时为了方便学习者可视化跟踪和调试代码,在Windows平台下分别建立了VC6.0和VS2008两个工程文件,使得VC6.0用户和VS2008用户都能轻玩转中文分词。
开源包中的分词知识库较小,分词精度较低,仅供学习Crf分词算法使用,可以通过如下途径获得更高精度的分词知识库和更高速度的分词引擎DLL或OCX:
1)致电 nlptech360@gmail.com 或者 langiner@gmail.com
2)在博客 http://langiner.blog.51cto.com 留言
3)在搜索引擎上搜索:极速分词
评论
HTTPCWS开源中文分词系统
HTTPCWS是一款Linux下的基于HTTP协议的开源中文分词系统,采用BSD协议。这个分词系统是对中国科学院计算技术研究所免费提供的ICTCLAS3.0共享版分词后的结果,再采用逆向最大匹配算法,
HTTPCWS开源中文分词系统
0
ansj_segAnsj中文分词
Ansj中文分词使用帮助开发文档:3.x版本及之前,5.x版本及之后摘要这是一个基于n-Gram+CRF+HMM的中文分词的java实现。分词速度达到每秒钟大约200万字左右(macair下测试),准
ansj_segAnsj中文分词
0
Ansj中文分词
Ansj中文分词这是一个ictclas的java实现.基本上重写了所有的数据结构和算法.词典是用的开源版的ictclas所提供的.并且进行了部分的人工优化内存中中文分词每秒钟大约100万字(速度上已经
Ansj中文分词
0
genius中文分词
GeniusGenius是一个开源的python中文分词组件,采用CRF(ConditionalRandomField)条件随机场算法。Feature支持python2.x、python3.x以及py
genius中文分词
0