xmnlp轻量级中文自然语言处理工具
xmnlp 是一个轻量级中文自然语言处理工具，提供中文分词, 词性标注, 命名体识别，情感分析，文本纠错，文本转拼音，文本摘要，偏旁部首等功能。
功能概览
- 中文简体词法分析 (RoBERTa + CRF finetune)
- 分词
- 词性标注
- 命名体识别
- 中文拼写检查 (Detector + Corrector SpellCheck)
- 文本摘要 & 关键词提取 (Textrank)
- 情感分析 (RoBERTa finetune)
- 文本转拼音 (Trie)
- 汉字偏旁部首 (HashMap)
安装
1. 安装库
方式 1
安装最新版 xmnlp
pip install -U xmnlp
国内用户可以加一下 index-url
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -U xmnlp
方式 2
git clone https://github.com/SeanLee97/xmnlp.git
cd /path/to/xmnlp
pip install -r requirements.txt
python setup.py install
2. 下载模型
下载地址
请下载 xmnlp 对应版本的模型，如果不清楚 xmnlp 的版本，可以执行python -c 'import xmnlp; print(xmnlp.__version__)' 查看版本
| 模型名称 | 适用版本 | 下载地址 |
|---|---|---|
| xmnlp-onnx-models-v3.zip | v0.3.2 | 飞书 [o4bA] | 百度网盘 [9g7e] |
* 模型已切换至 onnx， 先前 tensorflow 模型已不可用，请下载最新版本模型
* 如果下载地址失效了，烦请提 issue 反馈
模型设置
提供两种设置方式
方式 1：配置环境变量（推荐）
下载好的模型解压后，可以设置环境变量指定模型地址。以 Linux 系统为例，设置如下
export XMNLP_MODEL=/path/to/xmnlp-models
方式 2：通过函数设置
在调用 xmnlp 前设置模型地址，如下
import xmnlp
xmnlp.set_model('/path/to/xmnlp-models')
* 上述 /path/to/ 只是占位用的，配置时请替换成模型真实的目录地址。
评论