jieba,宇宙最强Python分词工具使用指南

     作者：刘志军

     来源：Python之禅

结巴分词是Python语言中最流行的一个分词工具，在自然语言处理等场景被广泛使用。

因为GitHub写的文档太啰嗦，所以整理了一个简版的入门使用指南，看完可直接上手

安装

pip install jieba

简单分词

import jieba

result = jieba.cut("我爱中国北京大学")
for word in result:
    print(word)

输出

我
爱
中国
北京大学

句子切分成了5个词组。

全模式分词

result = jieba.cut("我爱中国北京大学", cut_all=True)
for word in result:
    print(word)

输出

我
爱
中国
北京
北京大学
大学

全模式分出来的词覆盖面更广。

提取关键词

从一个句子或者一个段落中提取前k个关键词

import jieba.analyse

result = jieba.analyse.extract_tags("机器学习，需要一定的数学基础，需要掌握的数学基础知识特别多，"
"如果从头到尾开始学，估计大部分人来不及，我建议先学习最基础的数学知识",
                                    topK=5,
                                    withWeight=False)
import pprint

pprint.pprint(result)

输出

['数学', '学习', '数学知识', '基础知识', '从头到尾']

• topK 为返回前topk个权重最大的关键词

• withWeight 返回每个关键字的权重值

去掉停止词

停止词是指在句子中无关紧要的词语，例如标点符号、指示代词等等，做分词前要先将这些词去掉。分词方法cut不支持直接过滤停止词，需要手动处理。提取关键字的方法 extract_tags 支持停止词过滤

# 先过滤停止词
jieba.analyse.set_stop_words(file_name)
result = jieba.analyse.extract_tags(content, tokK)

file_name 的文件格式是文本文件，每行一个词语

官方地址：https://github.com/fxsjy/jieba

◆ ◆ ◆  ◆ ◆

长按二维码关注我们

数据森麟公众号的交流群已经建立，许多小伙伴已经加入其中，感谢大家的支持。大家可以在群里交流关于数据分析&数据挖掘的相关内容，还没有加入的小伙伴可以扫描下方管理员二维码，进群前一定要关注公众号奥，关注后让管理员帮忙拉进群，期待大家的加入。

管理员二维码：

● 笑死人不偿命的知乎沙雕问题排行榜

● 我用Python纪念了那些被烂片收割的智商税！

● 互联网大佬学历&背景大揭秘，看看是你的老乡还是校友

● 上万条数据撕开微博热搜的真相！

● 你相信逛B站也能学编程吗？