搜索

【关于 关键词提取】 那些你不知道的事

DayNightStudy

共 10137字，需浏览 21分钟

 ·

2021-05-24 21:27

作者：杨夕

项目地址：https://github.com/km1994/nlp_paper_study

个人介绍：大佬们好，我叫杨夕，该项目主要是本人在研读顶会论文和复现经典论文过程中，所见、所思、所想、所闻，可能存在一些理解错误，希望大佬们多多指正。


  • 【关于 关键词提取】 那些你不知道的事

    • 一、TF-IDF关键词提取算法

      • 1.1 理论基础

      • 1.2 计算公式

        • 1.2.1 词频 （Term Frequency，TF）

        • 1.2.2 逆文本频率(Inverse Document Frequency，IDF)

        • 1.2.3 TF-IDF

      • 1.3 应用

      • 1.4 实战篇

        • 1.4.1 TF-IDF算法 手撸版

        • 1.4.2 TF-IDF算法 Sklearn 版

        • 1.4.3 TF-IDF算法 jieba 版

    • 二、PageRank算法【1】

      • 2.1 理论学习

    • 三、TextRank算法【2】

      • 3.1 理论学习

      • 3.2 实战篇

        • 3.2.1 基于Textrank4zh的TextRank算法版

        • 3.2.2 基于jieba的TextRank算法实现

        • 3.2.3 基于SnowNLP的TextRank算法实现

    • 参考

一、TF-IDF关键词提取算法

1.1 理论基础

  • 类型：一种统计方法

  • 作用：用以评估句子中的某一个词（字）对于整个文档的重要程度；

  • 重要程度的评估：

    • 对于 句子中的某一个词（字）随着其在整个句子中的出现次数的增加，其重要性也随着增加；（正比关系）【体现词在句子中频繁性】

    • 对于 句子中的某一个词（字）随着其在整个文档中的出现频率的增加，其重要性也随着减少；（反比关系）【体现词在文档中的唯一性】

  • 重要思想：

    • 如果某个单词在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类；

1.2 计算公式

1.2.1 词频 （Term Frequency，TF）

  • 介绍：体现 词 在 句子 中出现的频率；

  • 问题：

    • 需要做归一化（词频除以句子总字数）

    • 当一个句子长度的增加，句子中 每一个 出现的次数 也会随之增加，导致该值容易偏向长句子；

    • 解决方法：

  • 公式

1.2.2 逆文本频率(Inverse Document Frequency，IDF)

  • 介绍：体现 词 在文档 中出现的频率

  • 方式：某一特定词语的IDF，可以由总句子数目除以包含该词语的句子的数目，再将得到的商取对数得到；

  • 作用：如果包含词条t的文档越少, IDF越大，则说明词条具有很好的类别区分能力

  • 公式：

1.2.3 TF-IDF

  • 介绍：某一特定句子内的高词语频率，以及该词语在整个文档集合中的低文档频率，可以产生出高权重的TF-IDF。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语。

  • 优点：

    • 容易理解；

    • 容易实现；

  • 缺点：

    • 其简单结构并没有考虑词语的语义信息，无法处理一词多义与一义多词的情况

1.3 应用

  • 搜索引擎；

  • 关键词提取；

  • 文本相似性；

  • 文本摘要

1.4 实战篇

1.4.1 TF-IDF算法 手撸版

TF-idf 函数复现

# 函数说明：特征选择TF-IDF算法
def tfidf_feature_select(list_words):
    """
        函数说明：特征选择TF-IDF算法
        Parameters:
            list_words:词列表
        Returns:
            dict_feature_select:特征选择词字典
    """
    sent_keyword_list = []
    for word_list in list_words:
        #总词频统计
        doc_frequency=defaultdict(int)
        for i in word_list:
            doc_frequency[i]+=1
 
        #计算每个词的TF值
        word_tf={}  #存储没个词的tf值
        for i in doc_frequency:
            word_tf[i]=doc_frequency[i]/sum(doc_frequency.values())

        #计算每个词的IDF值
        doc_num=len(list_words)
        word_idf={} #存储每个词的idf值
        word_doc=defaultdict(int) #存储包含该词的文档数
        for i in doc_frequency:
            for j in list_words:
                if i in j:
                    word_doc[i]+=1
        for i in doc_frequency:
            word_idf[i]=math.log(doc_num/(word_doc[i]+1))

        #计算每个词的TF*IDF的值
        word_tf_idf={}
        for i in doc_frequency:
            word_tf_idf[i]=word_tf[i]*word_idf[i]
 
        # 对字典按值由大到小排序
        dict_feature_select=sorted(word_tf_idf.items(),key=operator.itemgetter(1),reverse=True)
        sent_keyword_list.append(dict_feature_select[0:5])
    return sent_keyword_list

函数调用

print(f"docs[0:1]:{docs[0:1]}")
>>>
[['中国', '本周', '新冠', '疫情', '中国', '包括', '北京', '疫情', '本周', '北京', '中国', '当局']]

features=tfidf_feature_select(docs) #所有词的TF-IDF值
print(len(features))
for feature in features:
    print(feature)
>>>
100
[('北京', 0.44321000615546297), ('本周', 0.3837641821656743), ('疫情', 0.2767885344702751), ('中国', 0.24856306833596672), ('当局', 0.23445089306333636)]
[('香港', 0.8666204143875924), ('本周', 0.26568289534546685), ('反对', 0.19428681879294274), ('BBC', 0.16979037793767088), ('回应', 0.10227923218972224)]
[('点', 0.6743380571769196), ('本周', 0.17712193023031123), ('经济', 0.17712193023031123), ('疫情', 0.12774855437089622), ('7', 0.12004982678958988)]
[('爆发', 0.21022682621431513), ('香港', 0.16941451709832633), ('北京', 0.13996105457540936), ('月', 0.10754223658231381), ('气溶胶', 0.10511341310715756)]
[('当局', 0.29614849650105646), ('6', 0.1748138112443843), ('不明', 0.15767011966073635), ('爆发', 0.15767011966073635), ('事件', 0.15767011966073635)]
...

1.4.2 TF-IDF算法 Sklearn 版

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfVectorizer
docs_list = [" ".join(doc) for doc in docs]

#该类会统计每个词语的tf-idf权值
tf_idf_Vectorizer = TfidfVectorizer()
#将文本转为词频矩阵并计算tf-idf
tfidf_mat  = tf_idf_Vectorizer.fit_transform(docs_list)
vocab_dict =tf_idf_Vectorizer.vocabulary_#获得所有文本的关键字和其位置的dict
#将tf-idf矩阵抽取出来，元素a[i][j]表示j词在i类文本中的tf-idf权重
weight = tfidf_mat.toarray()
feat = np.argsort(-weight)#降序排序
total_key_word = []
for l in range(len(docs_list)):
    values_word = []
    for j in range(5):#获取每类文本的5个关键字
        keyword = [k for k,v in vocab_dict.items() if v ==feat[l,j]]
        values_word.append(keyword[0])
    total_key_word.append(values_word)

for key_word in total_key_word:
    print(key_word)
>>>
['北京', '本周', '中国', '疫情', '当局']
['香港', '本周', '反对', 'bbc', '回应']
['本周', '经济', '中国', '疫情', '支持']
['爆发', '香港', '北京', '病毒', '疫情']
['当局', '中国', '事件', '爆发', '不明']
...

1.4.3 TF-IDF算法 jieba 版

import jieba.analyse
 
text='关键词是能够表达文档中心内容的词语，常用于计算机系统标引论文内容特征、信息检索、系统汇集以供读者检阅。关键词提取是文本挖掘领域的一个分支，是文本检索、文档比较、摘要生成、文档分类和聚类等文本挖掘研究的基础性工作'

for doc in docs_list:
    keywords=jieba.analyse.extract_tags(doc, topK=5, withWeight=True, allowPOS=())
    print(keywords)
>>>
[('疫情', 1.3477578533583332), ('新冠', 0.9962306252416666), ('本周', 0.972621126705), ('北京', 0.7779003847866667), ('中国', 0.756830171665)]
[('香港', 1.6952004552875), ('BBC', 0.9962306252416666), ('本周', 0.72946584502875), ('反对', 0.46703171161083334), ('回应', 0.3104253012429167)]
[('疫情', 1.0782062826866665), ('新冠', 0.7969845001933333), ('BBC', 0.7969845001933333), ('本周', 0.778096901364), ('中国', 0.605464137332)]
[('新冠', 0.9195975002230768), ('疫情', 0.6220420861653846), ('爆发', 0.607387069014359), ('病毒', 0.5705823308092308), ('气溶胶', 0.5367533562820512)]
...

二、PageRank算法【1】

2.1 理论学习

  • 论文：The PageRank Citation Ranking: Bringing Order to the Web

  • 介绍：通过计算网页链接的数量和质量来粗略估计网页的重要性，算法创立之初即应用在谷歌的搜索引擎中，对网页进行排名；

  • 核心思想：

    • 链接数量：如果一个网页被越多的其他网页链接，说明这个网页越重要，即该网页的PR值（PageRank值）会相对较高；

    • 链接质量：如果一个网页被一个越高权值的网页链接，也能表明这个网页越重要，即一个PR值很高的网页链接到一个其他网页，那么被链接到的网页的PR值会相应地因此而提高；

  • 计算公式

S(V_i) ：网页 i 的 重要性；

d：托尼系数；

ln(V_i)：整个互联网中所存在的有指向网页 i 的链接的网页集合；

Out(V_j)：网页 j 中存在的指向所有外部网页的链接的集合；

Out(V_j)：该集合中元素的个数；

三、TextRank算法【2】

3.1 理论学习

  • 论文：TextRank: Bringing Order into Texts

  • 介绍：一种基于图的用于关键词抽取和文档摘要的排序算法，由谷歌的网页重要性排序算法PageRank算法改进而来，它利用一篇文档内部的词语间的共现信息(语义)便可以抽取关键词，它能够从一个给定的文本中抽取出该文本的关键词、关键词组，并使用抽取式的自动文摘方法抽取出该文本的关键句；

  • 基本思想：将文档看作一个词的网络，该网络中的链接表示词与词之间的语义关系；

  • 计算公式：

  • pageRank vs TextRank

    • PageRank算法根据网页之间的链接关系构造网络，TextRank算法根据词之间的共现关系构造网络；

    • PageRank算法构造的网络中的边是有向无权边，TextRank算法构造的网络中的边是无向有权边。

3.2 实战篇

3.2.1 基于Textrank4zh的TextRank算法版

函数

from textrank4zh import TextRank4Keyword, TextRank4Sentence
import pandas as pd
import numpy as np
 
# 功能：关键词抽取
def keywords_extraction(text):
    '''
      功能：关键词抽取
    '''
    tr4w = TextRank4Keyword(allow_speech_tags=['n', 'nr', 'nrfg', 'ns', 'nt', 'nz'])
    # allow_speech_tags   --词性列表，用于过滤某些词性的词
    tr4w.analyze(text=text, window=2, lower=True, vertex_source='all_filters', edge_source='no_stop_words',
                 pagerank_config={'alpha': 0.85, })
    # text    --  文本内容，字符串
    # window  --  窗口大小，int，用来构造单词之间的边。默认值为2
    # lower   --  是否将英文文本转换为小写，默认值为False
    # vertex_source  -- 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来构造pagerank对应的图中的节点
    #                -- 默认值为`'all_filters'`，可选值为`'no_filter', 'no_stop_words', 'all_filters'
    # edge_source  -- 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来构造pagerank对应的图中的节点之间的边
    #              -- 默认值为`'no_stop_words'`，可选值为`'no_filter', 'no_stop_words', 'all_filters'`。边的构造要结合`window`参数
 
    # pagerank_config  -- pagerank算法参数配置，阻尼系数为0.85
    keywords = tr4w.get_keywords(num=6, word_min_len=2)
    # num           --  返回关键词数量
    # word_min_len  --  词的最小长度，默认值为1
    return keywords
 
# 功能：关键短语抽取
def keyphrases_extraction(text):
    '''
      功能：关键短语抽取
    '''
    tr4w = TextRank4Keyword()
    tr4w.analyze(text=text, window=2, lower=True, vertex_source='all_filters', edge_source='no_stop_words',
                 pagerank_config={'alpha': 0.85, })
    keyphrases = tr4w.get_keyphrases(keywords_num=6, min_occur_num=1)
    # keywords_num    --  抽取的关键词数量
    # min_occur_num   --  关键短语在文中的最少出现次数
    return keyphrases
 
# 功能：关键句抽取
def keysentences_extraction(text):
    '''
      功能：关键句抽取
    '''
    tr4s = TextRank4Sentence()
    tr4s.analyze(text, lower=True, source='all_filters')
    # text    -- 文本内容，字符串
    # lower   -- 是否将英文文本转换为小写，默认值为False
    # source  -- 选择使用words_no_filter, words_no_stop_words, words_all_filters中的哪一个来生成句子之间的相似度。
    # 		  -- 默认值为`'all_filters'`，可选值为`'no_filter', 'no_stop_words', 'all_filters'
    # sim_func -- 指定计算句子相似度的函数
 
    # 获取最重要的num个长度大于等于sentence_min_len的句子用来生成摘要
    keysentences = tr4s.get_key_sentences(num=3, sentence_min_len=6)
    return keysentences

函数调用

for text in origin_docs:
    #关键词抽取
    keywords=keywords_extraction(text)
    print(keywords)
 
    #关键短语抽取
    keyphrases=keyphrases_extraction(text)
    print(keyphrases)
 
    #关键句抽取
    keysentences=keysentences_extraction(text)
    print(keysentences)

>>>
[{'word': '香港', 'weight': 0.1285260989050496}, {'word': '移民', 'weight': 0.07779005833762835}, {'word': '入籍', 'weight': 0.05570067956084056}, {'word': '法律', 'weight': 0.04878048780487805}, {'word': '重点', 'weight': 0.04878048780487805}, {'word': '护照', 'weight': 0.04878048780487805}]
['香港移民']
[{'index': 2, 'sentence': '西方国家对香港《国安法》反应强烈，此前英国承诺为香港BNO护照持有者开启移民入籍路径，本周BBC中文采访探讨这一政策是否会导致香港移民潮', 'weight': 0.26955405823175094}, {'index': 3, 'sentence': '本周澳大利亚政府也推出一系列措施，作为回应，包括暂停与香港的引渡协议、更新旅游建议以及为香港居民提供签证便利等', 'weight': 0.20413024124428358}, {'index': 4, 'sentence': '中国则对两国的干涉表示反对，称澳方成天把反对"外国干涉"挂在嘴边，却在涉港问题上说三道四，充分暴露了其虚伪性和双重标准', 'weight': 0.2}]
...

3.2.2 基于jieba的TextRank算法实现

方法介绍

import jieba.analyse
def keywords_textrank(text):
    keywords = jieba.analyse.textrank(text, topK=6)
    return keywords

for text in origin_docs:
    #关键词抽取
    keywords=keywords_textrank(text)
    print(keywords)

>>>
['中国', '北京', '疫情', '公平性', '股市', '高考']
['香港', '移民', '虚伪性', '干涉', '相关', '机构']
['经济', '中国', '股市', '暴涨', '疫情', '上涨']
['病毒', '新冠', '爆发', '北京', '气溶胶', '传播']
['中国', '当局', '文章', '带走', '疫情', '知识分子']
...

3.2.3 基于SnowNLP的TextRank算法实现

from snownlp import SnowNLP
for text in origin_docs:
    # 基于SnowNLP的textrank算法实现
    snlp=SnowNLP(text)
    print(snlp.keywords(5))  #关键词抽取
    print(snlp.summary(3))   #关键句抽取
>>>
['中国', '高考', '年', '疫情', '一月']
['因新冠疫情延期一月的中国高考拉开帷幕', '北京新一轮疫情得到控制', '最近几年他发表多篇文章批评中国当局']
['香港', '反对', '移民', '干涉', '本周']
['本周BBC中文采访探讨这一政策是否会导致香港移民潮', '香港《国安法》在香港和海外持续发酵', '西方国家对香港《国安法》反应强烈']
['中国', '连续', '月', '疫情', '年']
['中国股市沪深300指数已连续七个交易日上涨', '中国股市在7月初则迎来一轮暴涨', '促使本轮股市上涨']
...

参考

  1. The PageRank Citation Ranking: Bringing Order to the Web

  2. TextRank: Bringing Order into Texts


浏览 69
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
关于 Python 3.9，那些你不知道的事
Python网络爬虫与数据挖掘
0
关于 Python 3.9，那些你不知道的事
Python 知识大全
0
关于Python 3.9，那些你不知道的事
机器学习算法与Python实战
0
关于Python 3.9，那些你不知道的事
小詹学Python
0
你不知道的 Java 注解那些事!
程序猿杂货铺
0
“亚马逊”最初不叫“Amazon”？关于亚马逊你不知道的那些事
大数据文摘
0
关于中台，你可能不知道的事
肉眼品世界
0
关于线程的那些事……
云中志
0
关于Java你不知道的那些事之Java注解和反射
路人甲Java
0
关于“授时”的那些事，你知道多少？
今日北斗
0
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报