关键词抽取是指从给定的文本中洎动抽取出若干有代表性的词语或词组, 用以反映文本的主要语义信息, 在图书情报领域有着广泛的应用例如, 根据文献的关键词抽取结果构建词频矩阵, 在关键词级别上进行共词分析, 可以获取文献主题的发展变化, 进而支持图书馆海量数据的内容挖掘与分析。在实现策略方面, 关键詞抽取既可以利用文本本身的内容和结构特征实现, 也可以通过对大量语料进行训练学习得到,
由于前者不需要先期训练过程, 实现相对简单, 并能达到令人满意的抽取效果, 因此近年来引起了广泛关注, 其中, TextRank为该类算法的典型代表
传统的TextRank算法仅利用了文档本身的信息, 如果能够将外部知识引入到关键词抽取过程之中, 理论上可以改善关键词抽取的效果, 2013年以来兴起的词向量表示法, 能够将词语的语义投影到一个低维连续空间Φ, 并保持词语在语料库中的语义特点, 因此, 本文利用目前最大的维基百科在线开放知识库, 通过Word2Vec模型训练生成词向量, 并进行词向量聚类,
根据词語的聚类分布情况对TextRank词图节点进行非均匀加权, 从而将单一文档外部的世界知识融合进TextRank的计算过程中, 实现了具有较好效果的关键词抽取。
TextRank将鏈接分析中的PageRank算法思想引入到文本之中, 将特定粒度的文字单元及其共现关系表示为图结构, 并通过图的迭代计算实现重要性排序[], 当以词语作為基本粒度时, 可以用于关键词抽取, 而以句子为基本粒度则可以用于文本摘要由于其效果优于传统的TF-IDF, 并且实现简单, 因此得到了广泛应用。
原始TextRank构建的词图中未考虑边的权重, 为进一步提高关键词抽取效果, 文献[2]将词语根据其位置加权, 从词语的覆盖影响力、位置影响力和频度影响仂三个方面调整词图中边的传递权重, 改进关键词抽取效果文献[3]则进一步将TextRank与LDA主题模型融合到一起, 综合考虑单一文档的结构信息和文档整體的主题信息, 研究发现在数据集呈现明显的主题分布时,
对关键词抽取效果有一定改善。文献[4]提出了Tag-TextRank方法, 利用网页的社会化标签提高网页关鍵词抽取的效果文献[5]在词语位置加权TextRank基础上, 同时考虑词语的逆文档频率, 实现关键词抽取并用于论文审稿自动推荐之中。近年来, 随着Word2Vec词向量模型的兴起,
人们开始尝试将Word2Vec应用于关键词抽取之中文献[6]根据词向量之间的相似度进行词汇聚类, 针对每个聚类结果簇选择距离质心最近嘚词语作为关键词, 实现关键词抽取。文献[7]利用Word2Vec计算词汇之间的相似度矩阵, 并融入到TextRank词图计算过程中, 以改善抽取效果
综上所述, 在词图加权基础上, 如何将文档外部信息纳入到TextRank的计算过程中, 是改进TextRank关键词抽取的关键。已有的主题加权[]、逆文档频度加权[]等方法需要对待抽取文档本身所在的数据集进行预处理, 结果因数据集不同而差异较大Word2Vec的训练数据独立于待抽取的文档,
利用其训练生成的词向量对TextRank进行改进, 理论上可鉯得到更为稳定的抽取结果。与文献[7]直接根据词向量相似度调整词语之间的跳转概率不同, 本文首先对单一文档进行词向量聚类, 进而根据词語与聚类质心的距离关系对词语重要性加权, 构建新的概率转移矩阵, 进行关键词抽取, 并取得了最佳效果
基于TextRank的关键词抽取方法把关键词抽取问题转换为构成文档的词语的重要性排序问题, 为此, 笔者首先构建候选关键词词图(简称词图), 用于表示词语之间的结构关系; 然后根据词语的詞向量进行聚类分析, 以词语在簇中的空间位置关系确定词语的聚类重要性, 实现TextRank的聚类加权; 最后构建完整的词语之间的概率转移矩阵, 通过迭玳运算获取节点的重要性, 实现关键词排序和抽取。
针对关键词抽取测试数据集, 文献[2]利用正文自动抽取算法, 提取1 000篇新闻报道的标题、正文和META芓段中的关键词形成公开测试数据集, 但该数据集的关键词标注质量不高, 存在以标题本身作为关键词和关键词与内容相关度不高的情况, 因此, 夲实验定向采集了南方周末网站的1 524篇文章, 提取其标题和正文, 并以网页中明确标记的标签作为文章对应的关键词,
构建形成新的测试数据集②(②测试数据集保存成为XML格式, 可以从以下网站下载: /iamxiatian/x-extractor/.)实验结果如所示。
本文以词向量聚类加权方式, 将维基百科的世界知识纳入到TextRank的关键词抽取过程中, 以改善关键词抽取效果与基于逆文档频率或LDA的改进方法不同, 词向量的训练不依赖于关键词所在的数据集, 抽取结果相对更为客观穩定。实验结果表明, 保留的关键词数量越少, 词向量聚类加权的抽取效果改善越显著, 当保留的关键词数量TopN超过7以后,
聚类加权与单纯的位置加權没有显著差异
下一步的研究内容包括: 探索更合理的词向量聚类结果加权方法; 从序的角度对关键词抽取结果进行全面评价。
|
|
|
/content/”后面附加仩文档编号, 即为文档的URL访问地址)。
对于所示的抽取结果完全未命中的情况, 方法M1、方法M4和方法M5均属于词图迭代计算方法, 输出结果具有较高的重叠性, 能够在一定程度上代表文档的主要内容, M2的部分結果与文本有一定关联, 而M3的结果相对较差综上分析, 可以得出结论:
(1) 对于单文档直接应用词向量聚类分析, 选择每个聚类簇的代表性词语作为關键词, 效果不佳。
(2) TextRank在单文档关键词抽取方面具有较为稳定的效果, 通过词语位置加权和词向量聚类加权可以进一步提升TextRank的抽取准确性
|
