您所在位置： &
&nbsp&&nbsp&nbsp&&nbsp
语义角色标注及在句子相似度计算上的应用.pdf 51页
本文档一共被下载：
次 ,您可全文免费在线阅读后下载本文档。
下载提示
1.本站不保证该用户上传的文档完整性，不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值，立即自动返金币，充值渠道很便利
语义角色标注及在句子相似度计算上的应用
你可能关注的文档：
··········
··········
北京邮电大学硕上论文
语义角色标注及其在句子相似度计算上的应用
语义角色标注
及其在句子相似度计算上的应用
在中文信息处理中，语义角色标注和句子相似度计算都是基础而
又重要的工作。语义角色标注是为句子中谓词论元及附属成分标上其
担任的语义角色，如施事、受事、时间和地点等等。汉语语义角色标
注的研究才刚刚起步，可利用的资源还很有限。为此，本文采用半监
督机器学习方法，以期在资源有限的情况下能取得比较好的标注性
能。句子相似度计算就是比较句子之间的相似程度，在过去的研究中，
对语义角色框架信息的利用不够，本文希望通过挖掘句子的语义角色
框架的信息，来提高句子相似度计算的性能。基于以上考虑，本文的
工作主要分为以下三个方面
第一，实现了一个半监督语义角色标注方法，系统分三个步骤进
行语义角色标注，首先确定句子的目标动词及对应的论元；其次，确
定句子的候选语义角色框架；最后从候选语义角色框架中确定每个论
元对应的语义角色。实验表明该方法性能良好。
第二，为了改善系统的性能，还单独研究了未登录名词的自动语
义分类问题，并将未登录名词自动分类模块应用到语义角色标注算法
中，实验表明，未登录名词自动分类模块的加入有助于语义角色标注
性能的提高。
第三，在语义角色标注取得良好性能的基础之上，本文尝试将语
义角色标注的结果应用到句子相似度的计算中，在这过程中，还研究
了词语相似度的计算，最后将语义框架相似度、词语相似度等特征作
为句子相似度计算的特征项进行综合。实验表明，语义角色框架信息
有助于提高句子相似性的识别。
关键词语义角色标注未登录名词句子相似度语义相似度
北京邮电大学硕士论文
语义角色标注及其在句子相似度计算上的应用
SEMANTICLABELINGANDITSAPPLICArION0N
SENTENCESIMILARITY
Semanticrole
Chinesesentence
labeling(SRL)and similarity
bothareessential
usedintheChinese
computation
information
worksonSRLarealmost
processing．Recent
method，which
supervised
kindofresourcesarestill
limitedforChinese．Inordertodeal
problem，thispaperpresentssemi-supervised
ofverbswiththeirsemantic
argumentsadjunctions
roles，like
andsoon．Sentence
agentive，r
正在加载中，请稍后...图像处理，图像分割，特征提取，机器学习，模式识别，深度学习等
Google开源word2vec，文本相似度计算工具
谷歌已经使用Deep Learning技术开发了许多新方法来解析语言，目前，谷歌开源了一款基于Deep Learning的学习工具——word2vec，这是首款面向大众的Deep Learning学习工具。
word2vec（word to vector）顾名思义，这是一个将单词转换成向量形式的工具。通过转换，可以把对文本内容的处理简化为向量空间中的向量运算，计算出向量空间上的相似度，来表示文本语义上的相似度。
word2vec为计算向量词提供了一种有效的连续词袋（bag-of-words）和skip-gram架构实现，word2vec遵循Apache License 2.0开源协议。
如何转换？
word2vec主要是将文本语料库转换成词向量。它会先从训练文本数据中构建一个词汇，然后获取向量表示词，由此产生的词向量可以作为某项功能用在许多自然语言处理和机器学习应用中。
在举例子之前，引入余弦距离（Cosine distance）这个概念（摘自）：
通过测量两个向量内积空间的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1，而其他任何角度的余弦值都不大于1;并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时，余弦相似度的值为1；两个向量夹角为90°时，余弦相似度的值为0；两个向量指向完全相反的方向时，余弦相似度的值为-1。在比较过程中，向量的规模大小不予考虑，仅仅考虑到向量的指向方向。余弦相似度通常用于两个向量的夹角小于90°之内，因此余弦相似度的值为0到1之间。
然后可以通过distance工具根据转换后的向量计算出余弦距离，来表示向量（词语）的相似度。例如，你输入“france”，distance工具会计算并显示与“france”距离最相近的词，如下：
Cosine distance
-------------------------------------------
netherlands
switzerland
luxembourg
在word2vec中主要有两种学习算法：连续词袋和连续skip-gram，switch-cbow允许用户选择学习算法。这两种算法有助于预测其它句子的词汇。
从词转换到句子或更长的文本
在一些特定的应用程序中，它还可以用于多个词汇，例如，“san francisco”，这样它就会通过预先处理数据集，让其形成句子，找到与“san francisco”余弦距离最近的内容：
Cosine distance
-------------------------------------------
los_angeles
golden_gate
california
chicago_illinois
如何衡量词向量质量
可能影响到词向量质量的几个因素：
训练数据的数量和质量向量的大小训练算法
向量的质量对任何一个应用程序都非常重要，然而，根据复杂的任务来探索不同的超参数设置可能会过于苛刻。因此，我们设计了简单的测试集，来快速评估矢量词的质量。
词聚类（Word clustering）
词向量也可以从巨大的数据集中导出词类，通过执行词向量顶部的K-means聚类即可实现，脚本演示地址：./demo-classes.sh，最后输出的是一个词汇表文件和与之对应的类ID标识，例如：
carnivores 234
carnivorous 234
cetaceans 234
cormorant 234
coyotes 234
crocodile 234
crocodiles 234
crustaceans 234
cultivated 234
danios 234
acceptance 412
argues 412
arguing 412
argument 412
arguments 412
belief 412
believe 412
challenge 412
在多核CPU上（使用开关‘-threads N’），通过使用并行训练可以显著提高训练速度，超参数选择对性能也至关重要（包括速度和准确率），主要选择有：
架构：skip-gram（慢、对罕见字有利）vs CBOW（快）训练算法：分层softmax（对罕见字有利）vs 负采样（对常见词和低纬向量有利）欠采样频繁词：可以提高结果的准确性和速度（适用范围1e-3到1e-5）维度词向量：通常情况下表现都很好文本（window）大小：skip-gram通常在10附近，CBOW通常在5附近
去哪里收集训练数据
随着训练数据的增加，词向量质量也显著提升，如果以研究为目的的，可以考虑线上数据集：
来自（在底部，适用预处理perl脚本）：多语言的大量文本数据。
代码下载：运行“make”编译word2vec工具运行demo脚本：./demo-word.sh and ./demo-phrases.sh
关于word2vec更多介绍，大家可以阅读：
没有更多推荐了，
加入CSDN，享受更精准的内容推荐，与500万程序员共同成长！博客分类：
'计算相似度，使用余弦公式
Dim tzbj_fz_2 As Double = 0.0
Dim tzbj_fma_2 As Double = 0.0
Dim tzbj_fmb_2 As Double = 0.0
For myii As Integer = 0 To pic1tz.GetUpperBound(0)
If IsNothing(pic1tz(myii)) Then
tzbj_fz_2 += pic1tz(myii) * pic2tz(myii)
tzbj_fma_2 += pic1tz(myii) * pic1tz(myii)
tzbj_fmb_2 += pic2tz(myii) * pic2tz(myii)
xsd = tzbj_fz_2 / (tzbj_fma_2 + tzbj_fmb_2 - tzbj_fz_2)
xsd1.Text = xsd.ToString("P")
我用VB.NET制作了一个小程序，程序的功能是根据源图比较2张图哪张与源图更相似，完成对图片特征码的计算后，使用余弦相似度对2个图片进行比较，比较代码如上，两个向量间的余弦值可以很容易地通过使用欧几里得点积和量级公式推导：
鉴于两个向量的属性， A 和B的余弦相似性θ用一个点积形式来表示其大小，如下所示：
产生的相似性范围从-1到1：-1意味着两个向量指向的方向正好截然相反，1表示它们的指向是完全相同的，0通常表示它们之间是独立的，而在这之间的值则表示中度的相似性或相异性。
需要安装.NET库，程序见附件
用山水和瀑布做一下比较
下载次数: 37
deepfuture
浏览: 3104415 次
来自: 湛江
浏览量：65525
浏览量：47247
浏览量：73574
浏览量：212334
浏览量：9914
浏览量：38320
浏览量：21947
浏览量：29636
counters15 写道目前只支持IE吗？插件的东西是跨浏览 ...
直接在前台导出方式：excel中的单元格样式怎么处理，比如某行 ...
在win7 64位操作系统下，pygtk的Entry无法输入怎 ...
http://www.9958.pw/post/php_exc ...
(window.slotbydup=window.slotbydup || []).push({
id: '4773203',
container: s,
size: '200,200',
display: 'inlay-fix'一种通用的网页相似度检测算法 - 为程序员服务
一种通用的网页相似度检测算法
如果我们需要在海量的结构未知的网页库中找到和指定的网页相似度比较高的一些网页，我们该怎么办呢？本文提出的“一种通用的网页相似度检测算法”就是专门解决这个问题。
算法如下：
1、提取网页文本。这个提取步骤不要求精确，也没办法精确，因为你面对的是未知结构的网页，所以只需要提取去掉标签之后的文本即可。
2、对提取的文本进行分词。我们使用开源的中文分词组件
3、为每一个网页建立一个词向量，向量的维度就是两个网页的不重复词的并集，每一个维度的权重就是词频TF，我们这里忽略IDF也不影响。
4、计算词向量的余弦相似度或简单共有词。
5、相似度分值超过0.5的基本上可以视为这两个网页拥有相同的内容。
算法的实现代码来自本人的
我的ITEYE（
）和OSCHINA（
g）博客有很多同样的博文，主要目的是备份，这里刚好用来测试相似度检测算法的效果，从测试效果来看，相似度分值低于0.5的两篇博文，一篇是由于正文内容太少，不足以抵消干扰信息，另一篇是由于博文不是完整的内容，具体两种相似度判定情况如下所示：
判定相似性的方式一：简单共有词
检查的博文数：103，相似度大于等于0.5的博文数：103，相似度小于0.5的博文数：0
1、检查博文：一个月的时间让你的词汇量翻一翻，相似度分值：0.99
博文地址1：
博文地址2：
2、检查博文：1208个合成词，相似度分值：0.99
博文地址1：
博文地址2：
3、检查博文：分析996个词根在各大考纲词汇中的作用（五）总结精选篇，相似度分值：0.99
博文地址1：
博文地址2：
4、检查博文：根据76大细分词性对单词进行归组（二），相似度分值：0.99
博文地址1：
博文地址2：
5、检查博文：根据76大细分词性对单词进行归组（一），相似度分值：0.99
博文地址1：
博文地址2：
6、检查博文：2000个软件开发领域的高频特殊词及精选例句（一），相似度分值：0.99
博文地址1：
博文地址2：
7、检查博文：JDK源代码中最重要的4646个英语单词，相似度分值：0.98
博文地址1：
博文地址2：
8、检查博文：利用1189个精选句子彻底掌握2190个单词，相似度分值：0.98
博文地址1：
博文地址2：
9、检查博文：词组习语3054组，相似度分值：0.97
博文地址1：
博文地址2：
10、检查博文：英语单词后缀规则总结，相似度分值：0.97
博文地址1：
博文地址2：
11、检查博文：英语单词音近形似转化规律研究，相似度分值：0.97
博文地址1：
博文地址2：
12、检查博文：英语单词前缀规则总结，相似度分值：0.96
博文地址1：
博文地址2：
13、检查博文：192本软件著作用词分析（五）用词最复杂99级，相似度分值：0.95
博文地址1：
博文地址2：
14、检查博文：分析151个后缀在各大考纲词汇中的作用（三）总结精选篇，相似度分值：0.95
博文地址1：
博文地址2：
15、检查博文：二百多部软件著作中最重要的9224个英语单词，相似度分值：0.94
博文地址1：
博文地址2：
16、检查博文：JDK源代码以及200多部软件著作中出现的以连字符构造的1011个合成词，相似度分值：0.94
博文地址1：
博文地址2：
17、检查博文：分析在各大考纲词汇中既没有词根也没有前缀和后缀的独立单词，相似度分值：0.94
博文地址1：
博文地址2：
18、检查博文：分析113个前缀在各大考纲词汇中的作用（二）总结精选篇，相似度分值：0.94
博文地址1：
博文地址2：
19、检查博文：OSCHINA博文抄袭检查，相似度分值：0.94
博文地址1：
博文地址2：
20、检查博文：ITEYE博文抄袭检查，相似度分值：0.93
博文地址1：
博文地址2：
21、检查博文：一种防止用户生成内容站点出现商业广告以及非法有害等垃圾信息的方法，相似度分值：0.92
博文地址1：
博文地址2：
22、检查博文：分析在各大考纲词汇中同时拥有前缀后缀和词根的词（一），相似度分值：0.91
博文地址1：
博文地址2：
23、检查博文：软件业的奥斯卡奖：JOLT奖 之 最好的书，相似度分值：0.9
博文地址1：
博文地址2：
24、检查博文：计算ITEYE博文在百度的收录与排名情况，相似度分值：0.87
博文地址1：
博文地址2：
25、检查博文：APDPlat中数据库备份恢复的设计与实现，相似度分值：0.84
博文地址1：
博文地址2：
26、检查博文：中文分词算法 之 基于词典的逆向最大匹配算法，相似度分值：0.84
博文地址1：
博文地址2：
27、检查博文：Java中文分词组件 - word分词，相似度分值：0.84
博文地址1：
博文地址2：
28、检查博文：网络爬虫面临的挑战 之 链接构造，相似度分值：0.84
博文地址1：
博文地址2：
29、检查博文：APDPlat中的用户密码安全策略，相似度分值：0.83
博文地址1：
博文地址2：
30、检查博文：Hadoop发行版的比较与选择，相似度分值：0.81
博文地址1：
博文地址2：
31、检查博文：APDPlat拓展搜索之集成ElasticSearch，相似度分值：0.81
博文地址1：
博文地址2：
32、检查博文：大数据系列11：Gora – 大数据持久化，相似度分值：0.81
博文地址1：
博文地址2：
33、检查博文：APDPlat拓展搜索之集成Solr，相似度分值：0.81
博文地址1：
博文地址2：
34、检查博文：APDPlat如何自动建库建表并初始化数据？，相似度分值：0.8
博文地址1：
博文地址2：
35、检查博文：中文分词算法 之 基于词典的正向最大匹配算法，相似度分值：0.8
博文地址1：
博文地址2：
36、检查博文：Java应用系统中自动实时检测资源文件内容变化，相似度分值：0.78
博文地址1：
博文地址2：
37、检查博文：采集电子报纸，相似度分值：0.78
博文地址1：
博文地址2：
38、检查博文：Java开源项目cws_evaluation：中文分词器分词效果评估，相似度分值：0.78
博文地址1：
博文地址2：
39、检查博文：APDPlat中业务日志和监控日志的设计与实现，相似度分值：0.78
博文地址1：
博文地址2：
40、检查博文：APDPlat的系统启动和关闭流程剖析，相似度分值：0.77
博文地址1：
博文地址2：
41、检查博文：The Future of Compass & ElasticSearch，相似度分值：0.77
博文地址1：
博文地址2：
42、检查博文：APDPlat中领域模型的自描述机制与事件通知机制，相似度分值：0.76
博文地址1：
博文地址2：
43、检查博文：APDPlat中备份文件异地容灾机制之FTP上传，相似度分值：0.76
博文地址1：
博文地址2：
44、检查博文：QuestionAnsweringSystem v1.1 发布，人机问答系统，相似度分值：0.76
博文地址1：
博文地址2：
45、检查博文：APDPlat中的机器码生成机制，相似度分值：0.75
博文地址1：
博文地址2：
46、检查博文：大数据系列4：Hive – 基于HADOOP的数据仓库，相似度分值：0.74
博文地址1：
博文地址2：
47、检查博文：基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎，相似度分值：0.73
博文地址1：
博文地址2：
48、检查博文：软件熵：软件开发中推倒重来的过程就是软件熵不断增加的过程，相似度分值：0.73
博文地址1：
博文地址2：
49、检查博文：大数据系列1：在win7上安装配置Hadoop伪分布式集群，相似度分值：0.72
博文地址1：
博文地址2：
50、检查博文：new一个Object对象占用多少内存？，相似度分值：0.72
博文地址1：
博文地址2：
51、检查博文：中文分词效果对比，相似度分值：0.72
博文地址1：
博文地址2：
52、检查博文：运行nutch提示：0 records selected for fetching, exiting，相似度分值：0.72
博文地址1：
博文地址2：
53、检查博文：Amazon Dynamo的NWR模型，相似度分值：0.71
博文地址1：
博文地址2：
54、检查博文：配置Nutch模拟浏览器以绕过反爬虫限制，相似度分值：0.71
博文地址1：
博文地址2：
55、检查博文：Ubuntu上安装HADOOP多机完全分布式集群，相似度分值：0.7
博文地址1：
博文地址2：
56、检查博文：Java实现的基于模板的网页结构化信息精准抽取组件：HtmlExtractor，相似度分值：0.7
博文地址1：
博文地址2：
57、检查博文：APDPlat旗下10大开源项目，欢迎大家一起来参与，相似度分值：0.7
博文地址1：
博文地址2：
58、检查博文：中文分词算法 之 词典机制性能优化与测试，相似度分值：0.7
博文地址1：
博文地址2：
59、检查博文：给JAVA源代码文件统一地添加licence信息头，相似度分值：0.7
博文地址1：
博文地址2：
60、检查博文：技术框架太多，多的眼花缭乱，如何在众多选择中找到自己的方向？，相似度分值：0.7
博文地址1：
博文地址2：
61、检查博文：大数据系列6：HBase – 基于Hadoop的分布式数据库，相似度分值：0.69
博文地址1：
博文地址2：
62、检查博文：运行nutch报错：unzipBestEffort returned null，相似度分值：0.69
博文地址1：
博文地址2：
63、检查博文：JAVA调用CSDN接口发博文，相似度分值：0.69
博文地址1：
博文地址2：
64、检查博文：The Design of HDFS，相似度分值：0.68
博文地址1：
博文地址2：
65、检查博文：大数据系列7：Storm – 流计算，相似度分值：0.68
博文地址1：
博文地址2：
66、检查博文：使用JSoup+CSSPath采集和讯网人物信息，相似度分值：0.68
博文地址1：
博文地址2：
67、检查博文：大数据系列5：Pig – 大数据分析平台，相似度分值：0.68
博文地址1：
博文地址2：
68、检查博文：如何在你的应用中集成人机问答系统QuestionAnsweringSystem?，相似度分值：0.67
博文地址1：
博文地址2：
69、检查博文：如何解决BUG？，相似度分值：0.67
博文地址1：
博文地址2：
70、检查博文：Windows上安装HADOOP单机伪分布式集群，相似度分值：0.67
博文地址1：
博文地址2：
71、检查博文：分布式内存文件系统：Tachyon，相似度分值：0.66
博文地址1：
博文地址2：
72、检查博文：30个JDK类库源代码中最频繁出现的词的深度分析，相似度分值：0.65
博文地址1：
博文地址2：
73、检查博文：Ubuntu上安装HADOOP单机伪分布式集群，相似度分值：0.65
博文地址1：
博文地址2：
74、检查博文：使用CountDownLatch来模拟马拉松比赛，相似度分值：0.64
博文地址1：
博文地址2：
75、检查博文：大数据系列10：Spark – 内存计算，相似度分值：0.64
博文地址1：
博文地址2：
76、检查博文：Java8全新打造，英语学习supertool，相似度分值：0.64
博文地址1：
博文地址2：
77、检查博文：模拟浏览器的神器 - HtmlUnit，相似度分值：0.64
博文地址1：
博文地址2：
78、检查博文：对Nutch2.1抽象存储层的一些看法，相似度分值：0.64
博文地址1：
博文地址2：
79、检查博文：动态索引结构和索引更新机制，相似度分值：0.63
博文地址1：
博文地址2：
80、检查博文：大数据系列2：建立开发环境编写HDFS和Map Reduce程序，相似度分值：0.63
博文地址1：
博文地址2：
81、检查博文：Nutch的发展历程，相似度分值：0.63
博文地址1：
博文地址2：
82、检查博文：使用Java调用百度搜索，相似度分值：0.63
博文地址1：
博文地址2：
83、检查博文：分布式搜索算法，相似度分值：0.63
博文地址1：
博文地址2：
84、检查博文：Nutch抓取需要登录的网站，相似度分值：0.63
博文地址1：
博文地址2：
85、检查博文：Cygwin运行nutch报错：Failed to set permissions of path，相似度分值：0.62
博文地址1：
博文地址2：
86、检查博文：使用Java调用谷歌搜索，相似度分值：0.62
博文地址1：
博文地址2：
87、检查博文：HBase on CAP，相似度分值：0.6
博文地址1：
博文地址2：
88、检查博文：APDPlat的日志国际化实现方式，相似度分值：0.6
博文地址1：
博文地址2：
89、检查博文：Hadoop分布式文件系统HDFS和OpenStack对象存储系统Swift有何不同？，相似度分值：0.6
博文地址1：
博文地址2：
90、检查博文：大数据系列12：Hadoop2 – 全新的Hadoop，相似度分值：0.6
博文地址1：
博文地址2：
91、检查博文：SOLR4.2+NUTCH1.6，相似度分值：0.6
博文地址1：
博文地址2：
92、检查博文：大数据系列9：Mahout – 机器学习，相似度分值：0.59
博文地址1：
博文地址2：
93、检查博文：中文分词算法 之 基于词典的正向最小匹配算法，相似度分值：0.59
博文地址1：
博文地址2：
94、检查博文：中文分词算法 之 基于词典的逆向最小匹配算法，相似度分值：0.59
博文地址1：
博文地址2：
95、检查博文：使用Java8实现自己的个性化搜索引擎，相似度分值：0.59
博文地址1：
博文地址2：
96、检查博文：nutch2.1+mysql报错及解决，相似度分值：0.58
博文地址1：
博文地址2：
97、检查博文：搜索引擎的分片（shard）和副本（replica）机制，相似度分值：0.58
博文地址1：
博文地址2：
98、检查博文：Java中的null引用，超乎你想象，相似度分值：0.58
博文地址1：
博文地址2：
99、检查博文：配置Cygwin支持无密码SSH登陆，相似度分值：0.57
博文地址1：
博文地址2：
100、检查博文：给LUKE增加word分词器，相似度分值：0.57
博文地址1：
博文地址2：
101、检查博文：word分词器、ansj分词器、mmseg4j分词器、ik-analyzer分词器分词效果评估，相似度分值：0.57
博文地址1：
博文地址2：
102、检查博文：大数据系列3：用Python编写MapReduce，相似度分值：0.56
博文地址1：
博文地址2：
103、检查博文：大数据系列8：Sqoop – HADOOP和RDBMS数据交换，相似度分值：0.55
博文地址1：
博文地址2：
判定相似性的方式二：余弦相似度
检查的博文数：103，相似度大于等于0.5的博文数：101，相似度小于0.5的博文数：2
1、检查博文：二百多部软件著作中最重要的9224个英语单词，相似度分值：0.99
博文地址1：
博文地址2：
2、检查博文：JDK源代码中最重要的4646个英语单词，相似度分值：0.99
博文地址1：
博文地址2：
3、检查博文：JDK源代码以及200多部软件著作中出现的以连字符构造的1011个合成词，相似度分值：0.99
博文地址1：
博文地址2：
4、检查博文：一种防止用户生成内容站点出现商业广告以及非法有害等垃圾信息的方法，相似度分值：0.99
博文地址1：
博文地址2：
5、检查博文：利用1189个精选句子彻底掌握2190个单词，相似度分值：0.99
博文地址1：
博文地址2：
6、检查博文：分析在各大考纲词汇中同时拥有前缀后缀和词根的词（一），相似度分值：0.98
博文地址1：
博文地址2：
7、检查博文：采集电子报纸，相似度分值：0.98
博文地址1：
博文地址2：
8、检查博文：Java开源项目cws_evaluation：中文分词器分词效果评估，相似度分值：0.98
博文地址1：
博文地址2：
9、检查博文：大数据系列11：Gora – 大数据持久化，相似度分值：0.98
博文地址1：
博文地址2：
10、检查博文：2000个软件开发领域的高频特殊词及精选例句（一），相似度分值：0.97
博文地址1：
博文地址2：
11、检查博文：ITEYE博文抄袭检查，相似度分值：0.97
博文地址1：
博文地址2：
12、检查博文：OSCHINA博文抄袭检查，相似度分值：0.97
博文地址1：
博文地址2：
13、检查博文：中文分词算法 之 基于词典的逆向最大匹配算法，相似度分值：0.97
博文地址1：
博文地址2：
14、检查博文：网络爬虫面临的挑战 之 链接构造，相似度分值：0.97
博文地址1：
博文地址2：
15、检查博文：英语单词音近形似转化规律研究，相似度分值：0.97
博文地址1：
博文地址2：
16、检查博文：APDPlat中数据库备份恢复的设计与实现，相似度分值：0.96
博文地址1：
博文地址2：
17、检查博文：1208个合成词，相似度分值：0.96
博文地址1：
博文地址2：
18、检查博文：分析996个词根在各大考纲词汇中的作用（五）总结精选篇，相似度分值：0.96
博文地址1：
博文地址2：
19、检查博文：中文分词算法 之 基于词典的正向最大匹配算法，相似度分值：0.96
博文地址1：
博文地址2：
20、检查博文：分析113个前缀在各大考纲词汇中的作用（二）总结精选篇，相似度分值：0.96
博文地址1：
博文地址2：
21、检查博文：分析151个后缀在各大考纲词汇中的作用（三）总结精选篇，相似度分值：0.96
博文地址1：
博文地址2：
22、检查博文：Java应用系统中自动实时检测资源文件内容变化，相似度分值：0.96
博文地址1：
博文地址2：
23、检查博文：Java中文分词组件 - word分词，相似度分值：0.96
博文地址1：
博文地址2：
24、检查博文：英语单词后缀规则总结，相似度分值：0.96
博文地址1：
博文地址2：
25、检查博文：英语单词前缀规则总结，相似度分值：0.96
博文地址1：
博文地址2：
26、检查博文：APDPlat中领域模型的自描述机制与事件通知机制，相似度分值：0.95
博文地址1：
博文地址2：
27、检查博文：词组习语3054组，相似度分值：0.95
博文地址1：
博文地址2：
28、检查博文：APDPlat中的用户密码安全策略，相似度分值：0.95
博文地址1：
博文地址2：
29、检查博文：APDPlat拓展搜索之集成Solr，相似度分值：0.95
博文地址1：
博文地址2：
30、检查博文：根据76大细分词性对单词进行归组（一），相似度分值：0.94
博文地址1：
博文地址2：
31、检查博文：大数据系列6：HBase – 基于Hadoop的分布式数据库，相似度分值：0.94
博文地址1：
博文地址2：
32、检查博文：大数据系列4：Hive – 基于HADOOP的数据仓库，相似度分值：0.94
博文地址1：
博文地址2：
33、检查博文：运行nutch提示：0 records selected for fetching, exiting，相似度分值：0.94
博文地址1：
博文地址2：
34、检查博文：计算ITEYE博文在百度的收录与排名情况，相似度分值：0.93
博文地址1：
博文地址2：
35、检查博文：软件业的奥斯卡奖：JOLT奖 之 最好的书，相似度分值：0.92
博文地址1：
博文地址2：
36、检查博文：192本软件著作用词分析（五）用词最复杂99级，相似度分值：0.91
博文地址1：
博文地址2：
37、检查博文：APDPlat中的机器码生成机制，相似度分值：0.91
博文地址1：
博文地址2：
38、检查博文：APDPlat拓展搜索之集成ElasticSearch，相似度分值：0.91
博文地址1：
博文地址2：
39、检查博文：APDPlat中业务日志和监控日志的设计与实现，相似度分值：0.91
博文地址1：
博文地址2：
40、检查博文：根据76大细分词性对单词进行归组（二），相似度分值：0.9
博文地址1：
博文地址2：
41、检查博文：使用JSoup+CSSPath采集和讯网人物信息，相似度分值：0.9
博文地址1：
博文地址2：
42、检查博文：APDPlat中备份文件异地容灾机制之FTP上传，相似度分值：0.89
博文地址1：
博文地址2：
43、检查博文：使用CountDownLatch来模拟马拉松比赛，相似度分值：0.89
博文地址1：
博文地址2：
44、检查博文：配置Nutch模拟浏览器以绕过反爬虫限制，相似度分值：0.89
博文地址1：
博文地址2：
45、检查博文：一个月的时间让你的词汇量翻一翻，相似度分值：0.87
博文地址1：
博文地址2：
46、检查博文：APDPlat如何自动建库建表并初始化数据？，相似度分值：0.87
博文地址1：
博文地址2：
47、检查博文：给JAVA源代码文件统一地添加licence信息头，相似度分值：0.87
博文地址1：
博文地址2：
48、检查博文：Amazon Dynamo的NWR模型，相似度分值：0.85
博文地址1：
博文地址2：
49、检查博文：Ubuntu上安装HADOOP多机完全分布式集群，相似度分值：0.84
博文地址1：
博文地址2：
50、检查博文：Java实现的基于模板的网页结构化信息精准抽取组件：HtmlExtractor，相似度分值：0.83
博文地址1：
博文地址2：
51、检查博文：new一个Object对象占用多少内存？，相似度分值：0.83
博文地址1：
博文地址2：
52、检查博文：Hadoop发行版的比较与选择，相似度分值：0.83
博文地址1：
博文地址2：
53、检查博文：大数据系列5：Pig – 大数据分析平台，相似度分值：0.83
博文地址1：
博文地址2：
54、检查博文：大数据系列1：在win7上安装配置Hadoop伪分布式集群，相似度分值：0.82
博文地址1：
博文地址2：
55、检查博文：中文分词算法 之 词典机制性能优化与测试，相似度分值：0.82
博文地址1：
博文地址2：
56、检查博文：运行nutch报错：unzipBestEffort returned null，相似度分值：0.81
博文地址1：
博文地址2：
57、检查博文：使用Java调用百度搜索，相似度分值：0.81
博文地址1：
博文地址2：
58、检查博文：The Future of Compass & ElasticSearch，相似度分值：0.8
博文地址1：
博文地址2：
59、检查博文：APDPlat的系统启动和关闭流程剖析，相似度分值：0.79
博文地址1：
博文地址2：
60、检查博文：JAVA调用CSDN接口发博文，相似度分值：0.78
博文地址1：
博文地址2：
61、检查博文：模拟浏览器的神器 - HtmlUnit，相似度分值：0.78
博文地址1：
博文地址2：
62、检查博文：使用Java调用谷歌搜索，相似度分值：0.77
博文地址1：
博文地址2：
63、检查博文：分析在各大考纲词汇中既没有词根也没有前缀和后缀的独立单词，相似度分值：0.76
博文地址1：
博文地址2：
64、检查博文：中文分词效果对比，相似度分值：0.76
博文地址1：
博文地址2：
65、检查博文：中文分词算法 之 基于词典的逆向最小匹配算法，相似度分值：0.76
博文地址1：
博文地址2：
66、检查博文：Ubuntu上安装HADOOP单机伪分布式集群，相似度分值：0.76
博文地址1：
博文地址2：
67、检查博文：动态索引结构和索引更新机制，相似度分值：0.75
博文地址1：
博文地址2：
68、检查博文：大数据系列9：Mahout – 机器学习，相似度分值：0.75
博文地址1：
博文地址2：
69、检查博文：中文分词算法 之 基于词典的正向最小匹配算法，相似度分值：0.75
博文地址1：
博文地址2：
70、检查博文：基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎，相似度分值：0.75
博文地址1：
博文地址2：
71、检查博文：大数据系列7：Storm – 流计算，相似度分值：0.74
博文地址1：
博文地址2：
72、检查博文：大数据系列10：Spark – 内存计算，相似度分值：0.74
博文地址1：
博文地址2：
73、检查博文：大数据系列12：Hadoop2 – 全新的Hadoop，相似度分值：0.74
博文地址1：
博文地址2：
74、检查博文：Nutch的发展历程，相似度分值：0.74
博文地址1：
博文地址2：
75、检查博文：分布式内存文件系统：Tachyon，相似度分值：0.73
博文地址1：
博文地址2：
76、检查博文：软件熵：软件开发中推倒重来的过程就是软件熵不断增加的过程，相似度分值：0.72
博文地址1：
博文地址2：
77、检查博文：APDPlat的日志国际化实现方式，相似度分值：0.71
博文地址1：
博文地址2：
78、检查博文：Windows上安装HADOOP单机伪分布式集群，相似度分值：0.71
博文地址1：
博文地址2：
79、检查博文：技术框架太多，多的眼花缭乱，如何在众多选择中找到自己的方向？，相似度分值：0.7
博文地址1：
博文地址2：
80、检查博文：QuestionAnsweringSystem v1.1 发布，人机问答系统，相似度分值：0.69
博文地址1：
博文地址2：
81、检查博文：Java8全新打造，英语学习supertool，相似度分值：0.69
博文地址1：
博文地址2：
82、检查博文：APDPlat旗下10大开源项目，欢迎大家一起来参与，相似度分值：0.65
博文地址1：
博文地址2：
83、检查博文：Nutch抓取需要登录的网站，相似度分值：0.65
博文地址1：
博文地址2：
84、检查博文：大数据系列8：Sqoop – HADOOP和RDBMS数据交换，相似度分值：0.64
博文地址1：
博文地址2：
85、检查博文：Cygwin运行nutch报错：Failed to set permissions of path，相似度分值：0.64
博文地址1：
博文地址2：
86、检查博文：大数据系列3：用Python编写MapReduce，相似度分值：0.64
博文地址1：
博文地址2：
87、检查博文：大数据系列2：建立开发环境编写HDFS和Map Reduce程序，相似度分值：0.64
博文地址1：
博文地址2：
88、检查博文：给LUKE增加word分词器，相似度分值：0.63
博文地址1：
博文地址2：
89、检查博文：分布式搜索算法，相似度分值：0.63
博文地址1：
博文地址2：
90、检查博文：如何解决BUG？，相似度分值：0.62
博文地址1：
博文地址2：
91、检查博文：nutch2.1+mysql报错及解决，相似度分值：0.61
博文地址1：
博文地址2：
92、检查博文：The Design of HDFS，相似度分值：0.61
博文地址1：
博文地址2：
93、检查博文：如何在你的应用中集成人机问答系统QuestionAnsweringSystem?，相似度分值：0.6
博文地址1：
博文地址2：
94、检查博文：30个JDK类库源代码中最频繁出现的词的深度分析，相似度分值：0.59
博文地址1：
博文地址2：
95、检查博文：Hadoop分布式文件系统HDFS和OpenStack对象存储系统Swift有何不同？，相似度分值：0.59
博文地址1：
博文地址2：
96、检查博文：SOLR4.2+NUTCH1.6，相似度分值：0.58
博文地址1：
博文地址2：
97、检查博文：搜索引擎的分片（shard）和副本（replica）机制，相似度分值：0.57
博文地址1：
博文地址2：
98、检查博文：配置Cygwin支持无密码SSH登陆，相似度分值：0.54
博文地址1：
博文地址2：
99、检查博文：HBase on CAP，相似度分值：0.54
博文地址1：
博文地址2：
100、检查博文：对Nutch2.1抽象存储层的一些看法，相似度分值：0.53
博文地址1：
博文地址2：
101、检查博文：使用Java8实现自己的个性化搜索引擎，相似度分值：0.52
博文地址1：
博文地址2：
102、检查博文：Java中的null引用，超乎你想象，相似度分值：0.49
博文地址1：
博文地址2：
103、检查博文：word分词器、ansj分词器、mmseg4j分词器、ik-analyzer分词器分词效果评估，相似度分值：0.26
博文地址1：
博文地址2：
杨尚川，系统架构设计师，系统分析师，2013年度优秀开源项目APDPlat发起人，资深Nutch搜索引擎专家
原文地址：, 感谢原作者分享。
您可能感兴趣的代码