搜索引擎中网页排序算法最有效的是哪一种_百度知道
搜索引擎中网页排序算法最有效的是哪一种
我有更好的答案
2.1基于词频统计——词位置加权的搜索引擎
利用关键词在文档中出现的频率和位置排序是搜索引擎最早期排序的主要思想，其技术发展也最为成熟，是第一阶段搜索引擎的主要排序技术，应用非常广泛，至今仍是许多搜索引擎的核心排序技术。其基本原理是：关键词在文档中词频越高，出现的位置越重要，则被认为和检索词的相关性越好。
1）词频统计
文档的词频是指查询关键词在文档中出现的频率。查询关键词词频在文档中出现的频率越高，其相关度越大。但当关键词为常用词时，使其对相关性判断的意义非常小。TF/IDF很好的解决了这个问题。TF/IDF算法被认为是信息检索中最重要的发明。TF（Term Frequency）：单文本词汇频率，用关键词的次数除以网页的总字数，其商称为“关键词的频率”。IDF（Inverse Document Frequency）：逆文本频率指数，其原理是，一个关键词在N个网页中出现过，那么N越大，此关键词的权重越小，反之亦然。当关键词为常用词时，其权重极小，从而解决词频统计的缺陷。
2）词位置加权
在搜索引擎中，主要针对网页进行词位置加权。所以，页面版式信息的分析至关重要。通过对检索关键词在Web页面中不同位置和版式，给予不同的权值，从而根据权值来确定所搜索结果与检索关键词相关程度。可以考虑的版式信息有：是否是标题，是否为关键词，是否是正文，字体大小，是否加粗等等。同时，锚文本的信息也是非常重要的，它一般能精确的描述所指向的页面的内容。
2.2基于链接分析排序的第二代搜索引擎
链接分析排序的思想起源于文献引文索引机制，即论文被引用的次数越多或被越权威的论文引用，其论文就越有价值。链接分析排序的思路与其相似，网页被别的网页引用的次数越多或被越权威的网页引用，其价值就越大。被别的网页引用的次数越多，说明该网页越受欢迎，被越权威的网页引用，说明该网页质量越高。链接分析排序算法大体可以分为以下几类：基于随机漫游模型的，比如PageRank和Repution算法；基于概率模型的，如SALSA、PHITS；基于Hub和Authority相互加强模型的，如HITS及其变种；基于贝叶斯模型的，如贝叶斯算法及其简化版本。所有的算法在实际应用中都结合传统的内容分析技术进行了优化。本文主要介绍以下几种经典排序算法：
1）PageRank算法
PageRank算法由斯坦福大学博士研究生Sergey Brin和Lwraence Page等提出的。PageRank算法是Google搜索引擎的核心排序算法，是Google成为全球最成功的搜索引擎的重要因素之一，同时开启了链接分析研究的热潮。
PageRank算法的基本思想是：页面的重要程度用PageRank值来衡量，PageRank值主要体现在两个方面：引用该页面的页面个数和引用该页面的页面重要程度。一个页面P（A）被另一个页面P（B）引用，可看成P（B）推荐P（A），P（B）将其重要程度（PageRank值）平均的分配P（B）所引用的所有页面，所以越多页面引用P（A），则越多的页面分配PageRank值给P（A），PageRank值也就越高，P（A）越重要。另外，P(B)越重要，它所引用的页面能分配到的PageRank值就越多，P（A）的PageRank值也就越高，也就越重要。
其计算公式为：
PR（A）：页面A的PageRank值；
d：阻尼系数，由于某些页面没有入链接或者出链接，无法计算PageRank值，为避免这个问题（即LinkSink问题），而提出的。阻尼系数常指定为0.85。
R（Pi）：页面Pi的PageRank值；
C（Pi）：页面链出的链接数量；
PageRank值的计算初始值相同，为了不忽视被重要网页链接的网页也是重要的这一重要因素，需要反复迭代运算，据张映海撰文的计算结果，需要进行10次以上的迭代后链接评价值趋于稳定，如此经过多次迭代，系统的PR值达到收敛。
PageRank是一个与查询无关的静态算法，因此所有网页的PageRank值均可以通过离线计算获得。这样，减少了用户检索时需要的排序时间，极大地降低了查询响应时间。但是PageRank存在两个缺陷：首先PageRank算法严重歧视新加入的网页，因为新的网页的出链接和入链接通常都很少，PageRank值非常低。另外PageRank算法仅仅依靠外部链接数量和重要度来进行排名，而忽略了页面的主题相关性，以至于一些主题不相关的网页（如广告页面）获得较大的PageRank值，从而影响了搜索结果的准确性。为此，各种主题相关算法纷纷涌现，其中以以下几种算法最为典型。
2）Topic-Sensitive PageRank算法
由于最初PageRank算法中是没有考虑主题相关因素的，斯坦福大学计算机科学系Taher Haveli-wala提出了一种主题敏感（Topic-Sensitive）的PageRank算法解决了“主题漂流”问题。该算法考虑到有些页面在某些领域被认为是重要的，但并不表示它在其它领域也是重要的。
网页A链接网页B，可以看作网页A对网页B的评分，如果网页A与网页B属于相同主题，则可认为A对B的评分更可靠。因为A与B可形象的看作是同行，同行对同行的了解往往比不是同行的要多，所以同行的评分往往比不是同行的评分可靠。遗憾的是TSPR并没有利用主题的相关性来提高链接得分的准确性。
3）HillTop算法
HillTop是Google的一个工程师Bharat在2001年获得的专利。HillTop是一种查询相关性链接分析算法，克服了的PageRank的查询无关性的缺点。HillTop算法认为具有相同主题的相关文档链接对于搜索者会有更大的价值。在Hilltop中仅考虑那些用于引导人们浏览资源的专家页面（Export Sources）。Hilltop在收到一个查询请求时，首先根据查询的主题计算出一列相关性最强的专家页面，然后根据指向目标页面的非从属专家页面的数量和相关性来对目标页面进行排序。
HillTop算法确定网页与搜索关键词的匹配程度的基本排序过程取代了过分依靠PageRank的值去寻找那些权威页面的方法，避免了许多想通过增加许多无效链接来提高网页PageRank值的作弊方法。HillTop算法通过不同等级的评分确保了评价结果对关键词的相关性，通过不同位置的评分确保了主题（行业）的相关性，通过可区分短语数防止了关键词的堆砌。
但是，专家页面的搜索和确定对算法起关键作用，专家页面的质量对算法的准确性起着决定性作用，也就忽略了大多数非专家页面的影响。专家页面在互联网中占的比例非常低（1.79%），无法代表互联网全部网页，所以HillTop存在一定的局限性。同时，不同于PageRank算法，HillTop算法的运算是在线运行的，对系统的响应时间产生极大的压力。
HITS（Hyperlink Induced Topic Search）算法是Kleinberg在1998年提出的，是基于超链接分析排序算法中另一个最著名的算法之一。该算法按照超链接的方向，将网页分成两种类型的页面：Authority页面和Hub页面。Authority页面又称权威页面，是指与某个查询关键词和组合最相近的页面，Hub页面又称目录页，该页面的内容主要是大量指向Authority页面的链接，它的主要功能就是把这些Authority页面联合在一起。对于Authority页面P，当指向P的Hub页面越多，质量越高，P的Authority值就越大；而对于Hub页面H，当H指向的Authority的页面越多，Authority页面质量越高，H的Hub值就越大。对整个Web集合而言，Authority和Hub是相互依赖、相互促进，相互加强的关系。Authority和Hub之间相互优化的关系，即为HITS算法的基础。
HITS基本思想是：算法根据一个网页的入度（指向此网页的超链接）和出度（从此网页指向别的网页）来衡量网页的重要性。在限定范围之后根据网页的出度和入度建立一个矩阵，通过矩阵的迭代运算和定义收敛的阈值不断对两个向量Authority和Hub值进行更新直至收敛。
实验数据表明，HITS的排名准确性要比PageRank高，HITS算法的设计符合网络用户评价网络资源质量的普遍标准，因此能够为用户更好的利用网络信息检索工具访问互联网资源带来便利。
但却存在以下缺陷：首先，HITS算法只计算主特征向量，处理不好主题漂移问题；其次，进行窄主题查询时，可能产生主题泛化问题；第三，HITS算法可以说一种实验性质的尝试。它必须在网络信息检索系统进行面向内容的检索操作之后，基于内容检索的结果页面及其直接相连的页面之间的链接关系进行计算。尽管有人尝试通过算法改进和专门设立链接结构计算服务器（Connectivity Server）等操作，可以实现一定程度的在线实时计算，但其计算代价仍然是不可接受的。
2.3基于智能化排序的第三代搜索引擎
排序算法在搜索引擎中具有特别重要的地位，目前许多搜索引擎都在进一步研究新的排序方法，来提升用户的满意度。但目前第二代搜索引擎有着两个不足之处，在此背景下，基于智能化排序的第三代搜索引擎也就应运而生。
1）相关性问题
相关性是指检索词和页面的相关程度。由于语言复杂，仅仅通过链接分析及网页的表面特征来判断检索词与页面的相关性是片面的。例如：检索“稻瘟病”，有网页是介绍水稻病虫害信息的，但文中没有“稻瘟病”这个词，搜索引擎根本无法检索到。正是以上原因，造成大量的搜索引擎作弊现象无法解决。解决相关性的的方法应该是增加语意理解，分析检索关键词与网页的相关程度，相关性分析越精准，用户的搜索效果就会越好。同时，相关性低的网页可以剔除，有效地防止搜索引擎作弊现象。检索关键词和网页的相关性是在线运行的，会给系统相应时间很大的压力，可以采用分布式体系结构可以提高系统规模和性能。
2）搜索结果的单一化问题
在搜索引擎上，任何人搜索同一个词的结果都是一样。这并不能满足用户的需求。不同的用户对检索的结果要求是不一样的。例如：普通的农民检索“稻瘟病”，只是想得到稻瘟病的相关信息以及防治方法，但农业专家或科技工作者可能会想得到稻瘟病相关的论文。
解决搜索结果单一的方法是提供个性化服务，实现智能搜索。通过Web数据挖掘，建立用户模型（如用户背景、兴趣、行为、风格），提供个性化服务。
采纳率：92%
来自团队：
为您推荐：
其他类似问题
您可能关注的内容
换一换
回答问题，赢新手礼包
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。豆丁微信公众号
君，已阅读到文档的结尾了呢~~
扫扫二维码，随身浏览文档
手机或平板扫扫即可继续访问
我国搜索引擎技术伦理问题研究
举报该文档为侵权文档。
举报该文档含有违规或不良信息。
反馈该文档无法正常浏览。
举报该文档为重复文档。
推荐理由：
将文档分享至：
分享完整地址
文档地址：
粘贴到BBS或博客
flash地址：
支持嵌入FLASH地址的网站使用
html代码：
&embed src='http://www.docin.com/DocinViewer-4.swf' width='100%' height='600' type=application/x-shockwave-flash ALLOWFULLSCREEN='true' ALLOWSCRIPTACCESS='always'&&/embed&
450px*300px480px*400px650px*490px
支持嵌入HTML代码的网站使用
您的内容已经提交成功
您所提交的内容需要审核后才能发布，请您等待！
3秒自动关闭窗口与技术有关：关于搜索引擎索引的这些概念
搜索引擎在我们的日常生活中很常见，在各个领域都发挥着它独特的作用。那今天我们一起从文中来了解一下关于搜索引擎索引的这些概念。
索引其实在日常生活中是很常见的，比如：书籍的目录就是一种索引结构，目的是为了让人们能够更快地找到相关章节内容。再比如：像hao123这种类型的导航网站，本质上也是互联网页面中的索引结构，目的类似，也是为了让用户能够尽快找到有价值的分类网站。
在计算机科学领域，索引也是非常常用的数据结构，其根本目的是为了——在具体应用中加快查找速度。比如：在数据库中，在很多高效数据结构中，都会大量采用索引来提升系统效率。
具体到搜索引擎，索引更是其中最重要的核心技术之一，面对海量的网页内容，如何快速找到包含用户查询词的所有网页？倒排索引在其中扮演了关键的角色。
本文主要讲解与倒排索引相关的技术，通过引入简单实例，介绍与搜索引擎有关的一些基本概念，了解这些基本概念对于以后深入了解索引的工作机制非常重要。
一、单词-文档矩阵
单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型，图1展示了其含义，图1中的每列代表一个文档，每行代表一个单词，打对勾的位置代表包含关系。
图1：单词-文档矩阵
从纵向即文档这个维度来看：每列代表文档包含了哪些单词，比如：文档1包含了词汇1和词汇4，而不包含其他单词。
从横向即单词这个维度来看：每行代表了哪些文档包含了某个单词，比如：对于词汇1来说，文档1和文档4中出现过词汇1，而其他文档不包含词汇1，矩阵中其他的行列也可做此种解读。
搜索引擎的索引其实就是实现单词-文档矩阵的具体数据结构，可以有不同的方式来实现上述概念模型。比如：倒排索引、签名文件、后缀树等方式。
但是各项试验数据表明，倒排索引是单词到文档映射关系的最佳实现方式，所以本文主要介绍倒排索引的技术细节。
二、倒排索引基本概念
在这里向大家解释倒排索引常用的一些专用术语：
文档：一般搜索引擎的处理对象是互联网网页，而文档这个概念要更宽泛些，代表以文本形式存在的存储对象。相比网页来说，涵盖更多形式。比如：Word、PDF、XML等不同格式的文件都可以称为文档；再比如：一封邮件、一条短信、一条微博也可以称为文档。
文档集合：由若干文档构成的集合称为文档集合。比如：海量的互联网网页或者说大量的电子邮件，都是文档集合的具体例子。
文档编号：在搜索引擎内部，会为文档集合内每个文档赋予一个唯一的内部编号，以此编号来作为这个文档的唯一标识，这样方便内部处理，每个文档的内部编号即称为文档编号。
单词编号：与文档编号类似，搜索引擎内部以唯一的编号来表征某个单词，单词编号可以作为某个单词的唯一表征。
倒排索引：倒排索引是实现单词-文档矩阵的一种具体存储形式。通过倒排索引，可以根据单词快速获取包含这个单词的文档列表，倒排索引主要由两个部分组成：单词词典和倒排文件。
单词词典：搜索引擎通常的索引单位是单词，单词词典是由文档集合中出现过的所有单词构成的字符串集合，单词词典内每条索引项记载单词本身的一些信息及指向倒排列表的指针。
倒排列表：倒排列表记载了，出现某个单词的所有文档的文档列表及单词在该文档中出现的位置信息，每条记录称为一个倒排项。根据倒排列表，即可获知哪些文档包含某个单词。
倒排文件：所有单词的倒排列表往往顺序地存储在磁盘的某个文件里，这个文件即被称为倒排文件，倒排文件是存储倒排索引的物理文件。
关于这些概念之间的关系，通过图2可以比较清晰地看出来：
图2：倒排索引基本概念示意图
三、倒排索引简单实例
倒排索引从逻辑结构和基本思路上讲非常简单，下面我们通过具体实例来进行说明，使得大家能够对倒排索引有一个宏观而直接的感受。
假设文档集合包含5个文档，每个文档包含内容如下图所示：在图3中最左端一栏是每个文档对应的文档编号，我们的任务就是对这个文档集合建立倒排索引。
图3：文档集合
中文和英文等语言不同，单词之间没有明确的分隔符号，所以首先要用分词系统将文档自动切分成单词序列，这样每个文档就转换为由单词序列构成的数据流。
为了系统后续处理方便，需要对每个不同的单词赋予唯一的单词编号，同时记录下哪些文档包含这个单词，在处理结束后，我们可以得到最简单的倒排索引（参考图4）。
图4中，“单词ID”一列记录了每个单词对应的编号，第2列是对应的单词，第3列即每个单词对应的倒排列表。比如：单词“谷歌”，其中单词编号为1，倒排列表为{1,2,3,4,5}，说明文档集合中每个文档都包含了这个单词。
之所以说图4的倒排索引是最简单的，是因为这个索引系统只记载了哪些文档包含某个单词。而事实上，索引系统还可以记录除此之外的更多信息。
图5是一个相对复杂些的倒排索引，与图4所示的基本索引系统相比，在单词对应的倒排列表中不仅记录了文档编号，还记载了单词频率信息，即这个单词在某个文档中出现的次数。之所以要记录这个信息，是因为词频信息在搜索结果排序时，计算查询和文档相似度是一个很重要的计算因子，所以将其记录在倒排列表中，以方便后续排序时进行分值计算。
在图5所示的例子里，单词“创始人”的单词编号为7，对应的倒排列表内容有（3;1），其中3代表文档编号为3的文档包含这个单词，数字1代表词频信息，即这个单词在3号文档中只出现过1次，其他单词对应的倒排列表所代表的含义与此相同。
图4：最简单的倒排索引
图5：带有单词频率信息的倒排索引
实用的倒排索引还可以记载更多的信息，图6所示的索引系统除了记录文档编号和单词词频信息外，额外记载了两类信息——即每个单词对应的文档频率信息（图6的第3列）及单词在某个文档出现位置的信息。
图6：带有单词频率、文档频率和出现位置信息的倒排索引
文档频率信息代表了在文档集合中有多少个文档包含某个单词，之所以要记录这个信息，其原因与单词频率信息一样，这个信息在搜索结果排序计算中是一个非常重要的因子。
而单词在某个文档中出现位置的信息并非索引系统一定要记录的，在实际的索引系统里可以包含，也可以选择不包含这个信息，之所以如此，是因为这个信息对于搜索系统来说并非必要，位置信息只有在支持短语查询的时候才能够派上用场。
以单词“拉斯”为例：其单词编号为8，文档频率为2，代表整个文档集合中有两个文档包含这个单词，对应的倒排列表为{(3;1;&4&),(5;1;&4&)}，其含义为在文档3和文档5出现过这个单词，单词频率都为1，单词“拉斯”在这两个文档中的出现位置都是4，即文档中第4个单词是“拉斯”。
图6所示的倒排索引已经是一个非常完备的索引系统，实际搜索引擎的索引结构基本如此，区别无非是采取哪些具体的数据结构来实现上述逻辑结构。
有了这个索引系统，搜索引擎可以很方便地响应用户的查询。比如：用户输入查询词 “Facebook”，搜索系统查找倒排索引，从中可用读出包含这个单词的文档，这些文档就是提供给用户的搜索结果。
而利用单词词频信息、文档频率信息即可对这些候选搜索结果进行排序，计算文档和查询的相似性，按照相似性得分由高到低排序输出，此即为搜索系统的部分内部流程。
本文由 @kevin 原创发布于人人都是产品经理。未经许可，禁止转载
责任编辑：
声明：本文由入驻搜狐号的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。
今日搜狐热点百度搜索引擎的工作原理-马海祥博客
新型SEO思维就是从一个全新的层次上提升seo优化的水平，达到网络信息最佳化的展示效果！
> 百度搜索引擎的工作原理
百度搜索引擎的工作原理
时间：&&&文章来源：马海祥博客&&&访问次数：
关于百度以及其它搜索引擎的工作原理，其实大家已经讨论过很多，但随着科技的进步、互联网业的发展，各家搜索引擎都发生着巨大的变化，并且这些变化都是飞快的，本文的目的，除了从百度官方的角度发出一些声音、纠正一些之前的误读外，还希望通过不断更新内容，与百度搜索引擎发展保持同步，给各位站长带来最新的、与百度高相关的信息。
本章主要内容分为四个章节，分别为：抓取建库；检索排序；外部投票；结果展现。
一、抓取建库
互联网信息爆发式增长，如何有效的获取并利用这些信息是搜索引擎工作中的首要环节，数据抓取系统作为整个搜索系统中的上游，主要负责互联网信息的搜集、保存、更新环节，它像蜘蛛一样在网络间爬来爬去，因此通常会被叫做&spider&，例如我们常用的几家通用搜索引擎蜘蛛被称为：Baiduspdier、Googlebot、Sogou Web Spider等。
1、Spider抓取系统的基本框架
Spider抓取系统是搜索引擎数据来源的重要保证，如果把web理解为一个有向图，那么，spider的工作过程可以认为是对这个有向图的遍历，从一些重要的种子URL开始，通过页面上的超链接关系，不断的发现新URL并抓取，尽最大可能抓取到更多的有价值网页。
对于类似百度这样的大型spider系统，因为每时每刻都存在网页被修改、删除或出现新的超链接的可能，因此，还要对spider过去抓取过的页面保持更新，维护一个URL库和页面库。
上图为spider抓取系统的基本框架图，其中包括链接存储系统、链接选取系统、dns解析服务系统、抓取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统，Baiduspider即是通过这种系统的通力合作完成对互联网页面的抓取工作。
2、Baiduspider 主要抓取策略类型
上图看似简单，但其实Baiduspider在抓取过程中面对的是一个超级复杂的网络环境，为了使系统可以抓取到尽可能多的有价值资源并保持系统及实际环境中页面的一致性同时不给网站体验造成压力，会设计多种复杂的抓取策略，以下马海祥博客也为大家做下简单的介绍：
（1）、抓取友好性
互联网资源庞大的数量级，这就要求抓取系统尽可能的高效利用带宽，在有限的硬件和带宽资源下尽可能多的抓取到有价值资源，这就造成了另一个问题，耗费被抓网站的带宽造成访问压力，如果程度过大将直接影响被抓网站的正常用户访问行为，因此，在抓取过程中就要进行一定的抓取压力控制，达到既不影响网站的正常用户访问又能尽量多的抓取到有价值资源的目的。
通常情况下，最基本的是基于ip的压力控制，这是因为如果基于域名，可能存在一个域名对多个ip（很多大网站）或多个域名对应同一个ip（小网站共享ip）的问题。
实际中，往往根据ip及域名的多种条件进行压力调配控制，同时，站长平台也推出了压力反馈工具，站长可以人工调配对自己网站的抓取压力，这时百度spider将优先按照站长的要求进行抓取压力控制。
对同一个站点的抓取速度控制一般分为两类：其一，一段时间内的抓取频率；其二，一段时间内的抓取流量。
同一站点不同的时间抓取速度也会不同，例如夜深人静月黑风高时候抓取的可能就会快一些，也视具体站点类型而定，主要思想是错开正常用户访问高峰，不断的调整，在马海祥看来，对于不同站点，也需要不同的抓取速度。
（2）、常用抓取返回码示意
简单介绍几种百度支持的返回码：
①、最常见的404代表&NOT FOUND&，认为网页已经失效，通常将在库中删除，同时短期内如果spider再次发现这条url也不会抓取（具体可查看马海祥博客《》的相关介绍）。
②、503代表&Service Unavailable&，认为网页临时不可访问，通常网站临时关闭，带宽有限等会产生这种情况，对于网页返回503状态码，百度spider不会把这条url直接删除，同时短期内将会反复访问几次，如果网页已恢复，则正常抓取；如果继续返回503，那么这条url仍会被认为是失效链接，从库中删除。
③、403代表&Forbidden&，认为网页目前禁止访问。如果是新url，spider暂时不抓取，短期内同样会反复访问几次；如果是已收录url，不会直接删除，短期内同样反复访问几次，如果网页正常访问，则正常抓取；如果仍然禁止访问，那么这条url也会被认为是失效链接，从库中删除。
④、301代表是&Moved Permanently&，认为网页重定向至新url，当遇到站点迁移、域名更换、站点改版的情况时，我们推荐使用301返回码，同时使用站长平台网站改版工具，以减少改版对网站流量造成的损失。
（3）、多种url重定向的识别
互联网中一部分网页因为各种各样的原因存在url重定向状态，为了对这部分资源正常抓取，就要求spider对url重定向进行识别判断，同时防止作弊行为。
重定向可分为三类：http 30x重定向、meta refresh重定向和js重定向，另外，百度也支持Canonical标签，在效果上可以认为也是一种间接的重定向。
（4）、抓取优先级调配
由于互联网资源规模的巨大以及迅速的变化，对于搜索引擎来说全部抓取到并合理的更新保持一致性几乎是不可能的事情，因此这就要求抓取系统设计一套合理的抓取优先级调配策略，主要包括：深度优先遍历策略、宽度优先遍历策略、pr优先策略、反链策略、社会化分享指导策略等等，每个策略各有优劣，在实际情况中往往是多种策略结合使用以达到最优的抓取效果。
（5）、重复url的过滤
spider在抓取过程中需要判断一个页面是否已经抓取过了，如果还没有抓取再进行抓取网页的行为并放在已抓取网址集合中，判断是否已经抓取其中涉及到最核心的是快速查找并对比，同时涉及到url归一化识别，例如一个url中包含大量无效参数而实际是同一个页面，这将视为同一个url来对待（具体可查看马海祥博客《》的相关介绍）。
（6）、暗网数据的获取
互联网中存在着大量的搜索引擎暂时无法抓取到的数据，被称为暗网数据，一方面，很多网站的大量数据是存在于网络数据库中，spider难以采用抓取网页的方式获得完整内容；另一方面，由于网络环境、网站本身不符合规范、孤岛等等问题，也会造成搜索引擎无法抓取。
目前来说，对于暗网数据的获取主要思路仍然是通过开放平台采用数据提交的方式来解决，例如&百度站长平台&&百度开放平台&等等。
（7）、抓取反作弊
spider在抓取过程中往往会遇到所谓抓取黑洞或者面临大量低质量页面的困扰，这就要求抓取系统中同样需要设计一套完善的抓取反作弊系统，例如分析url特征、分析页面大小及内容、分析站点规模对应抓取规模等等。
3、Baiduspider抓取过程中涉及的网络协议
刚才提到百度搜索引擎会设计复杂的抓取策略，其实搜索引擎与资源提供者之间存在相互依赖的关系，其中搜索引擎需要站长为其提供资源，否则搜索引擎就无法满足用户检索需求；而站长需要通过搜索引擎将自己的内容推广出去获取更多的受众。
spider抓取系统直接涉及互联网资源提供者的利益，为了使搜素引擎与站长能够达到双赢，在抓取过程中双方必须遵守一定的规范，以便于双方的数据处理及对接，这种过程中遵守的规范也就是日常中我们所说的一些网络协议，以下简单列举：
（1）、http协议
超文本传输协议，是互联网上应用最为广泛的一种网络协议，客户端和服务器端请求和应答的标准。
客户端一般情况是指终端用户，服务器端即指网站，终端用户通过浏览器、蜘蛛等向服务器指定端口发送http请求，发送http请求会返回对应的httpheader信息，可以看到包括是否成功、服务器类型、网页最近更新时间等内容。
（2）、https协议
实际是加密版http，一种更加安全的数据传输协议（具体可查看马海祥博客《》的相关介绍）。
（3）、UA属性
UA即user-agent，是http协议中的一个属性，代表了终端的身份，向服务器端表明我是谁来干嘛，进而服务器端可以根据不同的身份来做出不同的反馈结果。
（4）、robots协议
robots.txt是搜索引擎访问一个网站时要访问的第一个文件，用以来确定哪些是被允许抓取的哪些是被禁止抓取的，robots.txt必须放在网站根目录下，且文件名要小写，详细的robots.txt写法可参考马海祥博客《》的相关介绍，百度严格按照robots协议执行，另外，同样支持网页内容中添加的名为robots的meta标签，index、follow、nofollow等指令。
4、Baiduspider抓取频次原则及调整方法
Baiduspider根据上述网站设置的协议对站点页面进行抓取，但是不可能做到对所有站点一视同仁，会综合考虑站点实际情况确定一个抓取配额，每天定量抓取站点内容，即我们常说的抓取频次，那么百度搜索引擎是根据什么指标来确定对一个网站的抓取频次的呢？主要指标有四个：
（1）、网站更新频率：更新快多来，更新慢少来，直接影响Baiduspider的来访频率（具体可查看马海祥博客《》的相关介绍）。
（2）、网站更新质量：更新频率提高了，仅仅是吸引了Baiduspier的注意，Baiduspider对质量是有严格要求的，如果网站每天更新出的大量内容都被Baiduspider判定为低质页面，依然没有意义。
（3）、连通度：网站应该安全稳定、对Baiduspider保持畅通，经常给Baiduspider吃闭门羹可不是好事情。
（4）、站点评价：百度搜索引擎对每个站点都会有一个评价，且这个评价会根据站点情况不断变化，是百度搜索引擎对站点的一个基础打分（绝非外界所说的），是百度内部一个非常机密的数据，站点评级从不独立使用，会配合其它因子和阈值一起共同影响对网站的抓取和排序。
抓取频次间接决定着网站有多少页面有可能被建库收录，如此重要的数值如果不符合站长预期该如何调整呢？百度站长平台提供了抓取频次工具，该工具除了提供抓取统计数据外，还提供&频次调整&功能，站长根据实际情况向百度站长平台提出希望Baiduspider增加来访或减少来访的请求，工具会根据站长的意愿和实际情况进行调整。
5、造成Baiduspider抓取异常的原因
有一些网页，内容优质，用户也可以正常访问，但是Baiduspider却无法正常访问并抓取，造成搜索结果覆盖率缺失，对百度搜索引擎对站点都是一种损失，百度把这种情况叫&抓取异常&。
对于大量内容无法正常抓取的网站，百度搜索引擎会认为网站存在用户体验上的缺陷，并降低对网站的评价，在抓取、索引、排序上都会受到一定程度的负面影响，最终影响到网站从百度获取的流量。
下面马海祥博客向站长们介绍一些常见的抓取异常原因：
（1）、服务器连接异常
服务器连接异常会有两种情况：一种是站点不稳定，Baiduspider尝试连接您网站的服务器时出现暂时无法连接的情况；一种是Baiduspider一直无法连接上您网站的服务器。
造成服务器连接异常的原因通常是您的网站服务器过大，超负荷运转，也有可能是您的网站运行不正常，请检查网站的web服务器（如apache、iis）是否安装且正常运行，并使用浏览器检查主要页面能否正常访问，您的网站和主机还可能阻止了Baiduspider的访问，您需要检查网站和主机的防火墙。
（2）、网络运营商异常
网络运营商分电信和联通两种，Baiduspider通过电信或网通无法访问您的网站，如果出现这种情况，您需要与网络服务运营商进行联系，或者购买拥有双线服务的空间或者购买cdn服务。
（3）、DNS异常
当Baiduspider无法解析您网站的IP时，会出现DNS异常，可能是您的网站IP地址错误，或者域名服务商把Baiduspider封禁，请使用WHOIS或者host查询自己网站IP地址是否正确且可解析，如果不正确或无法解析，请与域名注册商联系，更新您的IP地址。
（4）、IP封禁
IP封禁为：限制网络的出口IP地址，禁止该IP段的使用者进行内容访问，在这里特指封禁了BaiduspiderIP，当您的网站不希望Baiduspider访问时，才需要该设置，如果您希望Baiduspider访问您的网站，请检查相关设置中是否误添加了BaiduspiderIP，也有可能是您网站所在的空间服务商把百度IP进行了封禁，这时您需要联系服务商更改设置。
（5）、UA封禁
UA即为用户代理（User-Agent），服务器通过UA识别访问者的身份。当网站针对指定UA的访问，返回异常页面（如403，500）或跳转到其他页面的情况，即为UA封禁，当您的网站不希望Baiduspider访问时，才需要该设置，如果您希望Baiduspider访问您的网站，useragent相关的设置中是否有Baiduspider UA，并及时修改。
（6）、死链
页面已经无效，无法对用户提供任何有价值信息的页面就是死链接，包括协议死链和内容死链两种形式:
①、协议死链：页面的TCP协议状态/HTTP协议状态明确表示的死链，常见的如404、403、503状态等。
②、内容死链：服务器返回状态是正常的，但内容已经变更为不存在、已删除或需要权限等与原内容无关的信息页面。
对于死链，马海祥建议站点使用协议死链，并通过百度站长平台--死链工具向百度提交，以便百度更快地发现死链，减少死链对用户以及搜索引擎造成的负面影响。
（7）、异常跳转
将网络请求重新指向其他位置即为跳转，异常跳转指的是以下几种情况：
①、当前该页面为无效页面（内容已删除、死链等），直接跳转到前一目录或者首页，百度建议站长将该无效页面的入口超链接删除掉。
②、跳转到出错或者无效页面。
注意：对于长时间跳转到其他域名的情况，如网站更换域名，百度建议使用301跳转协议进行设置。
（8）、其他异常
①、针对百度refer的异常：网页针对来自百度的refer返回不同于正常内容的行为。
②、针对百度ua的异常：网页对百度UA返回不同于页面原内容的行为。
③、JS跳转异常：网页加载了百度无法识别的JS跳转代码，使得用户通过搜索结果进入页面后发生了跳转的情况。
④、压力过大引起的偶然封禁：百度会根据站点的规模、访问量等信息，自动设定一个合理的抓取压力，但是在异常情况下，如压力控制失常时，服务器会根据自身负荷进行保护性的偶然封禁，这种情况下，请在返回码中返回503(其含义是&Service Unavailable&)，这样Baiduspider会过段时间再来尝试抓取这个链接，如果网站已空闲，则会被成功抓取。
6、新链接重要程度判断
好啦，上面我们说了影响Baiduspider正常抓取的原因，下面就要说说Baiduspider的一些判断原则了。
在建库环节前，Baiduspider会对页面进行初步内容分析和链接分析，通过内容分析决定该网页是否需要建索引库，通过链接分析发现更多网页，再对更多网页进行抓取&&分析&&是否建库&发现新链接的流程。
理论上，Baiduspider会将新页面上所有能&看到&的链接都抓取回来，那么，面对众多新链接，Baiduspider根据什么判断哪个更重要呢？
（1）、对用户的价值
①、内容独特，百度搜索引擎喜欢unique的内容。
②、主体突出，切不要出现网页主体内容不突出而被搜索引擎误判为空短页面不抓取。
③、内容丰富。
④、广告适当。
（2）、链接重要程度
①、目录层级&&浅层优先。
②、链接在站内的受欢迎程度。
7、百度优先建重要库的原则
Baiduspider抓了多少页面并不是最重要的，重要的是有多少页面被建索引库，即我们常说的&建库&，众所周知，搜索引擎的索引库是分层级的，优质的网页会被分配到重要索引库，普通网页会待在普通库，再差一些的网页会被分配到低级库去当补充材料，目前60%的检索需求只调用重要索引库即可满足，这也就解释了为什么有些网站的收录量超高流量却一直不理想。
那么，哪些网页可以进入优质索引库呢？在马海祥看来，其实总的原则就是一个：对用户的价值，包括却不仅于：
（1）、有时效性且有价值的页面
在这里，时效性和价值是并列关系，缺一不可。有些站点为了产生时效性内容页面做了大量采集工作，产生了一堆无价值面页，也是百度不愿看到的.
（2）、内容优质的专题页面
专题页面的内容不一定完全是原创的，即可以很好地把各方内容整合在一起，或者增加一些新鲜的内容，比如观点和评论，给用户更丰富全面的内容。
（3）、高价值原创内容页面
百度把原创定义为花费一定成本、大量经验积累提取后形成的文章，千万不要再问我们伪原创是不是原创（具体可查看马海祥博客《》的相关介绍）。
（4）、重要个人页面
这里仅举一个例子，科比在新浪微博开户了，即使他不经常更新，但对于百度来说，它仍然是一个极重要的页面。
8、哪些网页无法建入索引库
上述优质网页进了索引库，那其实互联网上大部分网站根本没有被百度收录，并非是百度没有发现他们，而是在建库前的筛选环节被过滤掉了，那怎样的网页在最初环节就被过滤掉了呢？
（1）、重复内容的网页：互联网上已有的内容，百度必然没有必要再收录。
（2）、主体内容空短的网页，这包括：
①、有些内容使用了百度spider无法解析的技术，如JS、AJAX等，虽然用户访问能看到丰富的内容，依然会被搜索引擎抛弃。
②、加载速度过慢的网页，也有可能被当作空短页面处理，注意广告加载时间算在网页整体加载时间内。
③、很多主体不突出的网页即使被抓取回来也会在这个环节被抛弃。
（3）、部分作弊网页。
二、检索排序
众所周知，搜索引擎的主要工作过程包括：抓取、存储、页面分析、索引、检索等几个主要过程。
1、索引系统
在以亿为单位的网页库中查找特定的某些关键词犹如大海里面捞针，也许一定的时间内可以完成查找，但是用户等不起，从用户体验角度我们必须在毫秒级别给予用户满意的结果，否则用户只能流失，怎样才能达到这种要求呢？
如果能知道用户查找的关键词（query切词后）都出现在哪些页面中，那么用户检索的处理过程即可以想象为包含了query中切词后不同部分的页面集合求交的过程，而检索即变成了页面名称之间的比较、求交，这样，在毫秒内以亿为单位的检索成为了可能，这就是通常所说的倒排索引及求交检索的过程，如下为建立倒排索引的基本过程：
（1）、页面分析的过程实际上是将原始页面的不同部分进行识别并标记，例如：title、keywords、content、link、anchor、评论、其他非重要区域等等。
（2）、分词的过程实际上包括了切词分词同义词转换同义词替换等等，以对某页面title分词为例，得到的将是这样的数据：term文本、termid、词类、词性等等（具体可查看马海祥博客《》的相关介绍）。
（3）、之前的准备工作完成后，接下来即是建立倒排索引，形成{term&doc}，下图即是索引系统中的倒排索引过程：
倒排索引是搜索引擎实现毫秒级检索非常重要的一个环节，下面我们要重要介绍一下索引系统建立倒排索引的重要过程&&入库写库。
2、倒排索引的重要过程&&入库写库
索引系统在建立倒排索引的最后还需要有一个入库写库的过程，而为了提高效率这个过程还需要将全部term以及偏移量保存在文件头部，并且对数据进行压缩，这涉及到的过于技术化在此就不多提了，在此，马海祥博客也简要给大家介绍一下索引之后的检索系统。
检索系统主要包含了五个部分，如下图所示：
（1）、Query串切词分词即将用户的查询词进行分词，对之后的查询做准备，以&10号线地铁故障&为例，可能的分词如下（同义词问题暂时略过）：
10& 0x123abc
　　号&& 0x13445d
　　线&& 0x234d
　　地铁 0x145cf
　　故障 0x354df
（2）、查出含每个term的文档集合，即找出待选集合，如下：
0x123abc&& 1& 2 3& 4& 7& 9&..
　　0x13445d&& 2& 5 8& 9& 10& 11&&
（3）、求交，上述求交，文档2和文档9可能是我们需要找的，整个求交过程实际上关系着整个系统的性能，这里面包含了使用缓存等等手段进行性能优化。
（4）、各种过滤，举例可能包含过滤掉死链、重复数据、色情、垃圾结果以及你懂的！
（5）、最终排序，将最能满足用户需求的结果排序在最前，可能包括的有用信息如：网站的整体评价、网页质量、内容质量、资源质量、匹配程度、分散度、时效性等等。
3、影响搜索结果排序的因素
上面的内容好象有些深奥，因为涉及大量技术细节，马海祥只能说到这儿了，那下面马海祥说说大家最感兴趣的排序问题吧，用户输入关键词进行检索，百度搜索引擎在排序环节要做两方面的事情，第一是把相关的网页从索引库中提取出来，第二是把提取出来的网页按照不同维度的得分进行综合排序，&不同维度&包括：
（1）、相关性：网页内容与用户检索需求的匹配程度，比如网页包含的用户检查关键词的个数，以及这些关键词出现的位置；外部网页指向该页面所用的锚文本等。
（2）、权威性：用户喜欢有一定权威性网站提供的内容，相应的，百度搜索引擎也更相信优质权威站点提供的内容。
（3）、时效性：时效性结果指的是新出现的网页，且网页内承载了新鲜的内容，目前时效性结果在搜索引擎中日趋重要。
（4）、重要性：网页内容与用户检查需求匹配的重要程度或受欢迎程度。
（5）、丰富度：丰富度看似简单却是一个覆盖范围非常广的命题，可以理解为网页内容丰富，可以完全满足用户需求；不仅可以满足用户单一需求，还可以满足用户的延展需求。
（6）、受欢迎程度：指该网页是不是受欢迎。
以上便是百度搜索引擎决定搜索结果排序时考虑的六大原则，那么六大原则的侧重点是怎样的呢？哪个原则在实际应用时占比最大呢？其实在这里没有一个确切的答案。
在百度搜索引擎早期，这些阈值的确是相对固定的，比如&相关性&在整体排序中的重量可以占到七成，但随着互联网的不断发展，检索技术的进步，网页数量的爆发式增长，相关性已经不是难题，于是百度搜索引擎引入了机器学习机制，让程序自动产出计算公式，推进排序策略更加合理。
4、低质网页狙击策略&&石榴算法
我们理解网站生存发展需要资金支持，从来不反对网站添加各种合法广告，不要再问我们&我们网站加了XX联盟的广告会不会被处罚&这类问题，有些站点好不容易在百度有了比较好的排位，却在页面上放置大量有损访问用户体验的广告，已经严重影响到百度搜索引擎用户的使用感受。
为此，百度质量团队日发布公告：针对低质量网页推出了石榴算法，旨在打击含有大量妨碍用户正常浏览的恶劣广告的页面，尤其是弹出大量低质广告、存在混淆页面主体内容的垃圾广告的页面（具体可查看马海祥博客《》的相关介绍）。
百度质量团队希望站长能够多从用户角度出发，朝着长远发展考虑，在不影响用户体验的前提下合理地放置广告，赢得用户的长期青睐才是一个网站发展壮大的基础。
三、外部投票
曾经，&内容为王，外链为皇&的说法流行了很多年，通过超链计算得分来体现网页的相关性和重要性，的确曾经是搜索引擎用来评估网页的重要参考因素之一，会直接参与搜索结果排序计算。
1、外链的作用
随着该技术被越来越多的SEO人员了解，超链已经逐渐失去作为投票的重要意义，无论是谷歌还是百度，对超链数据的依赖程度都越来越低，那么，在现在，超链在发挥着怎样的作用？
（1）、吸引蜘蛛抓取
虽然百度在挖掘新好站点方面下了很大工夫，开放了多个数据提交入口，开避了社会化发现渠道，但超链依然是发现收录链接的最重要入口。
（2）、向搜索引擎传递相关性信息
百度除了通过TITLE、页面关键词、H标签等对网页内容进行判断外，还会通过锚文本进行铺助判断，使用图片作为点击入口的超链，也可以通过alt属性和title标签向百度传情达意。
（3）、提升排名
百度搜索引擎虽然降低了对超链的依赖，但对超链的识别力度从未下降，制定出更加严格的优质链接、正常链接、垃圾链接和作弊链接标准（具体可查看马海祥博客《》的相关介绍）。
对于作弊链接，除了对链接进行过滤清理外，也对链接的受益站进行一定程度的惩罚，相应的，对优质链接，百度依然持欢迎的态度。
（4）、内容分享，获取口碑
优质内容被广泛传播，网站借此获得的流量可能并不多，但如果内容做得足够，也可以树立自己的品牌效应。
严格来讲，这并不属于超链的作用，在百度眼里，网站的品牌比超链要重要得多。
2、切断买卖超链的利刃&&绿萝算法
百度质量团队日发布公告推出绿萝算法，针对买卖链接行为再次强调：买卖链接行为一方面影响用户体验，干扰搜索引擎算法；另一方面让投机建站者得利、超链中介者得利，真正勤勤恳恳做好站的站长在这种恶劣的互联网超链环境中无法获得应有的回报，因此，针对买卖链接行为在清除外链计算的基础上，以下三个类型的网站将会受到不同程度的影响：
（1）、超链中介
超链本应是互联网上相对优质的推荐，是普通用户及网站之间对页面内容、网站价值的肯定，但是现在种种超链作弊行为使得真实的肯定变成了一些人谋取利益的垫脚石，用户无法根据链接的推荐找到需要的优质资源，并且严重干扰搜索引擎对网站的评价，超链中介便是这畸形的超链市场下形成的恶之花，我们有义务维护超链的纯净维护用户利益，也有责任引导站长朋友们不再支出无谓的花销，所以超链中介将在我们的目标范围内。
（2）、出卖链接的网站
一个站点有许多种盈利方式，利用优质的原创内容吸引固定用户，引进优质广告资源，甚至举办线下活动，这些盈利方式都是我们乐于见到的，是一个网站的真正价值所在，但是一些网站内容基本采集自网络，以出卖超链位置为生；一些机构类网站或被链接中介所租用进行链接位置出售，使得超链市场泡沫越吹越多，此次的调整对这类站点同样将有所影响。
（3）、购买链接的网站
一直以来，百度对优质站点都会加以保护和扶植，这是从用户需求以及站长的角度出发的必然结果，而部分站长不将精力用在提升网站质量上，而选择钻营取巧，以金钱换取超链，欺骗搜索引擎进而欺骗用户。
对于没有太多资源和金钱用于此类开销的创业站长来说，也是一种无形的伤害，如果不进行遏制，劣币驱逐良币，势必导致互联网环境愈加恶劣，此次调整这类站点本身也将受到影响。
以上即百度质量团队首次推出绿萝算法时的具体情况，后来被称为绿萝算法1.0（具体可查看马海祥博客《》的相关介绍），事隔5个月之后，百度质量团队再次推出绿萝算法2.0，针对明显的推广性软文进行更大范围更加严格的处理。
惩罚的对象重点是发布软文的新闻站点，同时包括软文交易平台、软文收益站点，惩罚方式包括：
①、针对软文交易平台，将被直接屏蔽。
②、针对软文发布站，将视不同程度而进行处理。
例如一个新闻网站，存在发布软文的现象但情节不严重，该网站在搜索系统中将被降低评价；利用子域大量发布软文的，该子域将被直接屏蔽，并且清理出百度新闻源；更有甚者创建大量子域用于发布软文，此种情况整个主域将被屏蔽。
③、针对软文受益站，一个网站的外链中存在少量的软文外链，那么此时该外链将被过滤清除出权重计算体系，该受益站点将被观察一段时间后视情况而进一步处理；一个网站的外链中存在大量的软文外链，那么，此时该受益站点将被降低评价或直接屏蔽。
四、结果展现
网页经历了抓取建库，参与了排序计算，最终展现在搜索引擎用户面前，目前在百度搜索左侧结果展现形式很多，如：凤巢、品牌专区、自然结果等，一条自然结果怎样才能获得更多的点击，是站长要考虑的重要一环。
目前，自然结果里又分为两类，第一个，即结构化展现，形式比较多样，目前覆盖80%的搜索需求，即80%的关键词下会出现这种复杂展现样式；第二个即一段摘要式展现，最原始的展现方式，只有一个标题、两行摘要、部分链接，如下图所示：
很明显，结构化展现能够向用户明确传递信息，直击用户需求痛点，获得更好的点击自然不在话下，目前，百度结构化展现有几个样式：
1、通用问答：提取答案，方便搜索用户参考，有些结构化数据还提取出了问题。
2、下载类展示。
3、时间戳：对于时效性较强的资讯，将时间提取出来，吸引用户点击，还有回复的条目，能够表现这个链接的有效性和热度。
4、在线文档：出现文档格式示意图。
5、原创标记：原创标记的使用是最严格的，只有通过人工审核的站点才能拥有原创标志，在抓取和排序上有一定优待，所以审核非常严格，严控质量。
6、配图：扩大面积，方便用户了解网页内容，吸引点击。
那么，站长可以通过什么途径获得结果化展现呢？
1、参与原创星火计划：百度站长平台VIP俱乐部提供申请入口，需要经过人工审核后进行数据提交。
2、结构化数据提交工具。
3、结构化数据标注工具。
4、搜索结果配图，具体要求是：在文章主体位置；图片与内容相关；图片上没有文字；图片比例接近121*91即可。
马海祥博客点评：
每一个SEOer都应该认清楚搜索引擎优化的最根本目的就是为了获得用户，因此用户体验不能够忽视，我们在搜索引擎上获得排名的原因也是因为我们为用户提供了有价值的内容，在发展方向上，无论你是站长还是专业的SEOer，都应该朝着做用户、做产品、做服务的方面去发展，而不应该局限于SEO，此点甚为重要。
本文为原创文章，如想转载，请注明原文网址摘自于http://www.mahaixiang.cn/seoyjy/1222.html，注明出处；否则，禁止转载；谢谢配合！
您可能还会对以下这些文章感兴趣！
最近和几个博友一直在讨论：信息架构与用户体验是有什么不同？，信息架构和用户体验，那个才是未来网站建设……
关于美国微软公司，你或许对其历史、产品和创始人比尔?盖茨辍学创业的故事耳熟能详。那么，你是否知道微软……
之前写过一篇名为《 京东商城vs苏宁易购明为价格站，实为电子商务站 》的文章，阐述了自己对电子商务的一点……
目前国内网站的安全问题十分严峻，众多网站由第三方代建，维护人……
随着互联网的发展，网站的数量也在随着成倍的增加着，就中国的互……
IIS在运行的过程中日志会不停地增长，若IIS的网站被频繁的调用或……
丰富网页摘要英文名称为Rich Snippets，通俗的来讲就是在每条搜……
百度快照的重要性是从它本身蕴含的信息来说的，百度快照速度快，……
在互联网诞生之初，人们对SEO并没有什么概念，而伴随着互联网的……
本月热点文章