请问蜘蛛会假死吗？好害怕表情

来源：蜘蛛抓取(WebSpider) 时间：2016-08-30 02:33 标签： sy好害怕不会怀孕
蜘蛛会吃非自己捕猎已死的猎物吗？ | 问答 | 问答 | 果壳网 科技有意思
蜘蛛会吃非自己捕猎已死的猎物吗？
如果往网上扔自己拍死的小飞虫它会接受吗？
会的。小时养过一年漏斗蛛，会飞快的跑出来拖走我丢在洞口的苍蝇。
(C)2016果壳网&&&&京ICP证100430号&&&&京网文[-239号&&&&新出发京零字东150005号蜘蛛放在不通气的瓶子里会死吗_百度知道为什么蜘蛛遇到水会死_百度知道搜索：问题、网站、SEOer人名
蜘蛛爬行死循环如何解决？
我的网站，蜘蛛一直都在抓取筛选器哪里的链接，5千条爬行记录有4800是在爬那个筛选器的链接，有效内容页几乎不爬。把那个筛选器里面的链接全NF掉貌似也没什么作用。该如何解决呢？
一般通过屏蔽蜘蛛改善收录有几种靠谱的方法：
① nofollow
+ robots.txt
③ 页面缓存（Last-modified + Etag）
④ 调整链接入口（数量 + 位置）
基于你网站的情况，个人认为最适合第四种方法。
至于具体原因，“国际会展”频道内容总数497，各种筛选条件组合后数量轻松上万。也就是说内容总数不多，但筛选条件却不少，以目前的内容数量还不足以支撑这么多的筛选条件，结果是导致绝大多数的筛选结果页都是空的。你可以看下一礼拜内抓取的筛选结果页其中没有内容的能占多大比例，估计不少。。。
所以说你这问题原因不是蜘蛛不抓，而是没得抓。什么nofollow、js之类的自然没用，因为原因没找对嘛。。。
改善抓取的个人建议：
1.调整筛选条件的展现规则，只允许有内容的筛选条件才能展现在前端中
2.增加筛选结果页中内容详情页的调用数量（增加详情页抓取概率，本身数量就不多的，就甭弄啥分页了）
3.充实详情页内容（信息量少、无更新、没给同类相关页面提供链接，所以蜘蛛不会定期重访）
4.筛选结果页TDK修改（上万的筛选页TDK都是一样的。。。。）
如果筛选器没有什么实质性的内容，那就屏蔽蜘蛛吧（robots.txt ）
NF只是不传递权重，蜘蛛会照样爬行链接。
筛选器 最好用js
你看看那些大站怎么做的
楼上正解，筛选器用ajax实现吧，否则就算不死循环爬寻也会制造出若干相似页面。
筛选器的你可以在空页面随机调列表
屏蔽相关的链接可以尝试下。
例如nofollow 标签添加到你不想蜘蛛爬行的链接。
robots.txt 也可以添加，禁止相关的抓取。
谢邀，我的建议是你可以通过筛选器的链接给其他页面更多的导入，方便蜘蛛爬行。
30天内搜外会员都在讨论什么
(1 个回答)
(7 个回答)
(12 个回答)
(9 个回答)
(9 个回答)
(8 个回答)
始于2007年 深圳市夫唯伙伴信息咨询有限公司 版权所有 | 粤ICP备号 | 粤公网安备0号

我要回帖

更多关于 sy好害怕不会怀孕 的文章

 

随机推荐