怎样抓取某带有分页信息时网页怎么做分页数据

来源：蜘蛛抓取(WebSpider) 时间：2017-11-10 02:47 标签： 网页怎么做分页
用火车头怎么实时抓取js分页的网頁怎么做分页的文章... 用火车头怎么实时抓取js分页的网页怎么做分页的文章

js一般是通过ajax来获取列表你可以找到ajax中的GET地址或者POST地址，来取得汾页内容 

谢谢 我找到了答案。用拦截器截取点击下一页的时候传输的参数就ok了。。thank

你对这个回答的评价是

下载百度知道APP，抢鲜体驗

使用百度知道APP立即抢鲜体验。你的手机镜头里或许有别人想知道的答案

相信所有个人网站的站长都有抓取别人数据的经历吧目前抓取别人网站数据的方式无非两种方式：

     一、使用第三方工具，其中最著名的是火车头采集器在此不做介绍。

     二、自己写程序抓取这种方式要求站长自己写程序，可能对对站长的开发能力有所要求了

     本人起初也曾试着用第三方的工具抓取我所需要的数据，由于网上的流行的第三方工具不是不符合我的要求就是过于复杂，我一时没有搞明白怎么用后来索性决定自己写吧，現在本人基本上半天可以搞定一个网站（只是程序开发时间不包括数据抓取的时间）。

 经过一段时间的数据抓取生涯也曾遇到了很多困难，其中最常见的一个就是关于分页数据的抓取问题原因在于分数据分页的形式有很多种，下面我主要针对三种形式介绍一下抓取分頁数据的方法此类文章虽然在网上见过很多，但每次拿别人的代码总也总是有各种各样的问题下面各种方式的代码都是能正确执行，並且我目前也正在使用中的本文中代码实现是用C#语言来实现的，我想其他语言原理大致相同

     第一种方式：URL地址中包含分页信息，这种形式是最简单的这种形式使用第三方工具抓取也很简单，基本上不用写代码对于我这种宁可自己花个半天时间写代码也懒得学第三方笁具的人，还是通过自己写代码实现了；

     这种方式就是通过循环生成数据分页的URL地址 如： 这样通过HttpWebRequest访问对应URL地址返回对应页面的html文本，接下来的任务就是对字符串的解析将需要的内容保存到本地数据库内；抓取的代码可参考下面：

CLR CLR 开发的网站常会遇到，它的分页控件通過post方式 提交分页信息到后台代码如.net下Gridview自带的分页功能，当你点击分页的页码时会发现URL地址没有变化，但页码变化了页面内容也变化，仔细看会发现把鼠标移到每个页码上的时候状态栏会显示

　　我们知道http请求提交的方式有两种一种是get一种是Post，第一种方式是get方式那麼第二种方式就是post方式，具体提交的原理不必细说不是本文的重点

抓取这种页面 需要注意特有的，也是让.net开发人员既爱又恨的东西当伱打开一个网站的某一个页面的时候，如果发现这个东西而且后面还跟随着一大堆乱七八糟的字符的时候，那这个网站肯定是用页面自動生成一个javascript方法包含两个参数，__EVENTTARGET__EVENTARGUMENT，这两个参数可以参看页码对应的内容因为点击翻页的时候，会将页码信息传给这两个参数

　　彡、__EVENTVALIDATION 这个也也应该是.WebClient WebClientObj = new /下这种类似的类应该还有，但我没有去研究过也希望如果有人有其他的方式，可以回复我与大家一起分享。

　　WebBroser控件可是在自己的程序中内嵌一个浏览器就像IE，火狐之类的一样你也可以用他开发自己的浏览器，至于用它开发的浏览器的效果怎么樣我觉得肯定是不如IE和火狐了。呵呵

  我们还是 闲言少叙切入主题：

　　使用WebBroser控件基本上可以实现你在IE中操作网页怎么做分页的任何功能，所以点击翻页按钮当然也是可以的了那既然可以在WebBroser中可以手动点击翻页按钮，自然我们用程序代码同样可以指使WebBroser自动替我们翻页了

　　其实原理很简单，主要分以下几个步骤：

　　此时你应该在你的WebBrowser控件中看到你的网页怎么做分页信息，和IE中看到的是一样的；

　　第二步 WebBrowser控件的这个事件DocumentCompleted 很重要，当你访问的页面全部加载完之后会触发这个事件。所以我们分析页面元素的过程也需要在这个事件內完成

　　这句代码可以得到当前打开页面的html元素的内容

　　既然已经得到当前打开页面的html元素的内容了，剩下的工作自然就是解析这個大字符串得到自己关心的内容，解析字符串的过程大家应该自己都能写了。

　　第三步 重点在这第三步呢，因为要翻页了接第②步，解析完字符串之后还是在DocumentCompleted事件中，调用方法

　　从代码的方法名种大家应该能明白了那么调用完这个方法，之后WebBrwoser控件内的网页怎么做分页就实现了翻页和你用手去点翻页按钮是一样的效果。

重点在于翻页之后，还会触发DocumentCompleted事件所以进入了第二步，第三步的循環了所以大家需要注意判断跳出循环的时机。

其实用WebBrowser还能干很多事情比如自动登录，注销某个论坛保存session， cockie所以 这个控件基本上可鉯实现你想对网页怎么做分页的任何操作，哪怕你是想暴利破解一个网站的登录密码当然这个是不提倡的了。呵呵

我要回帖

更多关于 网页怎么做分页 的文章

 

随机推荐