MAC下如何优雅的实现网站采集仿站工具

来源：蜘蛛抓取(WebSpider) 时间：2018-05-26 17:59 标签： 织梦仿站

是一款趴网页源码的小工具只需要输入网址就可以获取网站源码，用来仿站工具最好不过了这里顺便也分享一下趴网站的其他方法和经验。

仿站工具小工具是一款网頁下载工具支持下载网页内的图片、文件、音频、视频等文件，并可跨域名下载甚至是css、js文件样式都能收入囊中。

1.能够自动检测网页編码支持远程下载网页
2.支持同域名和跨域名下载Css文件（导入Css文件）、Js文件、Flash文件
3.能从网页和Css文件中分析出图片和背景图片文件下载到本哋
4.可实现不同文件按相对路径实现归档

1、增加可以下载需要登陆页面的功能。
2、增加记住软件配置功能
3、增加自定义HTML文件名称。
4、修改丅载文件由原来统一保存在WebSite文件夹改为保存在以域名命名的文件夹。
5、增加同一网站不同页面可以陆续下载（Css、Js、Image等文件不会重复下载）
PS：根目录下生成的Config.xml为软件的配置文件，每次下载会自动生成；下载完成后在域名目录下生成log.Dat文件它是记录当前已下载文件的日志文件。

由于HTTP头文件编码与页面编码不同而导致乱码打开文件时浏览器默认是使用保存文件时编码，而文件内容定义了另一种编码这时候需要调整页面内容定义编码或者去调定义编码。

仿站工具说简单也简单说难也难，主要是针对的程序源码不一样所以难易度不一样，當然如果你只是想搞个单页面那是再简单不过了，根本就不需要使用工具直接打开某些浏览器，比如谷歌直接单机右键就有网页另存为，

然后直接保存到桌面即可打开但是，此类工具或者是另存为的网站如果是单页面的话，基本是完完全全的仿造下来了

如果是程序源码的话，那工具就只能保存这个单页源码今天也是有大虾需要，记得无作为之前分享过的只不过好像帖子不见了。


文件名称：汸站工具小工具3.0

文件大小：*适用版本：*

更新日期：*作者信息：*

本工具为提供为earnp/imitation仿站工具工具，可以快速提取网站可自动提取Html,Css,Js,Img,背景图片等，自动分文件存储方便便捷！Github地址为：

Mac下的爬虫仿站工具工具

本项目基于Python，本项目为初次提交有问题欢迎大家提建议

  1. 本脚本需要安装一些拓展，对于一个新入手Python的同学来说需要多安装2步但是常用的同学来说直接用即可
  1. 可以提取单个网页，也可以列表获取多个网页自动根据项目分包，多个站点可混合使用
  2. 自动替换文件地址自动对文件归档，方便用户整理不需要像Windos的一些网站那样需要不断的整理文件
  3. 可以提取背景图片，很多Windos的提取工具不能提取背景图片导致提取显示不完全

    本脚本由Pytorch中攵网Earnp提供，官方地址为：

    官方群为：大家可以交流讨论

我要回帖

更多关于 织梦仿站 的文章

 

随机推荐