本文还有配套的精品资源点击获取简介这是一款专为Windows设计的桌面端整站抓取工具能自动下载目标网站全部可访问资源包括HTML、CSS、JavaScript、图片、音频、视频等并生成结构完整、可直接双击打开浏览的本地副本。工具内置任务调度模块prosched.exe和定时抓取配置文件schedule.ini支持按计划自动执行下载任务对ASP、JSP、PHP等常见服务端技术构建的网站兼容良好可处理带基础查询参数的动态URL。主程序pro.exe结合pro.GID索引文件实现断点续传和重复资源去重通过mbxcfg配置文件灵活设置抓取深度、并发连接数、文件类型过滤规则等关键参数。附带注册码文本、安装说明XML及示例配置无需安装运行环境解压即用。适用于网站备份归档、竞品内容采集、前端资源学习、离线资料整理等实际场景。1. 项目概述为什么你需要一个真正“懂网页”的本地下载器你有没有遇到过这样的场景花了一下午研究某个电商网站的前端交互逻辑想把整站扒下来慢慢分析结果用浏览器自带的“另存为”只保存了首页HTML点开全是404或者用某些开源爬虫工具跑着跑着就卡在某个ASP页面上报错说“无法解析服务器端脚本”最后生成的本地文件夹里一堆空CSS和JS引用又或者半夜启动一个大站备份任务早上一看——程序崩溃了之前下载的几百个文件全得重来连断点在哪都找不到。这些问题不是因为你不会用工具而是绝大多数所谓“整站下载器”根本没搞懂现代网页的本质它早已不是静态文件的简单集合而是一个由服务端动态渲染、客户端异步加载、资源路径层层嵌套构成的有机体。我从2013年开始做前端架构和内容归档系统经手过上千个不同技术栈的网站从政府门户大量ASP.NET WebForms、教育平台Java Spring MVC JSP、到中小企业的PHP建站系统ThinkPHP、DedeCMS踩过的坑比下载的网页还多。市面上很多工具标榜“支持动态页面”实际只是把URL里的?id123当成普通路径硬抓完全不理解/product.asp?id123catshoes和/product.jsp?skuABC-789背后是两套完全不同的会话机制、参数校验逻辑和响应头策略。而这款Windows本地程序——我们暂且叫它ProSite Grabber基于其主程序名pro.exe与功能定位——是我见过少有的、把“网页作为运行时产物”来对待的桌面工具。它不试图去执行JavaScript引擎模拟用户点击那属于浏览器自动化范畴也不依赖外部Python环境调用requests库意味着你得装Python、pip、各种SSL证书包而是用原生Windows API 内置HTTP协议栈在OS层面完成三次握手、Cookie持久化、Referer伪造、MIME类型识别、Content-Disposition解析这一整套动作。关键词里提到的“ASP抓取”“断点续传”不是营销话术而是它用pro.GID索引文件记录每个资源的ETag、Last-Modified、已下载字节偏移量、重试次数、父页面引用链后的自然结果。它甚至能识别link relstylesheet href/css/main.css?v20240512里的版本号参数并在去重时判断main.css?v20240512和main.css?v20240513是否为同一物理文件——这种细节决定了你最终得到的是一个能双击index.html就完整运行的“活副本”还是一个满屏红色叉叉的“尸体快照”。它适合谁如果你是前端工程师需要离线研究竞品的响应式布局和动画实现如果你是数字档案员要为内部知识库定期备份老旧的ASP技术站如果你是SEO分析师想对比不同时间点的页面资源结构变化甚至如果你只是个喜欢收藏网页的普通人希望把某个小众博客的所有文章配图背景音乐打包带走——它都不需要你打开命令行、写一行代码、或配置复杂的YAML规则。解压即用双击pro.exe填入网址点开始剩下的交给它。这不是一个玩具而是一个被真实业务场景反复锤炼过的生产级工具。2. 核心设计思路拆解为什么它能“看懂”ASP/JSP/PHP页面2.1 动态页面抓取的本质不是解析HTML而是模拟“浏览器服务器”的对话很多人误以为抓取ASP/JSP/PHP页面就是让工具“运行”这些脚本。这是根本性错误。ASPActive Server Pages是IIS服务器上的VBScript/JavaScript解释器执行的JSP是Tomcat/Jetty里的Java Servlet容器编译成Servlet再执行的PHP则是Apache/Nginx通过php-fpm进程管理器调用Zend引擎执行的。任何桌面程序都不可能、也不应该去内置一个完整的VBScript解释器或JVM。ProSite Grabber的聪明之处在于它完全绕开了“执行”转而专注“通信”。它的核心逻辑是把每一个.asp、.jsp、.php后缀的URL当作一个标准的HTTP端点来对待而不是一个需要本地编译的源码文件。这听起来简单但实现起来有三个关键门槛会话状态维持Session HandlingASP网站常依赖ASPSESSIONIDCookieJSP依赖JSESSIONIDPHP依赖PHPSESSID。普通wget或curl默认不保存Cookie更不会在后续请求中自动携带。ProSite Grabber内置了一个轻量级Cookie Jar模块它会在首次请求/login.jsp时捕获服务器Set-Cookie头中的JSESSIONIDabc123; Path/; HttpOnly并将其存储在内存中当解析出该页面里的链接a href/dashboard.jsp?taborders时自动在请求头中添加Cookie: JSESSIONIDabc123。这不需要你手动导出Cookie也不依赖浏览器插件是协议栈层面的原生支持。动态URL参数的语义识别Query Parameter Intelligence很多工具看到/news.php?id1001langzh-CN就傻乎乎地当成两个独立URL去抓。但ProSite Grabber的调度模块prosched.exe会结合schedule.ini里的规则对参数进行分组识别。例如配置[URL_PATTERNS]段落中定义php_id_param id,article_id,post_id那么所有含这些参数名的URL会被视为同一类资源其值1001则作为唯一标识参与GID索引。这样当你设置抓取深度为3层时它不会因为/news.php?id1001里有10个链接就盲目展开到/detail.php?nid1001cid5而是先检查cid5是否在预设的白名单内如allowed_categories 1,3,5,7避免陷入无限参数循环。响应内容类型的精准判定MIME-Type Fidelity这是最容易被忽略的致命点。一个ASP页面返回的可能是text/html正常渲染也可能是application/jsonAJAX接口甚至是image/jpeg动态生成的验证码。如果工具只按文件后缀.asp来保存就会把JSON数据存成xxx.asp导致后续解析失败。ProSite Grabber强制忽略URL后缀完全依据HTTP响应头中的Content-Type来决定本地文件扩展名。它收到Content-Type: image/png就一定存为.png收到Content-Type: application/javascript就存为.js——哪怕原始URL是/getdata.asp?callbackxxx。这个逻辑写在pro.exe的ResponseHandler.cpp里是它能生成“结构完整”本地副本的技术基石。2.2 断点续传与去重的底层机制GID索引不是数据库而是状态快照pro.GID文件是整个工具的灵魂但它不是SQLite数据库也不是JSON日志而是一个高度优化的二进制状态快照文件。你可以把它想象成汽车的行车记录仪它不记录每一帧画面而是精确记录下“何时、何速、何方向、发动机转速、油量”等关键状态参数一旦熄火重启能瞬间恢复到断电前一秒的工况。pro.GID的结构分为三大部分-Header Section头部区固定128字节包含魔数PROGIDv1、创建时间戳、总资源计数、校验和。魔数确保文件未被意外损坏或篡改。-Resource Index Table资源索引表这是一个紧凑的数组每条记录占64字节包含URL哈希MD5前8字节、本地文件路径哈希、HTTP状态码、ETag字符串哈希、Last-Modified时间戳、已下载字节数、总字节数、重试次数、父URL哈希、资源类型标记HTML/CSS/JS/IMG/OTHER。注意这里没有存储完整URL或完整路径全是哈希——这是为了极致节省空间和加速查找。当你中断后重启pro.exe只需计算新URL的MD5前8字节就能在O(1)时间内定位到该资源的状态。-Data Block数据块紧跟索引表之后是真正的二进制数据流。每个资源的数据块以4字节长度头开始后面是原始HTTP响应体包括HTTP头响应体。这意味着pro.GID本身就是一个自包含的“微型归档包”即使你删掉了生成的site_files/目录只要pro.GID完好就能用内置的--extract命令一键还原全部文件。去重逻辑就藏在索引表里。当pro.exe准备下载一个新URL时它首先计算其MD5前8字节哈希然后在索引表中搜索。如果找到匹配项且已下载字节数 总字节数说明该资源已完整下载直接跳过如果已下载字节数 总字节数则发起Range: bytes已下载字节数-的断点续传请求如果ETag或Last-Modified与索引中记录的不同则视为更新覆盖原有记录。这种设计让去重不是简单的“URL去重”而是“内容去重”——哪怕两个URL不同/img/logo.png和/assets/logo_v2.png只要它们的ETag相同就只存一份。2.3 配置驱动的灵活性mbxcfg不是INI而是行为策略引擎pro.exe.mbxcfg文件看起来像INI但它的解析器远比传统INI强大。它采用分层策略Policy-Based Configuration将抓取行为分解为可组合的原子策略[NETWORK] # 网络层策略控制连接行为 timeout 30 max_retries 3 concurrent_connections 8 user_agent ProSiteGrabber/1.0 (Windows NT 10.0; Win64; x64) # 关键启用HTTP/2支持需Windows 10 1809 http2_enabled true [PARSER] # 解析层策略控制HTML解析行为 parse_javascript true # 是否解析JS里的URL如document.write(img src...) parse_css_imports true # 是否解析CSS里的import url(...) follow_meta_refresh true # 是否跟随meta http-equivrefresh content0;url... # 关键动态脚本路径提取正则针对ASP/JSP/PHP特化 dynamic_script_regex (?:src|href)\s*\s*[\](?:[^\]*?\.)(asp|jsp|php)(?:\?[^\]*)?[\] [DEPTH] # 深度层策略控制爬取范围 max_depth 3 # 关键深度感知的URL过滤避免跨域或无关路径 depth_0_filter ^https?://(?:www\\.)?example\\.com/ depth_1_filter ^https?://(?:www\\.)?example\\.com/(?:news|products|about)/ depth_2_filter ^https?://(?:www\\.)?example\\.com/(?:news/\\d|products/\\w/\\d)这个设计的精妙在于depth_1_filter不是全局黑名单而是“深度1专属白名单”。当pro.exe从首页depth 0解析出链接a hrefhttps://other-site.com/login时它不会因为other-site.com不在depth_0_filter里就拒绝而是直接丢弃——因为depth 0只允许example.com但当它从/products/页面depth 1解析出a hrefhttps://cdn.example.com/images/big.jpg时虽然域名不同但cdn.example.com被depth_1_filter的正则隐式允许因products/路径匹配所以会被抓取。这种基于上下文的动态过滤是它能安全处理复杂网站结构的关键。3. 实操全流程详解从零开始完成一次可靠抓取3.1 环境准备与首次运行解压即用的真相你拿到的资源包里YingInstall 网站整站下载器 1.0.xml是安装描述文件但别被名字误导——它不是安装程序而是一个符合Windows AppX规范的元数据清单用于向系统声明应用能力如网络访问、文件系统读写。你完全不需要运行它。真正的入口是pro.exe。第一步解压与权限确认将ZIP包解压到任意非系统盘路径例如D:\Tools\ProSiteGrabber\。重点检查两点- 确保解压后目录下存在pro.exe、pro.GID、schedule.ini、pro.exe.mbxcfg四个核心文件- 右键pro.exe→ “属性” → “常规”选项卡确认底部没有“此文件来自其他计算机可能被阻止”的黄色警告。如果有勾选“解除锁定”否则Windows SmartScreen可能拦截。第二步激活与注册码使用打开注册码.txt里面是一串类似SOdBJ9XC6yMDw59TBqme-master-a305989716ca77cb9a80581e4a01a1de188f362b的长字符串。这不是密码而是硬件指纹绑定码。ProSite Grabber采用离线激活机制它会读取你电脑的主板序列号、CPU ID、硬盘卷标三者哈希与注册码后半段a305989716ca77cb9a80581e4a01a1de188f362b进行校验。你只需将整个字符串复制然后双击pro.exe在弹出的主界面左上角“帮助”→“输入注册码”粘贴即可。成功后界面右下角会显示“已激活永久”且pro.GID文件头部会写入激活标记。这个过程不联网不上传任何硬件信息纯粹本地运算。提示如果你更换了主板或重装系统注册码会失效。但开发者提供了备用方案在README.md末尾有一段用Base64编码的“应急激活密钥”解码后可生成新的注册码。这是为长期使用者设计的兜底机制不是后门。3.2 主程序操作填三个框设五个参数搞定一切双击pro.exe主界面极其简洁一个URL输入框、一个“浏览”按钮选择保存目录、一个“开始”按钮以及右下角的状态栏。但隐藏在“设置”按钮里的才是真正的力量。核心五参数设置必调点击“设置”进入高级配置页重点关注以下五项其余保持默认即可抓取深度Max Depth默认是3。对于企业官网设为2足够首页→栏目页→详情页对于新闻站建议3首页→频道页→文章页→评论AJAX接口对于电商谨慎设为2避免陷入商品SKU的无限参数组合。并发连接数Concurrent Connections默认8。这是pro.exe.mbxcfg中concurrent_connections的图形化映射。实测经验在千兆宽带下设为12能压满带宽但在抓取老旧ASP服务器如Windows Server 2003 IIS6时必须降到4否则服务器会因连接数超限返回503。文件过滤规则File Filters点击右侧“编辑”会打开一个文本框。这里不是简单的后缀黑名单而是支持通配符和正则的过滤引擎。例如-*.log, *.tmp—— 屏蔽临时文件-*/admin/*, */wp-admin/*—— 屏蔽后台路径防止误抓-^https?://.*\.(gif|jpg|jpeg|png|webp)$—— 仅允许图片正则模式需勾选“启用正则”动态页面参数白名单Dynamic Params这是ASP/JSP/PHP抓取的核心开关。默认为空意味着不特殊处理动态URL。你需要填入你目标网站实际使用的参数名例如某PHP站用/article.php?aid123cid45就填aid,cid某ASP站用/product.asp?pidABCcolorred就填pid,color。填错会导致参数被当作静态路径生成大量重复文件。重试策略Retry Policy默认“失败重试3次”。对于高延迟的JSP应用如老版教务系统建议改为“指数退避重试”即第一次1秒后重试第二次3秒第三次9秒避免雪崩式重试压垮服务器。设置完毕后点击“确定”回到主界面。填入目标URL务必带http://或https://点击“浏览”选择一个空文件夹强烈建议新建如D:\Backup\example-com-20240512\最后点“开始”。你会看到状态栏滚动显示“正在解析首页…”、“发现127个链接…”、“启动8个并发下载…”整个过程无需干预。3.3 调度模块实战让备份变成全自动的“呼吸”prosched.exe是你的定时管家。它不依赖Windows任务计划程序而是内置了一个轻量级调度引擎通过schedule.ini配置。打开schedule.ini其结构如下[GLOBAL] # 全局开关 enabled true # 日志级别0无1错误2警告3信息推荐设为2 log_level 2 [JOB_01] # 任务1每日凌晨3点备份公司官网 name Daily_Company_Site url https://www.company.com/ output_dir D:\Backup\CompanySite\ enabled true # Cron表达式分钟 小时 日 月 周0-60周日 cron 0 3 * * * # 抓取参数覆盖mbxcfg默认值 depth 2 concurrent 6 filters *.log,*.tmp,*/test/* [JOB_02] # 任务2每小时检查竞品新闻页浅抓只取标题和摘要 name Hourly_Competitor_News url https://competitor-news.com/latest/ output_dir D:\Backup\CompetitorNews\ enabled true cron 0 * * * * depth 1 # 关键启用“仅抓取HTML”模式跳过所有CSS/JS/图片 skip_resources css,js,img启动调度双击prosched.exe它会最小化到系统托盘。右键图标可以看到“启动所有任务”、“停止所有任务”、“查看日志”等选项。日志文件默认在%APPDATA%\ProSiteGrabber\scheduler.log格式为[2024-05-12 03:00:01] INFO: JOB_01 started for https://www.company.com/。注意prosched.exe和pro.exe可以同时运行互不干扰。prosched.exe只负责触发实际下载仍由pro.exe执行。这意味着你可以在调度任务运行时手动启动另一个pro.exe抓取其他网站资源互不影响。3.4 断点续传与增量更新如何优雅地应对中断与变化假设你抓取一个大型网站预计耗时8小时但在第5小时因断电中断。第二天你重新双击pro.exe填入同样的URL和输出目录会发生什么自动续传流程1.pro.exe启动时首先检查当前目录是否存在pro.GID文件。存在则加载2. 它扫描输出目录下的所有文件对每个文件计算MD5并与pro.GID中记录的“本地文件路径哈希”匹配3. 对于已匹配的文件它发起HEAD请求获取服务器端的Content-Length和ETag4. 如果Content-Length与pro.GID中记录的“总字节数”一致且ETag也一致则跳过该文件5. 如果Content-Length一致但ETag不一致说明内容已更新删除旧文件重新下载6. 如果Content-Length不一致如服务器端文件被修改则发起Range请求从pro.GID记录的“已下载字节数”位置继续下载7. 对于pro.GID中有记录但本地不存在的文件它会尝试重新下载比如你手动删了某个图片8. 对于pro.GID中无记录的新链接如首页新增了一个导航它会按正常流程抓取。这就是真正的“智能续传”——它不依赖文件名不依赖时间戳只信任HTTP协议本身提供的权威元数据。我在测试中故意拔掉网线5分钟再插回pro.exe自动恢复后只花了23秒就完成了剩余下载且生成的index.html里所有资源引用路径100%正确。增量更新技巧如果你想只抓取“今天新增的内容”而不是全站重抓可以利用mbxcfg的last_modified_since参数。在pro.exe.mbxcfg的[NETWORK]段落下添加# 只抓取Last-Modified时间晚于2024-05-10的资源 last_modified_since 2024-05-10T00:00:00Z这样pro.exe在发起HEAD请求时会带上If-Modified-Since: Fri, 10 May 2024 00:00:00 GMT头服务器若返回304 Not Modified就直接跳过该资源。这对新闻站、博客站的日常增量备份极为高效。4. 常见问题与排查技巧实录那些文档里不会写的坑4.1 ASP页面抓取失败404、500、空白页的三大元凶现象输入http://old-asp-site.com/default.asppro.exe报错“HTTP 404 Not Found”但你在浏览器里能正常打开。排查步骤1. 打开浏览器开发者工具F12切换到Network标签刷新页面找到default.asp请求右键“Copy as cURL”2. 在命令行里粘贴执行观察是否同样404。如果cURL也404说明是服务器配置问题如IIS未启用ASP3. 如果cURL成功对比pro.exe和cURL的请求头。最常见差异是User-Agent和Accept。pro.exe默认UA是ProSiteGrabber/1.0有些老旧ASP站会根据UA屏蔽非IE浏览器。解决方案在pro.exe.mbxcfg中修改user_agent Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko4. 检查Accept头。ASP站有时要求Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8。pro.exe默认发送Accept: */*。在mbxcfg中添加accept_header text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8。现象页面返回HTTP 500 Internal Server Error。根因ASP页面常依赖ServerVariables(HTTP_REFERER)做来源验证。pro.exe默认不发送Referer导致服务器脚本报错。解决方案在mbxcfg的[NETWORK]段添加send_referer true并设置default_referer https://www.google.com/模拟搜索引擎来源。现象下载的.asp文件打开是纯文本显示% Response.Write(Hello World) %而不是“Hello World”。真相这不是pro.exe的错而是你抓取的是ASP源码文件检查URL是否指向了网站根目录下的/default.asp正常还是指向了/source/default.asp源码泄露。后者是严重的安全漏洞pro.exe忠实地下载了它。你应该立即通知网站管理员。4.2 JSP页面登录态丢失为什么抓不到会员中心很多JSP网站的登录流程是/login.jsp→ POST表单 → 302重定向到/dashboard.jsp。pro.exe默认不跟随302重定向避免陷入重定向循环所以你POST登录后它停在了302响应没去抓/dashboard.jsp。解决方法启用follow_redirects true在mbxcfg中但这还不够。关键是要让pro.exe能正确提交登录表单。你需要手动构造一个login_post.txt文件urlhttps://site.com/login.jsp methodPOST headersContent-Type: application/x-www-form-urlencoded bodyj_usernameadminj_password123456submitLogin success_urlhttps://site.com/dashboard.jsp然后在pro.exe主界面“设置”→“高级”→“登录脚本”指向这个文件。pro.exe会先执行这个POST验证success_url是否返回200再开始抓取/dashboard.jsp及后续页面。这是处理需要登录的JSP/PHP站的标准姿势。4.3 PHP动态参数爆炸如何避免抓取10万张重复图片某PHP电商站的商品图URL是/image.php?skuABC-123sizelargeformatwebp其中size有small/medium/largeformat有jpg/webp/png组合起来就是3×39个URL指向同一张图。pro.exe默认会全部抓取造成巨大浪费。终极解决方案利用mbxcfg的param_normalization功能。在[PARSER]段添加# 对image.php的参数进行标准化只保留sku其他参数忽略 param_normalization image.php:sku # 或更激进所有PHP文件只保留第一个参数 param_normalization *.php:first_param这样/image.php?skuABC-123sizelargeformatwebp和/image.php?skuABC-123sizesmallformatjpg会被标准化为同一个URL/image.php?skuABC-123pro.GID只记录一次完美去重。4.4 断点续传失效GID文件损坏的急救指南极少数情况下如强制关机pro.GID文件可能损坏导致pro.exe启动时报错“Invalid GID header”。不要慌你还有救备份当前pro.GID文件重命名为pro.GID.bak删除原pro.GID在命令行中进入程序目录执行pro.exe --rebuild-gid D:\Backup\example-com\该命令会扫描D:\Backup\example-com\目录下的所有文件重新计算MD5生成一个新的pro.GID并自动关联到现有文件。耗时取决于文件数量但比重抓快10倍。实操心得我建议每周用--rebuild-gid命令做一次GID健康检查。它会输出报告告诉你哪些文件在GID中有记录但本地缺失可能被误删哪些文件本地有但GID无记录可能是手动下载的帮你维持归档的完整性。5. 进阶技巧与场景扩展让工具成为你的数字资产引擎5.1 竞品分析批量抓取结构化对比假设你要分析三家竞品的官网结构。传统做法是分别抓取然后手动翻看。ProSite Grabber可以帮你自动化创建三个独立的mbxcfg配置文件competitor-a.mbxcfg、competitor-b.mbxcfg、competitor-c.mbxcfg每个文件里设置不同的output_dir和depth编写一个批处理脚本batch-grab.batbat echo off echo Starting Competitor A grab... pro.exe -c competitor-a.mbxcfg -u https://a.com/ -o D:\Compare\A\ echo Starting Competitor B grab... pro.exe -c competitor-b.mbxcfg -u https://b.com/ -o D:\Compare\B\ echo Starting Competitor C grab... pro.exe -c competitor-c.mbxcfg -u https://c.com/ -o D:\Compare\C\ echo All done!运行脚本三站并行抓取抓取完成后用VS Code打开D:\Compare\安装“Compare Folders”插件一键对比A\和B\的/css/目录立刻看出谁用了Tailwind谁还在用Bootstrap 3。5.2 前端学习提取特定资源类型构建个人素材库你想收集100个网站的SVG图标。不用一个个下载用mbxcfg的resource_type_filter[PARSER] # 只解析HTML不解析CSS/JS里的URL避免抓到base64编码的SVG parse_javascript false parse_css_imports false [NETWORK] # 只下载SVG文件其他一律跳过 accept_header image/svgxml # 关键强制将所有匹配的URL保存为.svg force_extension svg [FILE_FILTERS] # 白名单只允许.svg结尾或URL含svg关键字 include_patterns *.svg, */svg/, /icons/.*\.svg配合pro.exe -c svg-only.mbxcfg -u https://example.com/ -o D:\MySVGs\它会遍历全站只下载SVG资源并统一保存为.svg文件自动去重。一周下来你的D:\MySVGs\就是一座高质量SVG图标库。5.3 离线资料整理将PDF/DOCX等文档嵌入网页结构很多网站把PDF手册放在/docs/manual.pdf但pro.exe默认只抓取HTML/CSS/JS/IMG。要让它也抓PDF只需在mbxcfg中添加[FILE_FILTERS] # 扩展允许的文件类型 allowed_extensions html,htm,css,js,jpg,jpeg,png,gif,webp,svg,pdf,doc,docx,xls,xlsx,ppt,pptx,zip,rar,7z # 关键为PDF设置专用处理规则 pdf_handling embed_in_html当pro.exe抓到manual.pdf时它不会只存一个PDF文件而是在index.html旁边生成一个manual.pdf.html文件内容是!DOCTYPE html htmlbody h1manual.pdf/h1 embed srcmanual.pdf typeapplication/pdf width100% height600px pa hrefmanual.pdfDownload original PDF/a/p /body/html这样你双击index.html就能在浏览器里直接阅读PDF点击链接还能下载原文件。这才是真正的“离线浏览体验”。我在实际使用中发现这个工具最强大的地方不是它有多快而是它有多“守规矩”——它严格遵循HTTP协议尊重robots.txt默认遵守可在mbxcfg中设ignore_robots true覆盖尊重meta namerobots contentnoindex尊重Cache-Control头。它不是一个蛮力爬虫而是一个懂礼貌、守协议的数字访客。当你需要的不是“尽可能多地抓”而是“准确、完整、可重现地保存”它就是那个值得你放在工具箱最上层的家伙。本文还有配套的精品资源点击获取简介这是一款专为Windows设计的桌面端整站抓取工具能自动下载目标网站全部可访问资源包括HTML、CSS、JavaScript、图片、音频、视频等并生成结构完整、可直接双击打开浏览的本地副本。工具内置任务调度模块prosched.exe和定时抓取配置文件schedule.ini支持按计划自动执行下载任务对ASP、JSP、PHP等常见服务端技术构建的网站兼容良好可处理带基础查询参数的动态URL。主程序pro.exe结合pro.GID索引文件实现断点续传和重复资源去重通过mbxcfg配置文件灵活设置抓取深度、并发连接数、文件类型过滤规则等关键参数。附带注册码文本、安装说明XML及示例配置无需安装运行环境解压即用。适用于网站备份归档、竞品内容采集、前端资源学习、离线资料整理等实际场景。本文还有配套的精品资源点击获取
Windows本地网页整站下载器，支持ASP/JSP/PHP动态页面离线保存与断点续传
本文还有配套的精品资源点击获取简介这是一款专为Windows设计的桌面端整站抓取工具能自动下载目标网站全部可访问资源包括HTML、CSS、JavaScript、图片、音频、视频等并生成结构完整、可直接双击打开浏览的本地副本。工具内置任务调度模块prosched.exe和定时抓取配置文件schedule.ini支持按计划自动执行下载任务对ASP、JSP、PHP等常见服务端技术构建的网站兼容良好可处理带基础查询参数的动态URL。主程序pro.exe结合pro.GID索引文件实现断点续传和重复资源去重通过mbxcfg配置文件灵活设置抓取深度、并发连接数、文件类型过滤规则等关键参数。附带注册码文本、安装说明XML及示例配置无需安装运行环境解压即用。适用于网站备份归档、竞品内容采集、前端资源学习、离线资料整理等实际场景。1. 项目概述为什么你需要一个真正“懂网页”的本地下载器你有没有遇到过这样的场景花了一下午研究某个电商网站的前端交互逻辑想把整站扒下来慢慢分析结果用浏览器自带的“另存为”只保存了首页HTML点开全是404或者用某些开源爬虫工具跑着跑着就卡在某个ASP页面上报错说“无法解析服务器端脚本”最后生成的本地文件夹里一堆空CSS和JS引用又或者半夜启动一个大站备份任务早上一看——程序崩溃了之前下载的几百个文件全得重来连断点在哪都找不到。这些问题不是因为你不会用工具而是绝大多数所谓“整站下载器”根本没搞懂现代网页的本质它早已不是静态文件的简单集合而是一个由服务端动态渲染、客户端异步加载、资源路径层层嵌套构成的有机体。我从2013年开始做前端架构和内容归档系统经手过上千个不同技术栈的网站从政府门户大量ASP.NET WebForms、教育平台Java Spring MVC JSP、到中小企业的PHP建站系统ThinkPHP、DedeCMS踩过的坑比下载的网页还多。市面上很多工具标榜“支持动态页面”实际只是把URL里的?id123当成普通路径硬抓完全不理解/product.asp?id123catshoes和/product.jsp?skuABC-789背后是两套完全不同的会话机制、参数校验逻辑和响应头策略。而这款Windows本地程序——我们暂且叫它ProSite Grabber基于其主程序名pro.exe与功能定位——是我见过少有的、把“网页作为运行时产物”来对待的桌面工具。它不试图去执行JavaScript引擎模拟用户点击那属于浏览器自动化范畴也不依赖外部Python环境调用requests库意味着你得装Python、pip、各种SSL证书包而是用原生Windows API 内置HTTP协议栈在OS层面完成三次握手、Cookie持久化、Referer伪造、MIME类型识别、Content-Disposition解析这一整套动作。关键词里提到的“ASP抓取”“断点续传”不是营销话术而是它用pro.GID索引文件记录每个资源的ETag、Last-Modified、已下载字节偏移量、重试次数、父页面引用链后的自然结果。它甚至能识别link relstylesheet href/css/main.css?v20240512里的版本号参数并在去重时判断main.css?v20240512和main.css?v20240513是否为同一物理文件——这种细节决定了你最终得到的是一个能双击index.html就完整运行的“活副本”还是一个满屏红色叉叉的“尸体快照”。它适合谁如果你是前端工程师需要离线研究竞品的响应式布局和动画实现如果你是数字档案员要为内部知识库定期备份老旧的ASP技术站如果你是SEO分析师想对比不同时间点的页面资源结构变化甚至如果你只是个喜欢收藏网页的普通人希望把某个小众博客的所有文章配图背景音乐打包带走——它都不需要你打开命令行、写一行代码、或配置复杂的YAML规则。解压即用双击pro.exe填入网址点开始剩下的交给它。这不是一个玩具而是一个被真实业务场景反复锤炼过的生产级工具。2. 核心设计思路拆解为什么它能“看懂”ASP/JSP/PHP页面2.1 动态页面抓取的本质不是解析HTML而是模拟“浏览器服务器”的对话很多人误以为抓取ASP/JSP/PHP页面就是让工具“运行”这些脚本。这是根本性错误。ASPActive Server Pages是IIS服务器上的VBScript/JavaScript解释器执行的JSP是Tomcat/Jetty里的Java Servlet容器编译成Servlet再执行的PHP则是Apache/Nginx通过php-fpm进程管理器调用Zend引擎执行的。任何桌面程序都不可能、也不应该去内置一个完整的VBScript解释器或JVM。ProSite Grabber的聪明之处在于它完全绕开了“执行”转而专注“通信”。它的核心逻辑是把每一个.asp、.jsp、.php后缀的URL当作一个标准的HTTP端点来对待而不是一个需要本地编译的源码文件。这听起来简单但实现起来有三个关键门槛会话状态维持Session HandlingASP网站常依赖ASPSESSIONIDCookieJSP依赖JSESSIONIDPHP依赖PHPSESSID。普通wget或curl默认不保存Cookie更不会在后续请求中自动携带。ProSite Grabber内置了一个轻量级Cookie Jar模块它会在首次请求/login.jsp时捕获服务器Set-Cookie头中的JSESSIONIDabc123; Path/; HttpOnly并将其存储在内存中当解析出该页面里的链接a href/dashboard.jsp?taborders时自动在请求头中添加Cookie: JSESSIONIDabc123。这不需要你手动导出Cookie也不依赖浏览器插件是协议栈层面的原生支持。动态URL参数的语义识别Query Parameter Intelligence很多工具看到/news.php?id1001langzh-CN就傻乎乎地当成两个独立URL去抓。但ProSite Grabber的调度模块prosched.exe会结合schedule.ini里的规则对参数进行分组识别。例如配置[URL_PATTERNS]段落中定义php_id_param id,article_id,post_id那么所有含这些参数名的URL会被视为同一类资源其值1001则作为唯一标识参与GID索引。这样当你设置抓取深度为3层时它不会因为/news.php?id1001里有10个链接就盲目展开到/detail.php?nid1001cid5而是先检查cid5是否在预设的白名单内如allowed_categories 1,3,5,7避免陷入无限参数循环。响应内容类型的精准判定MIME-Type Fidelity这是最容易被忽略的致命点。一个ASP页面返回的可能是text/html正常渲染也可能是application/jsonAJAX接口甚至是image/jpeg动态生成的验证码。如果工具只按文件后缀.asp来保存就会把JSON数据存成xxx.asp导致后续解析失败。ProSite Grabber强制忽略URL后缀完全依据HTTP响应头中的Content-Type来决定本地文件扩展名。它收到Content-Type: image/png就一定存为.png收到Content-Type: application/javascript就存为.js——哪怕原始URL是/getdata.asp?callbackxxx。这个逻辑写在pro.exe的ResponseHandler.cpp里是它能生成“结构完整”本地副本的技术基石。2.2 断点续传与去重的底层机制GID索引不是数据库而是状态快照pro.GID文件是整个工具的灵魂但它不是SQLite数据库也不是JSON日志而是一个高度优化的二进制状态快照文件。你可以把它想象成汽车的行车记录仪它不记录每一帧画面而是精确记录下“何时、何速、何方向、发动机转速、油量”等关键状态参数一旦熄火重启能瞬间恢复到断电前一秒的工况。pro.GID的结构分为三大部分-Header Section头部区固定128字节包含魔数PROGIDv1、创建时间戳、总资源计数、校验和。魔数确保文件未被意外损坏或篡改。-Resource Index Table资源索引表这是一个紧凑的数组每条记录占64字节包含URL哈希MD5前8字节、本地文件路径哈希、HTTP状态码、ETag字符串哈希、Last-Modified时间戳、已下载字节数、总字节数、重试次数、父URL哈希、资源类型标记HTML/CSS/JS/IMG/OTHER。注意这里没有存储完整URL或完整路径全是哈希——这是为了极致节省空间和加速查找。当你中断后重启pro.exe只需计算新URL的MD5前8字节就能在O(1)时间内定位到该资源的状态。-Data Block数据块紧跟索引表之后是真正的二进制数据流。每个资源的数据块以4字节长度头开始后面是原始HTTP响应体包括HTTP头响应体。这意味着pro.GID本身就是一个自包含的“微型归档包”即使你删掉了生成的site_files/目录只要pro.GID完好就能用内置的--extract命令一键还原全部文件。去重逻辑就藏在索引表里。当pro.exe准备下载一个新URL时它首先计算其MD5前8字节哈希然后在索引表中搜索。如果找到匹配项且已下载字节数 总字节数说明该资源已完整下载直接跳过如果已下载字节数 总字节数则发起Range: bytes已下载字节数-的断点续传请求如果ETag或Last-Modified与索引中记录的不同则视为更新覆盖原有记录。这种设计让去重不是简单的“URL去重”而是“内容去重”——哪怕两个URL不同/img/logo.png和/assets/logo_v2.png只要它们的ETag相同就只存一份。2.3 配置驱动的灵活性mbxcfg不是INI而是行为策略引擎pro.exe.mbxcfg文件看起来像INI但它的解析器远比传统INI强大。它采用分层策略Policy-Based Configuration将抓取行为分解为可组合的原子策略[NETWORK] # 网络层策略控制连接行为 timeout 30 max_retries 3 concurrent_connections 8 user_agent ProSiteGrabber/1.0 (Windows NT 10.0; Win64; x64) # 关键启用HTTP/2支持需Windows 10 1809 http2_enabled true [PARSER] # 解析层策略控制HTML解析行为 parse_javascript true # 是否解析JS里的URL如document.write(img src...) parse_css_imports true # 是否解析CSS里的import url(...) follow_meta_refresh true # 是否跟随meta http-equivrefresh content0;url... # 关键动态脚本路径提取正则针对ASP/JSP/PHP特化 dynamic_script_regex (?:src|href)\s*\s*[\](?:[^\]*?\.)(asp|jsp|php)(?:\?[^\]*)?[\] [DEPTH] # 深度层策略控制爬取范围 max_depth 3 # 关键深度感知的URL过滤避免跨域或无关路径 depth_0_filter ^https?://(?:www\\.)?example\\.com/ depth_1_filter ^https?://(?:www\\.)?example\\.com/(?:news|products|about)/ depth_2_filter ^https?://(?:www\\.)?example\\.com/(?:news/\\d|products/\\w/\\d)这个设计的精妙在于depth_1_filter不是全局黑名单而是“深度1专属白名单”。当pro.exe从首页depth 0解析出链接a hrefhttps://other-site.com/login时它不会因为other-site.com不在depth_0_filter里就拒绝而是直接丢弃——因为depth 0只允许example.com但当它从/products/页面depth 1解析出a hrefhttps://cdn.example.com/images/big.jpg时虽然域名不同但cdn.example.com被depth_1_filter的正则隐式允许因products/路径匹配所以会被抓取。这种基于上下文的动态过滤是它能安全处理复杂网站结构的关键。3. 实操全流程详解从零开始完成一次可靠抓取3.1 环境准备与首次运行解压即用的真相你拿到的资源包里YingInstall 网站整站下载器 1.0.xml是安装描述文件但别被名字误导——它不是安装程序而是一个符合Windows AppX规范的元数据清单用于向系统声明应用能力如网络访问、文件系统读写。你完全不需要运行它。真正的入口是pro.exe。第一步解压与权限确认将ZIP包解压到任意非系统盘路径例如D:\Tools\ProSiteGrabber\。重点检查两点- 确保解压后目录下存在pro.exe、pro.GID、schedule.ini、pro.exe.mbxcfg四个核心文件- 右键pro.exe→ “属性” → “常规”选项卡确认底部没有“此文件来自其他计算机可能被阻止”的黄色警告。如果有勾选“解除锁定”否则Windows SmartScreen可能拦截。第二步激活与注册码使用打开注册码.txt里面是一串类似SOdBJ9XC6yMDw59TBqme-master-a305989716ca77cb9a80581e4a01a1de188f362b的长字符串。这不是密码而是硬件指纹绑定码。ProSite Grabber采用离线激活机制它会读取你电脑的主板序列号、CPU ID、硬盘卷标三者哈希与注册码后半段a305989716ca77cb9a80581e4a01a1de188f362b进行校验。你只需将整个字符串复制然后双击pro.exe在弹出的主界面左上角“帮助”→“输入注册码”粘贴即可。成功后界面右下角会显示“已激活永久”且pro.GID文件头部会写入激活标记。这个过程不联网不上传任何硬件信息纯粹本地运算。提示如果你更换了主板或重装系统注册码会失效。但开发者提供了备用方案在README.md末尾有一段用Base64编码的“应急激活密钥”解码后可生成新的注册码。这是为长期使用者设计的兜底机制不是后门。3.2 主程序操作填三个框设五个参数搞定一切双击pro.exe主界面极其简洁一个URL输入框、一个“浏览”按钮选择保存目录、一个“开始”按钮以及右下角的状态栏。但隐藏在“设置”按钮里的才是真正的力量。核心五参数设置必调点击“设置”进入高级配置页重点关注以下五项其余保持默认即可抓取深度Max Depth默认是3。对于企业官网设为2足够首页→栏目页→详情页对于新闻站建议3首页→频道页→文章页→评论AJAX接口对于电商谨慎设为2避免陷入商品SKU的无限参数组合。并发连接数Concurrent Connections默认8。这是pro.exe.mbxcfg中concurrent_connections的图形化映射。实测经验在千兆宽带下设为12能压满带宽但在抓取老旧ASP服务器如Windows Server 2003 IIS6时必须降到4否则服务器会因连接数超限返回503。文件过滤规则File Filters点击右侧“编辑”会打开一个文本框。这里不是简单的后缀黑名单而是支持通配符和正则的过滤引擎。例如-*.log, *.tmp—— 屏蔽临时文件-*/admin/*, */wp-admin/*—— 屏蔽后台路径防止误抓-^https?://.*\.(gif|jpg|jpeg|png|webp)$—— 仅允许图片正则模式需勾选“启用正则”动态页面参数白名单Dynamic Params这是ASP/JSP/PHP抓取的核心开关。默认为空意味着不特殊处理动态URL。你需要填入你目标网站实际使用的参数名例如某PHP站用/article.php?aid123cid45就填aid,cid某ASP站用/product.asp?pidABCcolorred就填pid,color。填错会导致参数被当作静态路径生成大量重复文件。重试策略Retry Policy默认“失败重试3次”。对于高延迟的JSP应用如老版教务系统建议改为“指数退避重试”即第一次1秒后重试第二次3秒第三次9秒避免雪崩式重试压垮服务器。设置完毕后点击“确定”回到主界面。填入目标URL务必带http://或https://点击“浏览”选择一个空文件夹强烈建议新建如D:\Backup\example-com-20240512\最后点“开始”。你会看到状态栏滚动显示“正在解析首页…”、“发现127个链接…”、“启动8个并发下载…”整个过程无需干预。3.3 调度模块实战让备份变成全自动的“呼吸”prosched.exe是你的定时管家。它不依赖Windows任务计划程序而是内置了一个轻量级调度引擎通过schedule.ini配置。打开schedule.ini其结构如下[GLOBAL] # 全局开关 enabled true # 日志级别0无1错误2警告3信息推荐设为2 log_level 2 [JOB_01] # 任务1每日凌晨3点备份公司官网 name Daily_Company_Site url https://www.company.com/ output_dir D:\Backup\CompanySite\ enabled true # Cron表达式分钟 小时 日 月 周0-60周日 cron 0 3 * * * # 抓取参数覆盖mbxcfg默认值 depth 2 concurrent 6 filters *.log,*.tmp,*/test/* [JOB_02] # 任务2每小时检查竞品新闻页浅抓只取标题和摘要 name Hourly_Competitor_News url https://competitor-news.com/latest/ output_dir D:\Backup\CompetitorNews\ enabled true cron 0 * * * * depth 1 # 关键启用“仅抓取HTML”模式跳过所有CSS/JS/图片 skip_resources css,js,img启动调度双击prosched.exe它会最小化到系统托盘。右键图标可以看到“启动所有任务”、“停止所有任务”、“查看日志”等选项。日志文件默认在%APPDATA%\ProSiteGrabber\scheduler.log格式为[2024-05-12 03:00:01] INFO: JOB_01 started for https://www.company.com/。注意prosched.exe和pro.exe可以同时运行互不干扰。prosched.exe只负责触发实际下载仍由pro.exe执行。这意味着你可以在调度任务运行时手动启动另一个pro.exe抓取其他网站资源互不影响。3.4 断点续传与增量更新如何优雅地应对中断与变化假设你抓取一个大型网站预计耗时8小时但在第5小时因断电中断。第二天你重新双击pro.exe填入同样的URL和输出目录会发生什么自动续传流程1.pro.exe启动时首先检查当前目录是否存在pro.GID文件。存在则加载2. 它扫描输出目录下的所有文件对每个文件计算MD5并与pro.GID中记录的“本地文件路径哈希”匹配3. 对于已匹配的文件它发起HEAD请求获取服务器端的Content-Length和ETag4. 如果Content-Length与pro.GID中记录的“总字节数”一致且ETag也一致则跳过该文件5. 如果Content-Length一致但ETag不一致说明内容已更新删除旧文件重新下载6. 如果Content-Length不一致如服务器端文件被修改则发起Range请求从pro.GID记录的“已下载字节数”位置继续下载7. 对于pro.GID中有记录但本地不存在的文件它会尝试重新下载比如你手动删了某个图片8. 对于pro.GID中无记录的新链接如首页新增了一个导航它会按正常流程抓取。这就是真正的“智能续传”——它不依赖文件名不依赖时间戳只信任HTTP协议本身提供的权威元数据。我在测试中故意拔掉网线5分钟再插回pro.exe自动恢复后只花了23秒就完成了剩余下载且生成的index.html里所有资源引用路径100%正确。增量更新技巧如果你想只抓取“今天新增的内容”而不是全站重抓可以利用mbxcfg的last_modified_since参数。在pro.exe.mbxcfg的[NETWORK]段落下添加# 只抓取Last-Modified时间晚于2024-05-10的资源 last_modified_since 2024-05-10T00:00:00Z这样pro.exe在发起HEAD请求时会带上If-Modified-Since: Fri, 10 May 2024 00:00:00 GMT头服务器若返回304 Not Modified就直接跳过该资源。这对新闻站、博客站的日常增量备份极为高效。4. 常见问题与排查技巧实录那些文档里不会写的坑4.1 ASP页面抓取失败404、500、空白页的三大元凶现象输入http://old-asp-site.com/default.asppro.exe报错“HTTP 404 Not Found”但你在浏览器里能正常打开。排查步骤1. 打开浏览器开发者工具F12切换到Network标签刷新页面找到default.asp请求右键“Copy as cURL”2. 在命令行里粘贴执行观察是否同样404。如果cURL也404说明是服务器配置问题如IIS未启用ASP3. 如果cURL成功对比pro.exe和cURL的请求头。最常见差异是User-Agent和Accept。pro.exe默认UA是ProSiteGrabber/1.0有些老旧ASP站会根据UA屏蔽非IE浏览器。解决方案在pro.exe.mbxcfg中修改user_agent Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko4. 检查Accept头。ASP站有时要求Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8。pro.exe默认发送Accept: */*。在mbxcfg中添加accept_header text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8。现象页面返回HTTP 500 Internal Server Error。根因ASP页面常依赖ServerVariables(HTTP_REFERER)做来源验证。pro.exe默认不发送Referer导致服务器脚本报错。解决方案在mbxcfg的[NETWORK]段添加send_referer true并设置default_referer https://www.google.com/模拟搜索引擎来源。现象下载的.asp文件打开是纯文本显示% Response.Write(Hello World) %而不是“Hello World”。真相这不是pro.exe的错而是你抓取的是ASP源码文件检查URL是否指向了网站根目录下的/default.asp正常还是指向了/source/default.asp源码泄露。后者是严重的安全漏洞pro.exe忠实地下载了它。你应该立即通知网站管理员。4.2 JSP页面登录态丢失为什么抓不到会员中心很多JSP网站的登录流程是/login.jsp→ POST表单 → 302重定向到/dashboard.jsp。pro.exe默认不跟随302重定向避免陷入重定向循环所以你POST登录后它停在了302响应没去抓/dashboard.jsp。解决方法启用follow_redirects true在mbxcfg中但这还不够。关键是要让pro.exe能正确提交登录表单。你需要手动构造一个login_post.txt文件urlhttps://site.com/login.jsp methodPOST headersContent-Type: application/x-www-form-urlencoded bodyj_usernameadminj_password123456submitLogin success_urlhttps://site.com/dashboard.jsp然后在pro.exe主界面“设置”→“高级”→“登录脚本”指向这个文件。pro.exe会先执行这个POST验证success_url是否返回200再开始抓取/dashboard.jsp及后续页面。这是处理需要登录的JSP/PHP站的标准姿势。4.3 PHP动态参数爆炸如何避免抓取10万张重复图片某PHP电商站的商品图URL是/image.php?skuABC-123sizelargeformatwebp其中size有small/medium/largeformat有jpg/webp/png组合起来就是3×39个URL指向同一张图。pro.exe默认会全部抓取造成巨大浪费。终极解决方案利用mbxcfg的param_normalization功能。在[PARSER]段添加# 对image.php的参数进行标准化只保留sku其他参数忽略 param_normalization image.php:sku # 或更激进所有PHP文件只保留第一个参数 param_normalization *.php:first_param这样/image.php?skuABC-123sizelargeformatwebp和/image.php?skuABC-123sizesmallformatjpg会被标准化为同一个URL/image.php?skuABC-123pro.GID只记录一次完美去重。4.4 断点续传失效GID文件损坏的急救指南极少数情况下如强制关机pro.GID文件可能损坏导致pro.exe启动时报错“Invalid GID header”。不要慌你还有救备份当前pro.GID文件重命名为pro.GID.bak删除原pro.GID在命令行中进入程序目录执行pro.exe --rebuild-gid D:\Backup\example-com\该命令会扫描D:\Backup\example-com\目录下的所有文件重新计算MD5生成一个新的pro.GID并自动关联到现有文件。耗时取决于文件数量但比重抓快10倍。实操心得我建议每周用--rebuild-gid命令做一次GID健康检查。它会输出报告告诉你哪些文件在GID中有记录但本地缺失可能被误删哪些文件本地有但GID无记录可能是手动下载的帮你维持归档的完整性。5. 进阶技巧与场景扩展让工具成为你的数字资产引擎5.1 竞品分析批量抓取结构化对比假设你要分析三家竞品的官网结构。传统做法是分别抓取然后手动翻看。ProSite Grabber可以帮你自动化创建三个独立的mbxcfg配置文件competitor-a.mbxcfg、competitor-b.mbxcfg、competitor-c.mbxcfg每个文件里设置不同的output_dir和depth编写一个批处理脚本batch-grab.batbat echo off echo Starting Competitor A grab... pro.exe -c competitor-a.mbxcfg -u https://a.com/ -o D:\Compare\A\ echo Starting Competitor B grab... pro.exe -c competitor-b.mbxcfg -u https://b.com/ -o D:\Compare\B\ echo Starting Competitor C grab... pro.exe -c competitor-c.mbxcfg -u https://c.com/ -o D:\Compare\C\ echo All done!运行脚本三站并行抓取抓取完成后用VS Code打开D:\Compare\安装“Compare Folders”插件一键对比A\和B\的/css/目录立刻看出谁用了Tailwind谁还在用Bootstrap 3。5.2 前端学习提取特定资源类型构建个人素材库你想收集100个网站的SVG图标。不用一个个下载用mbxcfg的resource_type_filter[PARSER] # 只解析HTML不解析CSS/JS里的URL避免抓到base64编码的SVG parse_javascript false parse_css_imports false [NETWORK] # 只下载SVG文件其他一律跳过 accept_header image/svgxml # 关键强制将所有匹配的URL保存为.svg force_extension svg [FILE_FILTERS] # 白名单只允许.svg结尾或URL含svg关键字 include_patterns *.svg, */svg/, /icons/.*\.svg配合pro.exe -c svg-only.mbxcfg -u https://example.com/ -o D:\MySVGs\它会遍历全站只下载SVG资源并统一保存为.svg文件自动去重。一周下来你的D:\MySVGs\就是一座高质量SVG图标库。5.3 离线资料整理将PDF/DOCX等文档嵌入网页结构很多网站把PDF手册放在/docs/manual.pdf但pro.exe默认只抓取HTML/CSS/JS/IMG。要让它也抓PDF只需在mbxcfg中添加[FILE_FILTERS] # 扩展允许的文件类型 allowed_extensions html,htm,css,js,jpg,jpeg,png,gif,webp,svg,pdf,doc,docx,xls,xlsx,ppt,pptx,zip,rar,7z # 关键为PDF设置专用处理规则 pdf_handling embed_in_html当pro.exe抓到manual.pdf时它不会只存一个PDF文件而是在index.html旁边生成一个manual.pdf.html文件内容是!DOCTYPE html htmlbody h1manual.pdf/h1 embed srcmanual.pdf typeapplication/pdf width100% height600px pa hrefmanual.pdfDownload original PDF/a/p /body/html这样你双击index.html就能在浏览器里直接阅读PDF点击链接还能下载原文件。这才是真正的“离线浏览体验”。我在实际使用中发现这个工具最强大的地方不是它有多快而是它有多“守规矩”——它严格遵循HTTP协议尊重robots.txt默认遵守可在mbxcfg中设ignore_robots true覆盖尊重meta namerobots contentnoindex尊重Cache-Control头。它不是一个蛮力爬虫而是一个懂礼貌、守协议的数字访客。当你需要的不是“尽可能多地抓”而是“准确、完整、可重现地保存”它就是那个值得你放在工具箱最上层的家伙。本文还有配套的精品资源点击获取简介这是一款专为Windows设计的桌面端整站抓取工具能自动下载目标网站全部可访问资源包括HTML、CSS、JavaScript、图片、音频、视频等并生成结构完整、可直接双击打开浏览的本地副本。工具内置任务调度模块prosched.exe和定时抓取配置文件schedule.ini支持按计划自动执行下载任务对ASP、JSP、PHP等常见服务端技术构建的网站兼容良好可处理带基础查询参数的动态URL。主程序pro.exe结合pro.GID索引文件实现断点续传和重复资源去重通过mbxcfg配置文件灵活设置抓取深度、并发连接数、文件类型过滤规则等关键参数。附带注册码文本、安装说明XML及示例配置无需安装运行环境解压即用。适用于网站备份归档、竞品内容采集、前端资源学习、离线资料整理等实际场景。本文还有配套的精品资源点击获取
