Anubis 上线：用工作量证明机制阻挡 AI 爬虫，守护网站资源

【导语为防止 AI 公司大量爬取网站内容导致崩溃网站管理员启用 Anubis 保护服务器。它采用工作量证明机制增加爬虫成本是临时解决方案后续还将发展指纹识别等技术。】Anubis 上线抵御 AI 爬虫侵袭当用户访问某些网站时会看到“正在确认你是否为机器人”的画面这是因为网站管理员启用了 Anubis 来保护服务器。AI 公司大量爬取网站内容的行为可能导致网站崩溃让所有用户无法正常访问资源Anubis 应运而生。工作量证明机制增加爬虫成本Anubis 采用了类似 Hashcash 的工作量证明机制Proof-of-Work该机制最初是为减少垃圾邮件而提出。对于单个用户额外的计算负担微不足道但对于大规模爬虫累积成本会大幅增加从而增加爬取难度。临时方案为新技术争取时间Anubis 只是一个临时解决方案其目的是争取更多时间用于指纹识别和识别无头浏览器例如通过它们的字体渲染方式。这样就无需向更可能是合法用户的人展示挑战工作量证明页面。依赖 JavaScript无 JS 方案待开发Anubis 需要使用现代 JavaScript 功能像 JShelter 这类插件可能会阻止这些功能用户需为该域名停用此类插件。由于 AI 公司改变了网站托管的社会契约不得不采取这种依赖 JavaScript 的保护机制无需 JavaScript 的解决方案仍在开发中。编辑观点Anubis 的出现为网站抵御 AI 爬虫提供了有效手段虽为临时方案但工作量证明机制有一定创新性。后续新技术若能成熟将更好平衡安全与用户体验。