影刀RPA动态加载网页处理：Ajax与懒加载实战

影刀RPA动态加载网页处理Ajax与懒加载实战作者林焱前言2015年以前的网页是一次加载完之后的网页是一点一点加载。你打开淘宝——骨架先出来然后商品图片一张一张蹦出来价格数字等JS算完才显示。这种异步加载是自动化的一大挑战你没法确定页面已经完全加载好了——因为永远有新东西在加载。一、识别动态网页特征店群矩阵自动化突破运营极限页面先显示占位框/骨架屏1-2秒后才填充内容滚动到底部才加载更多切换筛选条件后URL不变但内容变了Network面板里大量XHR/Fetch请求二、核心应对策略等待数据而非等待页面不要等页面加载完成——这个事件对动态网页没意义。等待你需要的数据出现了。打开网页动态页面 等待元素出现第一个商品的价格 ← 等数据不等页面 开始采集三、Ajax内容的等待点击一个筛选条件后页面通过Ajax重新请求数据URL不变但内容刷新。等待策略记住操作前页面上的某个文本比如当前第一个商品名执行操作点击筛选按钮等待这个文本消失旧内容被替换等待新的内容出现开始采集新内容两步等待消失出现比一步等待出现更可靠。四、懒加载图片处理图片刚开始是占位符滚动到可视区域才开始加载。如果你要截图或OCR需要等图片加载完。用JS检测图片的complete属性。如果你只关心文字数据不需要等图片直接抓文本即可。temu店群自动化报活动案例五、SPA单页应用的特殊处理Vue/React开发的SPA整个页面是JS渲染的。影刀打开页面时HTML里可能只有一个div idapp/div。关键不要用等待网页加载完成指令它对SPA无效。直接用等待元素出现等待JS渲染出的具体DOM元素。六、总结动态网页的核心原则不等页面加载等数据出现。关注你需要的那一个元素是否已存在而不是整个页面是否加载完成。下一篇讲批量下载文件。作者林焱影刀RPA深耕实践者致力于让每个普通人都能学会自动化