一、引言：AI 视觉自动化，为何值得你关注？2026 年，移动端自动化测试正在经历一场静默却深刻的范式转变。过去，我们习惯用 Appium、UIAutomator 写数百行的定位脚本，通过资源 ID、XPath、Accessibility 层级来寻找按钮和文本框。一个简单的登录流程，可能需要精心维护几十个定位器，每两周一次的 UI 改版就足以让整批用例“全红”。更棘手的是，面对 Flutter、React Native、Unity 等非原生技术栈构建的 App，传统自动化工具常常“抓瞎”——控件树里根本找不到对应的元素。而这一切，正在被 AI 视觉模型彻底改写。根据 Midscene.js 官方文档，Midscene 自 2024 年开源以来，已在 GitHub 获得超过 12,000 个 Star，并于 2025 年底正式发布 v1.0 版本，全面转向纯视觉驱动方案。截至 2026 年 5 月，项目已迭代至v1.7 版本，新增了 Qwen 3.6 模型支持、Android/鸿蒙端 terminate 操作、YAML 脚本录制语言切换等多项重要特性。这篇教程的目标读者是零基础者——你不需要懂 TypeScript，不需要会写 JavaScript 测试框架，甚至不需要理解什么叫“DOM 树”。你只需要一台电脑、一部 Android 手机（或模拟器），以及大约 30 分钟的时间，就能亲手跑通一个 AI 驱动的 YAML 自动化脚本。Midscene.js 的核心创新在于：通过截取当前界面截
Midscene.js 移动端篇：零基础上手 Android AI 视觉自动化（YAML版）
一、引言：AI 视觉自动化，为何值得你关注？2026 年，移动端自动化测试正在经历一场静默却深刻的范式转变。过去，我们习惯用 Appium、UIAutomator 写数百行的定位脚本，通过资源 ID、XPath、Accessibility 层级来寻找按钮和文本框。一个简单的登录流程，可能需要精心维护几十个定位器，每两周一次的 UI 改版就足以让整批用例“全红”。更棘手的是，面对 Flutter、React Native、Unity 等非原生技术栈构建的 App，传统自动化工具常常“抓瞎”——控件树里根本找不到对应的元素。而这一切，正在被 AI 视觉模型彻底改写。根据 Midscene.js 官方文档，Midscene 自 2024 年开源以来，已在 GitHub 获得超过 12,000 个 Star，并于 2025 年底正式发布 v1.0 版本，全面转向纯视觉驱动方案。截至 2026 年 5 月，项目已迭代至v1.7 版本，新增了 Qwen 3.6 模型支持、Android/鸿蒙端 terminate 操作、YAML 脚本录制语言切换等多项重要特性。这篇教程的目标读者是零基础者——你不需要懂 TypeScript，不需要会写 JavaScript 测试框架，甚至不需要理解什么叫“DOM 树”。你只需要一台电脑、一部 Android 手机（或模拟器），以及大约 30 分钟的时间，就能亲手跑通一个 AI 驱动的 YAML 自动化脚本。Midscene.js 的核心创新在于：通过截取当前界面截
