1. 认识mitmproxy不只是抓包工具第一次接触mitmproxy时我以为它就是个简单的抓包工具。真正用起来才发现它更像是一个全能的网络流量手术刀。作为基于Python开发的中间人代理工具mitmproxy不仅能拦截HTTP/HTTPS请求还能实时修改、重放流量甚至自动生成测试用例。最让我惊喜的是它的跨平台特性——同一套工具链可以完美适配Windows、macOS、iOS和Android四大平台。mitmproxy实际上包含三个组件mitmproxy带交互界面的主程序命令行TUImitmdump轻量级命令行版本适合集成到自动化流程mitmweb基于浏览器的可视化界面实测发现在抖音数据抓包场景下mitmdump配合自定义Python脚本的效率最高。比如通过mitmdump -s douyin_parser.py -p 8888命令就能在监听8888端口的同时用Python脚本实时解析抖音的API响应。这种灵活度是其他抓包工具难以比拟的。2. 跨平台环境搭建实战2.1 Windows环境配置在Windows 10/11上安装mitmproxy最省事的方法是用Chocolatey包管理器choco install mitmproxy如果遇到端口占用问题特别是装了其他代理工具的情况可以用这个命令查看占用进程netstat -ano | findstr 8080 taskkill /PID 占用进程号 /F启动时推荐指定监听IP和端口mitmdump --listen-host 192.168.1.100 -p 8888这样同一局域网下的手机设备就能通过192.168.1.100:8888连接到代理。我遇到过防火墙拦截的情况这时候需要在Windows Defender防火墙中新建入站规则放行mitmproxy的TCP连接。2.2 macOS环境优化通过Homebrew安装最稳定brew install mitmproxymacOS Catalina及以上版本会遇到证书信任问题这是因为系统加强了安全策略。解决方法是在终端先执行sudo security add-trusted-cert -d -r trustRoot -k /Library/Keychains/System.keychain ~/.mitmproxy/mitmproxy-ca-cert.pem然后再通过钥匙串访问手动设置始终信任。有个细节要注意如果使用zsh等非bash终端可能会遇到PATH问题建议在.zshrc中添加export PATH/usr/local/opt/mitmproxy/bin:$PATH3. 证书配置的魔鬼细节3.1 Windows证书陷阱双击安装mitmproxy-ca.p12证书时很多人会忽略这个关键步骤必须手动选择受信任的根证书颁发机构存储位置。我有次排查了半天HTTPS拦截失败的问题最后发现就是证书存错了地方。安装后建议运行certmgr.msc在受信任的根证书颁发机构中确认mitmproxy证书存在且未过期。遇到过企业网络环境下组策略会定期清理非官方证书这种情况需要导出证书后通过本地策略固定。3.2 iOS的证书信任迷宫iOS 16以上版本有个隐藏坑点除了要在设置→通用→关于本机→证书信任设置中启用完全信任如果设备启用了内容限制屏幕使用时间可能还需要进入屏幕使用时间→内容和隐私访问限制找到证书信任设置关闭限制传输证书文件时AirDrop经常抽风。我的经验是用Python快速搭个本地HTTP服务python -m http.server 8000然后在Safari访问http://电脑IP:8000/mitmproxy-ca-cert.pem下载更可靠。3.3 Android的证书玄学不同厂商ROM的证书安装路径差异巨大小米设置→密码与安全→系统安全→CA证书华为设置→安全→更多安全设置→加密与凭据三星设置→生物识别和安全性→其他安全设置Android 7的另一个大坑是应用可能不信任用户安装的证书。这时候需要root后把证书移到系统证书目录adb root adb remount adb push mitmproxy-ca-cert.pem /system/etc/security/cacerts/ adb shell chmod 644 /system/etc/security/cacerts/mitmproxy-ca-cert.pem4. 抖音数据抓包实战解析4.1 代理环境搭建技巧手机连接代理后建议先访问mitm.it验证证书状态。这个官方页面会自动检测设备类型并给出证书安装指南比手动操作靠谱得多。针对抖音这类强验证的APP需要额外配置mitmdump --set upstream_certfalse -s douyin.py关闭上游证书验证可以避免某些SSL Pinning导致的拦截失败。实测发现抖音的API主要走这几个域名*.snssdk.com*.amemv.com*.ixigua.com可以在Python脚本里加过滤def request(flow): if snssdk.com not in flow.request.host: return # 处理抖音请求...4.2 数据解析实战抖音的API返回通常是gzip压缩的JSON需要特别处理import json import gzip def response(flow): if flow.response.headers.get(content-encoding) gzip: flow.response.content gzip.decompress(flow.response.content) try: data json.loads(flow.response.text) if aweme_list in data: # 视频流数据 for video in data[aweme_list]: print(video[desc]) # 视频描述 except: pass常见反爬应对方案UA检测修改flow.request.headers[User-Agent]为手机原生UA签名验证Hook加密函数获取签名算法需frida配合IP限制使用--mode upstream:http://代理IP:端口设置上游代理5. 高频问题排坑指南Q安卓APP无法抓包A大概率是证书问题尝试确认证书安装在系统信任区检查APP是否启用了证书固定可用Objection检测测试时关闭VPN和其他代理工具QiOS抓包时断时续A可能是低电量模式或网络切换导致建议关闭自动Wi-Fi切换在设置→开发者→网络中禁用随机化MAC地址使用--set connection_strategylazy启动参数Q抖音数据乱码A处理protobuf数据需要额外解码from google.protobuf.json_format import MessageToDict def response(flow): if flow.request.path.startswith(/aweme/v1): import aweme_pb2 # 需要提前编译抖音的proto文件 msg aweme_pb2.Response() msg.ParseFromString(flow.response.content) print(MessageToDict(msg))有个小技巧遇到未知协议时可以先保存原始流量mitmdump -w dump.mitm然后用mitmproxy -r dump.mitm回放分析比实时抓包更方便调试。
从零开始：mitmproxy跨平台证书配置与实战抓包指南
1. 认识mitmproxy不只是抓包工具第一次接触mitmproxy时我以为它就是个简单的抓包工具。真正用起来才发现它更像是一个全能的网络流量手术刀。作为基于Python开发的中间人代理工具mitmproxy不仅能拦截HTTP/HTTPS请求还能实时修改、重放流量甚至自动生成测试用例。最让我惊喜的是它的跨平台特性——同一套工具链可以完美适配Windows、macOS、iOS和Android四大平台。mitmproxy实际上包含三个组件mitmproxy带交互界面的主程序命令行TUImitmdump轻量级命令行版本适合集成到自动化流程mitmweb基于浏览器的可视化界面实测发现在抖音数据抓包场景下mitmdump配合自定义Python脚本的效率最高。比如通过mitmdump -s douyin_parser.py -p 8888命令就能在监听8888端口的同时用Python脚本实时解析抖音的API响应。这种灵活度是其他抓包工具难以比拟的。2. 跨平台环境搭建实战2.1 Windows环境配置在Windows 10/11上安装mitmproxy最省事的方法是用Chocolatey包管理器choco install mitmproxy如果遇到端口占用问题特别是装了其他代理工具的情况可以用这个命令查看占用进程netstat -ano | findstr 8080 taskkill /PID 占用进程号 /F启动时推荐指定监听IP和端口mitmdump --listen-host 192.168.1.100 -p 8888这样同一局域网下的手机设备就能通过192.168.1.100:8888连接到代理。我遇到过防火墙拦截的情况这时候需要在Windows Defender防火墙中新建入站规则放行mitmproxy的TCP连接。2.2 macOS环境优化通过Homebrew安装最稳定brew install mitmproxymacOS Catalina及以上版本会遇到证书信任问题这是因为系统加强了安全策略。解决方法是在终端先执行sudo security add-trusted-cert -d -r trustRoot -k /Library/Keychains/System.keychain ~/.mitmproxy/mitmproxy-ca-cert.pem然后再通过钥匙串访问手动设置始终信任。有个细节要注意如果使用zsh等非bash终端可能会遇到PATH问题建议在.zshrc中添加export PATH/usr/local/opt/mitmproxy/bin:$PATH3. 证书配置的魔鬼细节3.1 Windows证书陷阱双击安装mitmproxy-ca.p12证书时很多人会忽略这个关键步骤必须手动选择受信任的根证书颁发机构存储位置。我有次排查了半天HTTPS拦截失败的问题最后发现就是证书存错了地方。安装后建议运行certmgr.msc在受信任的根证书颁发机构中确认mitmproxy证书存在且未过期。遇到过企业网络环境下组策略会定期清理非官方证书这种情况需要导出证书后通过本地策略固定。3.2 iOS的证书信任迷宫iOS 16以上版本有个隐藏坑点除了要在设置→通用→关于本机→证书信任设置中启用完全信任如果设备启用了内容限制屏幕使用时间可能还需要进入屏幕使用时间→内容和隐私访问限制找到证书信任设置关闭限制传输证书文件时AirDrop经常抽风。我的经验是用Python快速搭个本地HTTP服务python -m http.server 8000然后在Safari访问http://电脑IP:8000/mitmproxy-ca-cert.pem下载更可靠。3.3 Android的证书玄学不同厂商ROM的证书安装路径差异巨大小米设置→密码与安全→系统安全→CA证书华为设置→安全→更多安全设置→加密与凭据三星设置→生物识别和安全性→其他安全设置Android 7的另一个大坑是应用可能不信任用户安装的证书。这时候需要root后把证书移到系统证书目录adb root adb remount adb push mitmproxy-ca-cert.pem /system/etc/security/cacerts/ adb shell chmod 644 /system/etc/security/cacerts/mitmproxy-ca-cert.pem4. 抖音数据抓包实战解析4.1 代理环境搭建技巧手机连接代理后建议先访问mitm.it验证证书状态。这个官方页面会自动检测设备类型并给出证书安装指南比手动操作靠谱得多。针对抖音这类强验证的APP需要额外配置mitmdump --set upstream_certfalse -s douyin.py关闭上游证书验证可以避免某些SSL Pinning导致的拦截失败。实测发现抖音的API主要走这几个域名*.snssdk.com*.amemv.com*.ixigua.com可以在Python脚本里加过滤def request(flow): if snssdk.com not in flow.request.host: return # 处理抖音请求...4.2 数据解析实战抖音的API返回通常是gzip压缩的JSON需要特别处理import json import gzip def response(flow): if flow.response.headers.get(content-encoding) gzip: flow.response.content gzip.decompress(flow.response.content) try: data json.loads(flow.response.text) if aweme_list in data: # 视频流数据 for video in data[aweme_list]: print(video[desc]) # 视频描述 except: pass常见反爬应对方案UA检测修改flow.request.headers[User-Agent]为手机原生UA签名验证Hook加密函数获取签名算法需frida配合IP限制使用--mode upstream:http://代理IP:端口设置上游代理5. 高频问题排坑指南Q安卓APP无法抓包A大概率是证书问题尝试确认证书安装在系统信任区检查APP是否启用了证书固定可用Objection检测测试时关闭VPN和其他代理工具QiOS抓包时断时续A可能是低电量模式或网络切换导致建议关闭自动Wi-Fi切换在设置→开发者→网络中禁用随机化MAC地址使用--set connection_strategylazy启动参数Q抖音数据乱码A处理protobuf数据需要额外解码from google.protobuf.json_format import MessageToDict def response(flow): if flow.request.path.startswith(/aweme/v1): import aweme_pb2 # 需要提前编译抖音的proto文件 msg aweme_pb2.Response() msg.ParseFromString(flow.response.content) print(MessageToDict(msg))有个小技巧遇到未知协议时可以先保存原始流量mitmdump -w dump.mitm然后用mitmproxy -r dump.mitm回放分析比实时抓包更方便调试。
