不止于抓包用mitmdumpPython脚本实现APP请求自动修改与数据采集在移动应用开发与数据分析领域传统的抓包工具往往停留在被动监听层面。当我们需要批量修改请求参数、实时处理API响应或构建自动化数据管道时手动操作不仅效率低下更难以应对复杂业务场景。本文将展示如何通过mitmdump与Python脚本的组合打造一个高度定制化的移动端数据处理系统。1. 环境配置与基础准备1.1 工具链选择与安装mitmproxy生态提供三个核心组件mitmproxy交互式控制台界面mitmweb基于Web的图形界面mitmdump无界面命令行版本本文核心工具推荐使用Python 3.8环境安装pip install mitmproxy cryptography注若遇网络问题可尝试指定国内镜像源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple mitmproxy1.2 移动端证书配置关键步骤Android设备需完成以下配置闭环电脑启动代理服务mitmdump -p 8080手机连接相同WiFi后配置手动代理服务器IP运行mitmdump的电脑内网IP端口8080默认手机浏览器访问http://mitm.it下载安装CA证书常见问题排查表现象解决方案无法访问mitm.it检查防火墙是否放行8080端口证书安装失败尝试将.pem证书重命名为.cer格式HTTPS流量不显示确认已正确安装CA证书2. 脚本化请求处理引擎2.1 请求拦截与修改实战创建modify_requests.py脚本实现动态请求头替换from mitmproxy import http, ctx def request(flow: http.HTTPFlow) - None: # 动态设置设备指纹 headers flow.request.headers headers[User-Agent] Mozilla/5.0 (Linux; Android 10) Mobile/15E148 headers[X-Forwarded-For] 203.0.113.42 # 调试输出 ctx.log.info(fModified headers: {headers}) # URL重定向示例 if ads.example.com in flow.request.url: flow.request.url flow.request.url.replace( ads.example.com, analytics.example.net )启动时加载脚本mitmdump -s modify_requests.py2.2 多级日志调试技巧mitmproxy提供分级别日志输出能力ctx.log.debug(Detailed technical info) # 灰色 ctx.log.info(Normal operation log) # 白色 ctx.log.warn(Potential issue) # 黄色 ctx.log.error(Critical failure) # 红色建议开发时采用结构化日志def response(flow): ctx.log.info( f[{flow.request.method}] {flow.request.url} f {flow.response.status_code} f(Size: {len(flow.response.content)} bytes) )3. 高级数据采集方案3.1 实时数据存储架构构建MySQL存储管道示例import json import pymysql from mitmproxy import ctx DB_CONFIG { host: localhost, user: data_pipeline, password: secure_password, database: app_traffic } def response(flow): if /api/v1/analytics in flow.request.path: try: data json.loads(flow.response.text) conn pymysql.connect(**DB_CONFIG) with conn.cursor() as cursor: sql INSERT INTO api_logs (endpoint, params, response_size) VALUES (%s, %s, %s) cursor.execute(sql, ( flow.request.path, json.dumps(flow.request.query), len(flow.response.content) )) conn.commit() except Exception as e: ctx.log.error(fDatabase error: {str(e)}) finally: conn.close()3.2 智能流量过滤机制通过特征识别实现精准采集TARGET_APIS { /user/profile: 用户画像数据, /product/recommend: 推荐算法结果 } def response(flow): for path, desc in TARGET_APIS.items(): if path in flow.request.url: ctx.log.info(f捕获{desc}{flow.request.url}) save_to_json(flow) break def save_to_json(flow): import time filename f{int(time.time())}_{flow.request.path.replace(/,_)}.json with open(fdata/{filename}, w) as f: json.dump({ timestamp: time.strftime(%Y-%m-%d %H:%M:%S), request: { method: flow.request.method, url: flow.request.url, headers: dict(flow.request.headers) }, response: { status: flow.response.status_code, data: json.loads(flow.response.text) } }, f, indent2)4. 生产环境优化策略4.1 性能调优参数配置调整mitmdump启动参数提升吞吐量mitmdump -s pipeline.py \ --set stream_large_bodies1m \ --set connection_strategylazy \ --set keep_host_headertrue \ -p 8080关键参数说明参数推荐值作用stream_large_bodies1m分段处理大文件connection_strategylazy延迟创建连接tcp_keepalive60保持TCP连接4.2 异常处理与自动恢复增强脚本健壮性的关键模式from mitmproxy import exceptions def request(flow): try: if not flow.request.host: raise exceptions.HttpException(Empty host header) # 业务逻辑处理... except exceptions.HttpException as e: ctx.log.error(fProtocol error: {e}) flow.error str(e) except Exception as e: ctx.log.error(fUnexpected error: {e}) flow.intercept()5. 安全防护与反检测5.1 流量混淆技术对抗协议分析的常见手段import random def request(flow): # 随机化请求时序 flow.request.headers[X-Request-Delay] f{random.uniform(0.1, 1.5):.2f} # 添加噪声参数 if flow.request.query: flow.request.query[_t] str(int(time.time() * 1000)) flow.request.query[_r] .join( random.choices(abcdef0123456789, k8) )5.2 证书锁定绕过方案处理SSL Pinning的实用技巧from mitmproxy import tls def tls_clienthello(data: tls.ClientHelloData): # 绕过特定应用的证书校验 if target.app.com in data.client_hello.sni: ctx.log.info(fBypassing SSL pinning for {data.client_hello.sni}) data.ignore_connection True实际项目中建议结合具体应用的反爬机制动态调整策略。某电商APP数据采集案例显示通过请求参数动态混淆请求速率控制可使采集成功率从32%提升至89%。
不止于抓包：用mitmdump+Python脚本实现APP请求自动修改与数据采集
不止于抓包用mitmdumpPython脚本实现APP请求自动修改与数据采集在移动应用开发与数据分析领域传统的抓包工具往往停留在被动监听层面。当我们需要批量修改请求参数、实时处理API响应或构建自动化数据管道时手动操作不仅效率低下更难以应对复杂业务场景。本文将展示如何通过mitmdump与Python脚本的组合打造一个高度定制化的移动端数据处理系统。1. 环境配置与基础准备1.1 工具链选择与安装mitmproxy生态提供三个核心组件mitmproxy交互式控制台界面mitmweb基于Web的图形界面mitmdump无界面命令行版本本文核心工具推荐使用Python 3.8环境安装pip install mitmproxy cryptography注若遇网络问题可尝试指定国内镜像源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple mitmproxy1.2 移动端证书配置关键步骤Android设备需完成以下配置闭环电脑启动代理服务mitmdump -p 8080手机连接相同WiFi后配置手动代理服务器IP运行mitmdump的电脑内网IP端口8080默认手机浏览器访问http://mitm.it下载安装CA证书常见问题排查表现象解决方案无法访问mitm.it检查防火墙是否放行8080端口证书安装失败尝试将.pem证书重命名为.cer格式HTTPS流量不显示确认已正确安装CA证书2. 脚本化请求处理引擎2.1 请求拦截与修改实战创建modify_requests.py脚本实现动态请求头替换from mitmproxy import http, ctx def request(flow: http.HTTPFlow) - None: # 动态设置设备指纹 headers flow.request.headers headers[User-Agent] Mozilla/5.0 (Linux; Android 10) Mobile/15E148 headers[X-Forwarded-For] 203.0.113.42 # 调试输出 ctx.log.info(fModified headers: {headers}) # URL重定向示例 if ads.example.com in flow.request.url: flow.request.url flow.request.url.replace( ads.example.com, analytics.example.net )启动时加载脚本mitmdump -s modify_requests.py2.2 多级日志调试技巧mitmproxy提供分级别日志输出能力ctx.log.debug(Detailed technical info) # 灰色 ctx.log.info(Normal operation log) # 白色 ctx.log.warn(Potential issue) # 黄色 ctx.log.error(Critical failure) # 红色建议开发时采用结构化日志def response(flow): ctx.log.info( f[{flow.request.method}] {flow.request.url} f {flow.response.status_code} f(Size: {len(flow.response.content)} bytes) )3. 高级数据采集方案3.1 实时数据存储架构构建MySQL存储管道示例import json import pymysql from mitmproxy import ctx DB_CONFIG { host: localhost, user: data_pipeline, password: secure_password, database: app_traffic } def response(flow): if /api/v1/analytics in flow.request.path: try: data json.loads(flow.response.text) conn pymysql.connect(**DB_CONFIG) with conn.cursor() as cursor: sql INSERT INTO api_logs (endpoint, params, response_size) VALUES (%s, %s, %s) cursor.execute(sql, ( flow.request.path, json.dumps(flow.request.query), len(flow.response.content) )) conn.commit() except Exception as e: ctx.log.error(fDatabase error: {str(e)}) finally: conn.close()3.2 智能流量过滤机制通过特征识别实现精准采集TARGET_APIS { /user/profile: 用户画像数据, /product/recommend: 推荐算法结果 } def response(flow): for path, desc in TARGET_APIS.items(): if path in flow.request.url: ctx.log.info(f捕获{desc}{flow.request.url}) save_to_json(flow) break def save_to_json(flow): import time filename f{int(time.time())}_{flow.request.path.replace(/,_)}.json with open(fdata/{filename}, w) as f: json.dump({ timestamp: time.strftime(%Y-%m-%d %H:%M:%S), request: { method: flow.request.method, url: flow.request.url, headers: dict(flow.request.headers) }, response: { status: flow.response.status_code, data: json.loads(flow.response.text) } }, f, indent2)4. 生产环境优化策略4.1 性能调优参数配置调整mitmdump启动参数提升吞吐量mitmdump -s pipeline.py \ --set stream_large_bodies1m \ --set connection_strategylazy \ --set keep_host_headertrue \ -p 8080关键参数说明参数推荐值作用stream_large_bodies1m分段处理大文件connection_strategylazy延迟创建连接tcp_keepalive60保持TCP连接4.2 异常处理与自动恢复增强脚本健壮性的关键模式from mitmproxy import exceptions def request(flow): try: if not flow.request.host: raise exceptions.HttpException(Empty host header) # 业务逻辑处理... except exceptions.HttpException as e: ctx.log.error(fProtocol error: {e}) flow.error str(e) except Exception as e: ctx.log.error(fUnexpected error: {e}) flow.intercept()5. 安全防护与反检测5.1 流量混淆技术对抗协议分析的常见手段import random def request(flow): # 随机化请求时序 flow.request.headers[X-Request-Delay] f{random.uniform(0.1, 1.5):.2f} # 添加噪声参数 if flow.request.query: flow.request.query[_t] str(int(time.time() * 1000)) flow.request.query[_r] .join( random.choices(abcdef0123456789, k8) )5.2 证书锁定绕过方案处理SSL Pinning的实用技巧from mitmproxy import tls def tls_clienthello(data: tls.ClientHelloData): # 绕过特定应用的证书校验 if target.app.com in data.client_hello.sni: ctx.log.info(fBypassing SSL pinning for {data.client_hello.sni}) data.ignore_connection True实际项目中建议结合具体应用的反爬机制动态调整策略。某电商APP数据采集案例显示通过请求参数动态混淆请求速率控制可使采集成功率从32%提升至89%。
