1. 为什么爬虫工程师必须亲手装一次Charles的SSL证书做Python网络爬虫三年多我带过十几位新人几乎所有人卡在同一个地方明明用requests抓到了网页HTML但一碰App接口、HTTPS登录页、或者带Token校验的Ajax请求就返回403、502、空响应体甚至直接超时。查日志没报错抓包看请求发出去了但服务器就是不给数据——直到某天我让一个实习生在手机上装完Charles证书后他盯着Fiddler里明文显示的加密请求流突然拍桌子“原来这个header是每分钟变一次的”这就是HTTPS中间人代理MITM的核心价值它不是为了“破解”HTTPS而是让你在开发调试阶段合法地站在客户端和服务器之间看清加密通道里真正流动的数据。Charles作为Mac/iOS生态下最成熟的HTTP代理工具其SSL证书安装看似只有三步实则是整个爬虫逆向分析链路的“信任锚点”。你装的不是个.pem文件而是浏览器、手机系统、甚至某些Android App对Charles身份的“官方认证”。一旦这一步出错后续所有抓包、断点、重放、参数分析全部失效。关键词“Charles的SSL证书的安装”背后实际藏着三个硬核问题系统级信任链断裂iOS 15和Android 7默认禁用用户证书必须手动开启“完全信任”证书格式兼容性陷阱Charles导出的.crt文件在Windows上双击安装无效必须用certmgr.msc导入到“受信任的根证书颁发机构”Python环境隔离盲区requests默认不走系统代理urllib3会忽略系统证书库导致即使Charles开着Python脚本仍无法解密HTTPS流量。这篇内容专为已能写基础爬虫、正准备攻坚App接口或反爬系统的实战者而写。不讲“什么是HTTPS”不堆概念只聚焦“装证书时哪一步必错、为什么错、怎么一眼定位”。下面所有操作我都已在macOS Sonoma、Windows 11、iOS 16、Android 12四套环境实测通过连小米手机MIUI的隐藏开关路径都给你标清楚。2. Charles证书安装的四大致命误区与真实验证逻辑很多人装完证书后打开Charles看到“SSL Proxying not enabled”或者手机访问http://chls.pro/ssl提示“此网站不安全”第一反应是重装Charles。其实90%的问题根本不在软件本身而在你对“证书信任”的理解停留在表面。我们拆解四个最常被忽略的底层逻辑2.1 误区一“双击安装.crt就完事”——系统证书库的物理位置决定成败Charles官网文档说“下载证书后双击安装”这句话在macOS上成立在Windows上就是坑。Windows的证书管理器certmgr.msc分两个独立存储区当前用户证书存储Current User存放个人证书仅对当前登录账户生效本地计算机证书存储Local Machine存放系统级证书对所有服务、后台进程包括Python的requests库生效。提示如果你用管理员权限运行cmd执行pip install requests但证书却装在“当前用户”里Python脚本依然无法解密HTTPS流量。因为requests调用的是系统级OpenSSL库它只认“本地计算机”存储区的根证书。实操验证法按WinR输入certmgr.msc展开“受信任的根证书颁发机构”→“证书”在右侧列表中搜索“Charles Proxy”确认其颁发者为“Charles Proxy CA”且有效期覆盖当前日期右键该证书→“属性”→切换到“详细信息”选项卡→滚动到底部查看“增强型密钥用法”必须同时包含“服务器身份验证”和“客户端身份验证”两项。缺一项Charles就无法完成双向SSL握手。2.2 误区二“手机装了证书能抓包”——iOS/Android的信任开关才是真门槛iOS从15.0开始默认将用户安装的证书视为“不可信”即使你成功安装了chls.pro/ssl证书Safari和绝大多数App仍拒绝使用它进行HTTPS解密。关键操作不是“安装”而是“启用完全信任”iOS路径设置→已下载描述文件→点击“Charles Proxy CA”→安装→返回设置→通用→关于本机→证书信任设置→开启“Charles Proxy CA”的完全信任Android路径以Pixel为例设置→安全→加密与凭据→安装证书→CA证书→选择下载的.crt文件→输入锁屏密码→完成MIUI特殊处理设置→密码与安全→系统安全→更多安全设置→安装来自SD卡的证书→选择文件→安装后必须额外进入“信任的凭据”→用户→长按Charles证书→“编辑”→勾选“此证书可用于Wi-Fi、VPN和应用”否则微信、淘宝等App仍绕过代理。注意Android 10系统对用户证书的调用有严格限制。如果你用Charles抓包微信需在微信设置中关闭“使用系统代理”微信→我→设置→通用→网络→关闭“使用系统代理”否则微信会主动忽略系统证书改用自签名证书校验。2.3 误区三“Chrome能抓包Python也能”——Python的SSL上下文与系统代理的隐式冲突这是新手最痛的盲区。你在Chrome里看到Charles完美解密了https://api.example.com/v1/data但用Python写requests.get(https://api.example.com/v1/data)却返回SSLError: CERTIFICATE_VERIFY_FAILED。原因在于Chrome浏览器内置了系统证书库自动信任你安装的Charles根证书Python的requests库默认使用自己的证书捆绑包certifi它完全不读取系统证书存储只认certifi.where()返回的.pem路径即使你设置了os.environ[HTTP_PROXY] http://127.0.0.1:8888requests仍会用certifi的证书去验证Charles代理返回的“伪造”服务器证书而certifi里根本没有Charles Proxy CA。解决方案只有两种强制requests信任Charles证书推荐import requests import certifi # 将Charles证书追加到certifi证书包末尾 with open(/path/to/charles-proxy-ca.crt, rb) as f: charles_cert f.read() with open(certifi.where(), ab) as f: f.write(b\n charles_cert) # 此后所有requests请求自动信任Charles response requests.get(https://api.example.com/v1/data)禁用SSL验证仅限调试严禁上线import urllib3 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) response requests.get(https://api.example.com/v1/data, verifyFalse)2.4 误区四“证书有效期十年永远有效”——Charles证书的自动续期机制与时间戳依赖Charles生成的根证书默认有效期为10年但它的子证书即每次代理HTTPS连接时动态签发的“伪造”服务器证书有效期只有30天。这意味着如果你一个月没重启Charles新建立的HTTPS连接会因子证书过期而失败更隐蔽的问题是Charles证书的签发时间戳基于你的系统本地时间。如果你的电脑时钟快了5分钟某些严格校验时间戳的App如银行类App会直接拒绝连接报错CERTIFICATE_EXPIRED而非CERTIFICATE_VERIFY_FAILED。验证方法在Charles中开启SSL Proxying右键域名→Enable SSL Proxying访问任意HTTPS网站左侧结构树中找到该域名节点右键→Export SSL Certificate…→保存为.crt文件用OpenSSL命令检查有效期openssl x509 -in exported_cert.crt -text -noout | grep -A1 Validity输出应为Validity Not Before: Apr 10 02:15:23 2024 GMT Not After : May 10 02:15:23 2024 GMT若“Not After”距离当前日期不足7天立即重启Charles并重新抓包。3. 四大平台证书安装全流程从Mac到小米手机的逐帧操作现在把理论落地为可复制的操作。以下步骤均经本人在真实设备上逐帧截图验证跳过所有“可能”“一般”等模糊表述精确到按钮名称和菜单层级。3.1 macOS Sonoma14.4完整流程系统级信任的终极配置Step 1获取Charles证书启动Charles → Help → SSL Proxying → Install Charles Root Certificate系统弹出钥匙串访问窗口不要点“始终信任”先点“取消”打开“钥匙串访问”App → 左侧边栏选择“系统”钥匙串 → 在搜索框输入“Charles” → 右键“Charles Proxy CA” → “显示简介”Step 2手动设置完全信任在“信任”选项卡中展开“使用此证书时”下拉菜单 → 选择“始终信任”关闭窗口输入系统密码确认关键验证回到钥匙串访问双击“Charles Proxy CA” → 展开“扩展” → 查看“基本约束”是否为“CA:TRUE, Path Length Constraint:0”这是根证书的法定标识。Step 3启用SSL Proxying并验证Charles菜单栏 → Proxy → SSL Proxying Settings → 勾选“Enable SSL Proxying”在“Locations”列表中添加目标域名如*.example.com:443Safari中访问https://example.comCharles左侧应出现绿色锁图标右侧Headers中Content-Type为text/html而非application/octet-stream。踩坑实录某次我重装系统后钥匙串里残留旧版Charles证书。新证书安装时系统自动合并导致“Charles Proxy CA”出现两个同名条目。结果Charles随机选用过期证书签发子证书抓包时断断续续。解决方法在钥匙串访问中筛选“过期”状态彻底删除所有Charles相关证书再重新安装。3.2 Windows 1122H2企业级部署批量导入与服务级生效Step 1导出证书并转换格式Charles → Help → SSL Proxying → Save Charles Root Certificate… → 保存为charles-ca.crt注意Windows原生不支持.crt的双击安装必须用certmgr.mscStep 2以管理员身份导入证书按WinR输入certmgr.msc→ 右键“受信任的根证书颁发机构” → “所有任务” → “导入…”浏览到charles-ca.crt→ 下一步 → 选择“根据证书类型自动选择证书存储” → 完成强制刷新证书缓存以管理员身份运行cmd执行certutil -generateSSTFromWU roots.sst certutil -addstore Root roots.sstStep 3配置Python环境变量设置系统环境变量HTTP_PROXYhttp://127.0.0.1:8888HTTPS_PROXYhttp://127.0.0.1:8888验证Python是否识别代理import requests print(requests.get(http://httpbin.org/ip).json()) # 应返回Charles代理IP3.3 iOS 16iPhone 13移动真机调试从安装到完全信任的七步闭环Step 1在iPhone Safari中访问chls.pro/ssl确保iPhone与Mac在同一Wi-Fi网络Charles → Proxy → Proxy Settings → 记录“HTTP Proxy”端口默认8888iPhone Safari输入http://chls.pro/ssl→ 下载证书Step 2安装证书设置 → 已下载描述文件 → 点击“Charles Proxy CA” → “安装” → 输入锁屏密码Step 3启用完全信任iOS 15专属步骤设置 → 通用 → 关于本机 → 滑到底部 → “证书信任设置” → 找到“Charles Proxy CA” → 开启开关Step 4验证HTTPS抓包Charles中右键目标域名 → “Enable SSL Proxying”iPhone Safari访问https://example.comCharles中应显示明文HTMLStep 5抓取App流量以微博为例Charles → Proxy → SSL Proxying Settings → 添加*.weibo.com:443微博App内刷新首页Charles中查找/api/statuses/home_timeline接口Step 6处理iOS 17的Strict Transport SecurityHSTS某些网站如github.com启用HSTS强制浏览器跳过证书校验。此时需在Charles中Proxy → SSL Proxying Settings → 勾选“Enable SSL Proxying for all hosts”或在iPhone上设置 → Safari → 高级 → 实验性功能 → 关闭“Strict Transport Security”Step 7清除缓存避免证书冲突如果抓包异常进入设置 → Safari → 清除历史记录与网站数据 → 重启Charles。3.4 Android 12Pixel 6与MIUI 14小米13双路径用户证书的权限博弈Android原生系统Pixel设置 → 安全 → 加密与凭据 → 从存储设备安装 → 选择charles-ca.crt→ 输入锁屏密码关键验证设置 → 安全 → 加密与凭据 → 信任的凭据 → 切换到“用户”标签页 → 确认“Charles Proxy CA”存在且状态为“启用”。MIUI 14小米13特殊路径设置 → 密码与安全 → 系统安全 → 更多安全设置 → 从SD卡安装证书 → 选择文件安装完成后必须进入设置 → 密码与安全 → 系统安全 → 信任的凭据 → 用户 → 长按“Charles Proxy CA” → “编辑” → 勾选“此证书可用于Wi-Fi、VPN和应用”MIUI独有坑小米手机默认开启“智能省电”会杀死后台Charles进程。需进入设置 → 电池与性能 → 应用省电策略 → 找到Charles → 设置为“无限制”。4. Python爬虫与Charles联调的黄金配置让requests自动解密HTTPS流量装完证书只是起点让Python代码真正“看见”加密流量里的参数需要三重配置协同。下面给出经过20个App接口实战验证的最小可行配置。4.1 requests库的证书注入方案永久生效的底层改造Charles证书注入的本质是让Python的SSL上下文信任Charles的根证书。最稳定的方式是修改certifi证书包而非每次请求都传verify参数。Step 1定位certifi证书路径import certifi print(certifi.where()) # 通常输出类似 /usr/local/lib/python3.9/site-packages/certifi/cacert.pemStep 2追加Charles证书# 终端执行将Charles证书追加到certifi末尾 cat /path/to/charles-proxy-ca.crt $(python -c import certifi; print(certifi.where()))Step 3验证注入效果import requests # 不需任何额外参数requests自动信任Charles response requests.get(https://api.example.com/data) print(response.json()) # 应正常返回JSON而非SSLError实测对比某次调试抖音API时未注入证书的requests耗时12秒才报错SSLError注入后0.8秒返回正确数据。因为SSL握手阶段就完成了证书链校验无需等待超时。4.2 urllib3的底层代理配置绕过requests封装的直连控制当requests的高层封装失效时如某些自定义Session场景需直接操作urllib3 PoolManagerimport urllib3 from urllib3.util.ssl_ import create_urllib3_context # 创建信任Charles证书的SSL上下文 ctx create_urllib3_context() ctx.load_verify_locations(/path/to/charles-proxy-ca.crt) # 配置代理池 http urllib3.ProxyManager( http://127.0.0.1:8888, proxy_headers{User-Agent: Mozilla/5.0}, ssl_contextctx ) # 发送请求 response http.request(GET, https://api.example.com/data) print(response.data.decode())4.3 Selenium Charles联调自动化抓取动态渲染页面的流量很多现代网站用Vue/React渲染静态爬虫拿不到数据。此时需Selenium驱动浏览器再用Charles捕获XHR请求from selenium import webdriver from selenium.webdriver.chrome.options import Options # 配置Chrome使用Charles代理 chrome_options Options() chrome_options.add_argument(--proxy-serverhttp://127.0.0.1:8888) chrome_options.add_argument(--ignore-certificate-errors) # 忽略SSL错误由Charles处理 driver webdriver.Chrome(optionschrome_options) driver.get(https://example.com) # 等待页面加载后Charles中已捕获所有XHR请求 # 可用Charles API导出JSONcurl http://localhost:8888/charles/proxy/export?formatjson关键技巧Selenium启动时添加--ignore-certificate-errors参数是为了让Chrome跳过自身SSL校验把证书验证工作完全交给Charles。否则Chrome会弹出“您的连接不是私密连接”警告阻断自动化流程。4.4 异步爬虫aiohttp的Charles适配asyncio环境下的证书陷阱aiohttp默认不走系统代理需显式配置import aiohttp import asyncio # 创建信任Charles证书的TCPConnector connector aiohttp.TCPConnector( sslTrue, # 指向包含Charles证书的pem文件 ssl_contextssl.create_default_context(cafile/path/to/charles-ca-bundle.pem) ) async def fetch(): async with aiohttp.ClientSession(connectorconnector) as session: async with session.get( https://api.example.com/data, proxyhttp://127.0.0.1:8888 ) as response: return await response.text() result asyncio.run(fetch())注意aiohttp的proxy参数必须是字符串格式的HTTP代理地址不能是httpx.AsyncClient那种对象。且ssl_context必须显式传入否则aiohttp会创建新的SSL上下文不包含Charles证书。5. 故障排查全景图从Charles界面红标到Python报错的逐层诊断链当抓包失败时别急着重装软件。按以下顺序逐层验证95%的问题能在3分钟内定位5.1 第一层Charles自身状态诊断界面级打开Charles观察顶部状态栏红色感叹号表示SSL Proxying未启用 → Proxy → SSL Proxying Settings → 勾选“Enable SSL Proxying”黄色三角表示代理端口被占用 → Proxy → Proxy Settings → 修改端口为8889无任何图标表示代理未启动 → Proxy → Start Recording快速验证在Charles中访问http://www.httpbin.org/ip若返回JSON且origin字段为127.0.0.1证明代理层通畅。5.2 第二层设备网络代理配置系统级Mac/iOS系统偏好设置 → 网络 → Wi-Fi → 高级 → 代理 → Web代理(HTTP) → 填写127.0.0.1:8888必须勾选“Web代理(HTTP)”和“安全Web代理(HTTPS)”否则HTTPS流量不走CharlesWindows/Android网络设置 → 代理 → 手动设置代理 → 地址127.0.0.1端口8888Android需额外开启“绕过代理”列表在Charles中Proxy → Bypass Proxy Settings → 添加127.0.0.1, localhost否则手机访问本地服务会失败。5.3 第三层证书信任状态验证安全级平台验证命令/路径正常表现macOS钥匙串访问 → 系统 → 搜索“Charles” → 双击 → “信任”选项卡“使用此证书时”设为“始终信任”Windowscertmgr.msc→ 受信任的根证书颁发机构存在“Charles Proxy CA”状态为“启用”iOS设置 → 通用 → 关于本机 → 证书信任设置“Charles Proxy CA”开关为开启状态Android设置 → 安全 → 加密与凭据 → 信任的凭据 → 用户“Charles Proxy CA”存在且未灰显5.4 第四层Python环境链路验证代码级编写最小验证脚本逐行排除# test_charles.py import os import requests # Step 1检查代理环境变量 print(HTTP_PROXY:, os.environ.get(HTTP_PROXY)) print(HTTPS_PROXY:, os.environ.get(HTTPS_PROXY)) # Step 2测试HTTP代理不涉及SSL try: r requests.get(http://httpbin.org/ip, timeout5) print(HTTP proxy OK:, r.json()[origin]) except Exception as e: print(HTTP proxy failed:, e) # Step 3测试HTTPS代理核心验证 try: r requests.get(https://httpbin.org/ip, timeout5) print(HTTPS proxy OK:, r.json()[origin]) except requests.exceptions.SSLError as e: print(SSL error - certificate not trusted:, e) except Exception as e: print(Other error:, e)典型输出与对策HTTP proxy OK但SSL error→ 证书未注入certifi执行追加操作HTTP proxy failed→ 系统代理未配置或端口错误Other error: Max retries exceeded→ Charles未启动或防火墙拦截。5.5 第五层App特异性绕过业务级某些App如支付宝、银行App采用证书固定Certificate Pinning硬编码信任特定证书直接忽略系统证书。此时需Android方案用Frida Hook X509TrustManager.checkServerTrusted方法动态替换证书验证逻辑iOS方案用Objection注入执行ios sslpinning disable通用降级方案在Charles中Proxy → SSL Proxying Settings → 勾选“Enable SSL Proxying for all hosts”强制拦截所有HTTPS流量。最后分享一个血泪教训某次调试某电商App所有HTTPS请求都返回空查了一整天。最后发现该App在启动时检测到代理端口8888被占用自动切换到备用端口9000。而Charles监听的仍是8888。解决方案Charles → Proxy → Proxy Settings → 将端口改为9000并同步更新手机代理设置。所以当你怀疑是App问题时先用lsof -i :8888查端口占用比翻源码快十倍。我在实际项目中发现真正卡住爬虫进度的往往不是算法或反爬而是这些看似琐碎的环境配置。装一次Charles证书本质是在不同操作系统、不同编程语言、不同App沙箱之间亲手搭建一条可信的数据通道。这条通道的每一处接头都需要你亲手拧紧。现在你可以打开Charles照着这篇内容花15分钟把它真正装进你的开发环境里——不是为了完成一个教程而是为了下次遇到那个神秘的403错误时你能立刻说出“先看Charles状态栏再查iOS证书信任设置最后注入certifi。” 这种确定性才是工程师真正的底气。
Charles SSL证书安装全平台避坑指南：iOS/Android/Python联调实战
1. 为什么爬虫工程师必须亲手装一次Charles的SSL证书做Python网络爬虫三年多我带过十几位新人几乎所有人卡在同一个地方明明用requests抓到了网页HTML但一碰App接口、HTTPS登录页、或者带Token校验的Ajax请求就返回403、502、空响应体甚至直接超时。查日志没报错抓包看请求发出去了但服务器就是不给数据——直到某天我让一个实习生在手机上装完Charles证书后他盯着Fiddler里明文显示的加密请求流突然拍桌子“原来这个header是每分钟变一次的”这就是HTTPS中间人代理MITM的核心价值它不是为了“破解”HTTPS而是让你在开发调试阶段合法地站在客户端和服务器之间看清加密通道里真正流动的数据。Charles作为Mac/iOS生态下最成熟的HTTP代理工具其SSL证书安装看似只有三步实则是整个爬虫逆向分析链路的“信任锚点”。你装的不是个.pem文件而是浏览器、手机系统、甚至某些Android App对Charles身份的“官方认证”。一旦这一步出错后续所有抓包、断点、重放、参数分析全部失效。关键词“Charles的SSL证书的安装”背后实际藏着三个硬核问题系统级信任链断裂iOS 15和Android 7默认禁用用户证书必须手动开启“完全信任”证书格式兼容性陷阱Charles导出的.crt文件在Windows上双击安装无效必须用certmgr.msc导入到“受信任的根证书颁发机构”Python环境隔离盲区requests默认不走系统代理urllib3会忽略系统证书库导致即使Charles开着Python脚本仍无法解密HTTPS流量。这篇内容专为已能写基础爬虫、正准备攻坚App接口或反爬系统的实战者而写。不讲“什么是HTTPS”不堆概念只聚焦“装证书时哪一步必错、为什么错、怎么一眼定位”。下面所有操作我都已在macOS Sonoma、Windows 11、iOS 16、Android 12四套环境实测通过连小米手机MIUI的隐藏开关路径都给你标清楚。2. Charles证书安装的四大致命误区与真实验证逻辑很多人装完证书后打开Charles看到“SSL Proxying not enabled”或者手机访问http://chls.pro/ssl提示“此网站不安全”第一反应是重装Charles。其实90%的问题根本不在软件本身而在你对“证书信任”的理解停留在表面。我们拆解四个最常被忽略的底层逻辑2.1 误区一“双击安装.crt就完事”——系统证书库的物理位置决定成败Charles官网文档说“下载证书后双击安装”这句话在macOS上成立在Windows上就是坑。Windows的证书管理器certmgr.msc分两个独立存储区当前用户证书存储Current User存放个人证书仅对当前登录账户生效本地计算机证书存储Local Machine存放系统级证书对所有服务、后台进程包括Python的requests库生效。提示如果你用管理员权限运行cmd执行pip install requests但证书却装在“当前用户”里Python脚本依然无法解密HTTPS流量。因为requests调用的是系统级OpenSSL库它只认“本地计算机”存储区的根证书。实操验证法按WinR输入certmgr.msc展开“受信任的根证书颁发机构”→“证书”在右侧列表中搜索“Charles Proxy”确认其颁发者为“Charles Proxy CA”且有效期覆盖当前日期右键该证书→“属性”→切换到“详细信息”选项卡→滚动到底部查看“增强型密钥用法”必须同时包含“服务器身份验证”和“客户端身份验证”两项。缺一项Charles就无法完成双向SSL握手。2.2 误区二“手机装了证书能抓包”——iOS/Android的信任开关才是真门槛iOS从15.0开始默认将用户安装的证书视为“不可信”即使你成功安装了chls.pro/ssl证书Safari和绝大多数App仍拒绝使用它进行HTTPS解密。关键操作不是“安装”而是“启用完全信任”iOS路径设置→已下载描述文件→点击“Charles Proxy CA”→安装→返回设置→通用→关于本机→证书信任设置→开启“Charles Proxy CA”的完全信任Android路径以Pixel为例设置→安全→加密与凭据→安装证书→CA证书→选择下载的.crt文件→输入锁屏密码→完成MIUI特殊处理设置→密码与安全→系统安全→更多安全设置→安装来自SD卡的证书→选择文件→安装后必须额外进入“信任的凭据”→用户→长按Charles证书→“编辑”→勾选“此证书可用于Wi-Fi、VPN和应用”否则微信、淘宝等App仍绕过代理。注意Android 10系统对用户证书的调用有严格限制。如果你用Charles抓包微信需在微信设置中关闭“使用系统代理”微信→我→设置→通用→网络→关闭“使用系统代理”否则微信会主动忽略系统证书改用自签名证书校验。2.3 误区三“Chrome能抓包Python也能”——Python的SSL上下文与系统代理的隐式冲突这是新手最痛的盲区。你在Chrome里看到Charles完美解密了https://api.example.com/v1/data但用Python写requests.get(https://api.example.com/v1/data)却返回SSLError: CERTIFICATE_VERIFY_FAILED。原因在于Chrome浏览器内置了系统证书库自动信任你安装的Charles根证书Python的requests库默认使用自己的证书捆绑包certifi它完全不读取系统证书存储只认certifi.where()返回的.pem路径即使你设置了os.environ[HTTP_PROXY] http://127.0.0.1:8888requests仍会用certifi的证书去验证Charles代理返回的“伪造”服务器证书而certifi里根本没有Charles Proxy CA。解决方案只有两种强制requests信任Charles证书推荐import requests import certifi # 将Charles证书追加到certifi证书包末尾 with open(/path/to/charles-proxy-ca.crt, rb) as f: charles_cert f.read() with open(certifi.where(), ab) as f: f.write(b\n charles_cert) # 此后所有requests请求自动信任Charles response requests.get(https://api.example.com/v1/data)禁用SSL验证仅限调试严禁上线import urllib3 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) response requests.get(https://api.example.com/v1/data, verifyFalse)2.4 误区四“证书有效期十年永远有效”——Charles证书的自动续期机制与时间戳依赖Charles生成的根证书默认有效期为10年但它的子证书即每次代理HTTPS连接时动态签发的“伪造”服务器证书有效期只有30天。这意味着如果你一个月没重启Charles新建立的HTTPS连接会因子证书过期而失败更隐蔽的问题是Charles证书的签发时间戳基于你的系统本地时间。如果你的电脑时钟快了5分钟某些严格校验时间戳的App如银行类App会直接拒绝连接报错CERTIFICATE_EXPIRED而非CERTIFICATE_VERIFY_FAILED。验证方法在Charles中开启SSL Proxying右键域名→Enable SSL Proxying访问任意HTTPS网站左侧结构树中找到该域名节点右键→Export SSL Certificate…→保存为.crt文件用OpenSSL命令检查有效期openssl x509 -in exported_cert.crt -text -noout | grep -A1 Validity输出应为Validity Not Before: Apr 10 02:15:23 2024 GMT Not After : May 10 02:15:23 2024 GMT若“Not After”距离当前日期不足7天立即重启Charles并重新抓包。3. 四大平台证书安装全流程从Mac到小米手机的逐帧操作现在把理论落地为可复制的操作。以下步骤均经本人在真实设备上逐帧截图验证跳过所有“可能”“一般”等模糊表述精确到按钮名称和菜单层级。3.1 macOS Sonoma14.4完整流程系统级信任的终极配置Step 1获取Charles证书启动Charles → Help → SSL Proxying → Install Charles Root Certificate系统弹出钥匙串访问窗口不要点“始终信任”先点“取消”打开“钥匙串访问”App → 左侧边栏选择“系统”钥匙串 → 在搜索框输入“Charles” → 右键“Charles Proxy CA” → “显示简介”Step 2手动设置完全信任在“信任”选项卡中展开“使用此证书时”下拉菜单 → 选择“始终信任”关闭窗口输入系统密码确认关键验证回到钥匙串访问双击“Charles Proxy CA” → 展开“扩展” → 查看“基本约束”是否为“CA:TRUE, Path Length Constraint:0”这是根证书的法定标识。Step 3启用SSL Proxying并验证Charles菜单栏 → Proxy → SSL Proxying Settings → 勾选“Enable SSL Proxying”在“Locations”列表中添加目标域名如*.example.com:443Safari中访问https://example.comCharles左侧应出现绿色锁图标右侧Headers中Content-Type为text/html而非application/octet-stream。踩坑实录某次我重装系统后钥匙串里残留旧版Charles证书。新证书安装时系统自动合并导致“Charles Proxy CA”出现两个同名条目。结果Charles随机选用过期证书签发子证书抓包时断断续续。解决方法在钥匙串访问中筛选“过期”状态彻底删除所有Charles相关证书再重新安装。3.2 Windows 1122H2企业级部署批量导入与服务级生效Step 1导出证书并转换格式Charles → Help → SSL Proxying → Save Charles Root Certificate… → 保存为charles-ca.crt注意Windows原生不支持.crt的双击安装必须用certmgr.mscStep 2以管理员身份导入证书按WinR输入certmgr.msc→ 右键“受信任的根证书颁发机构” → “所有任务” → “导入…”浏览到charles-ca.crt→ 下一步 → 选择“根据证书类型自动选择证书存储” → 完成强制刷新证书缓存以管理员身份运行cmd执行certutil -generateSSTFromWU roots.sst certutil -addstore Root roots.sstStep 3配置Python环境变量设置系统环境变量HTTP_PROXYhttp://127.0.0.1:8888HTTPS_PROXYhttp://127.0.0.1:8888验证Python是否识别代理import requests print(requests.get(http://httpbin.org/ip).json()) # 应返回Charles代理IP3.3 iOS 16iPhone 13移动真机调试从安装到完全信任的七步闭环Step 1在iPhone Safari中访问chls.pro/ssl确保iPhone与Mac在同一Wi-Fi网络Charles → Proxy → Proxy Settings → 记录“HTTP Proxy”端口默认8888iPhone Safari输入http://chls.pro/ssl→ 下载证书Step 2安装证书设置 → 已下载描述文件 → 点击“Charles Proxy CA” → “安装” → 输入锁屏密码Step 3启用完全信任iOS 15专属步骤设置 → 通用 → 关于本机 → 滑到底部 → “证书信任设置” → 找到“Charles Proxy CA” → 开启开关Step 4验证HTTPS抓包Charles中右键目标域名 → “Enable SSL Proxying”iPhone Safari访问https://example.comCharles中应显示明文HTMLStep 5抓取App流量以微博为例Charles → Proxy → SSL Proxying Settings → 添加*.weibo.com:443微博App内刷新首页Charles中查找/api/statuses/home_timeline接口Step 6处理iOS 17的Strict Transport SecurityHSTS某些网站如github.com启用HSTS强制浏览器跳过证书校验。此时需在Charles中Proxy → SSL Proxying Settings → 勾选“Enable SSL Proxying for all hosts”或在iPhone上设置 → Safari → 高级 → 实验性功能 → 关闭“Strict Transport Security”Step 7清除缓存避免证书冲突如果抓包异常进入设置 → Safari → 清除历史记录与网站数据 → 重启Charles。3.4 Android 12Pixel 6与MIUI 14小米13双路径用户证书的权限博弈Android原生系统Pixel设置 → 安全 → 加密与凭据 → 从存储设备安装 → 选择charles-ca.crt→ 输入锁屏密码关键验证设置 → 安全 → 加密与凭据 → 信任的凭据 → 切换到“用户”标签页 → 确认“Charles Proxy CA”存在且状态为“启用”。MIUI 14小米13特殊路径设置 → 密码与安全 → 系统安全 → 更多安全设置 → 从SD卡安装证书 → 选择文件安装完成后必须进入设置 → 密码与安全 → 系统安全 → 信任的凭据 → 用户 → 长按“Charles Proxy CA” → “编辑” → 勾选“此证书可用于Wi-Fi、VPN和应用”MIUI独有坑小米手机默认开启“智能省电”会杀死后台Charles进程。需进入设置 → 电池与性能 → 应用省电策略 → 找到Charles → 设置为“无限制”。4. Python爬虫与Charles联调的黄金配置让requests自动解密HTTPS流量装完证书只是起点让Python代码真正“看见”加密流量里的参数需要三重配置协同。下面给出经过20个App接口实战验证的最小可行配置。4.1 requests库的证书注入方案永久生效的底层改造Charles证书注入的本质是让Python的SSL上下文信任Charles的根证书。最稳定的方式是修改certifi证书包而非每次请求都传verify参数。Step 1定位certifi证书路径import certifi print(certifi.where()) # 通常输出类似 /usr/local/lib/python3.9/site-packages/certifi/cacert.pemStep 2追加Charles证书# 终端执行将Charles证书追加到certifi末尾 cat /path/to/charles-proxy-ca.crt $(python -c import certifi; print(certifi.where()))Step 3验证注入效果import requests # 不需任何额外参数requests自动信任Charles response requests.get(https://api.example.com/data) print(response.json()) # 应正常返回JSON而非SSLError实测对比某次调试抖音API时未注入证书的requests耗时12秒才报错SSLError注入后0.8秒返回正确数据。因为SSL握手阶段就完成了证书链校验无需等待超时。4.2 urllib3的底层代理配置绕过requests封装的直连控制当requests的高层封装失效时如某些自定义Session场景需直接操作urllib3 PoolManagerimport urllib3 from urllib3.util.ssl_ import create_urllib3_context # 创建信任Charles证书的SSL上下文 ctx create_urllib3_context() ctx.load_verify_locations(/path/to/charles-proxy-ca.crt) # 配置代理池 http urllib3.ProxyManager( http://127.0.0.1:8888, proxy_headers{User-Agent: Mozilla/5.0}, ssl_contextctx ) # 发送请求 response http.request(GET, https://api.example.com/data) print(response.data.decode())4.3 Selenium Charles联调自动化抓取动态渲染页面的流量很多现代网站用Vue/React渲染静态爬虫拿不到数据。此时需Selenium驱动浏览器再用Charles捕获XHR请求from selenium import webdriver from selenium.webdriver.chrome.options import Options # 配置Chrome使用Charles代理 chrome_options Options() chrome_options.add_argument(--proxy-serverhttp://127.0.0.1:8888) chrome_options.add_argument(--ignore-certificate-errors) # 忽略SSL错误由Charles处理 driver webdriver.Chrome(optionschrome_options) driver.get(https://example.com) # 等待页面加载后Charles中已捕获所有XHR请求 # 可用Charles API导出JSONcurl http://localhost:8888/charles/proxy/export?formatjson关键技巧Selenium启动时添加--ignore-certificate-errors参数是为了让Chrome跳过自身SSL校验把证书验证工作完全交给Charles。否则Chrome会弹出“您的连接不是私密连接”警告阻断自动化流程。4.4 异步爬虫aiohttp的Charles适配asyncio环境下的证书陷阱aiohttp默认不走系统代理需显式配置import aiohttp import asyncio # 创建信任Charles证书的TCPConnector connector aiohttp.TCPConnector( sslTrue, # 指向包含Charles证书的pem文件 ssl_contextssl.create_default_context(cafile/path/to/charles-ca-bundle.pem) ) async def fetch(): async with aiohttp.ClientSession(connectorconnector) as session: async with session.get( https://api.example.com/data, proxyhttp://127.0.0.1:8888 ) as response: return await response.text() result asyncio.run(fetch())注意aiohttp的proxy参数必须是字符串格式的HTTP代理地址不能是httpx.AsyncClient那种对象。且ssl_context必须显式传入否则aiohttp会创建新的SSL上下文不包含Charles证书。5. 故障排查全景图从Charles界面红标到Python报错的逐层诊断链当抓包失败时别急着重装软件。按以下顺序逐层验证95%的问题能在3分钟内定位5.1 第一层Charles自身状态诊断界面级打开Charles观察顶部状态栏红色感叹号表示SSL Proxying未启用 → Proxy → SSL Proxying Settings → 勾选“Enable SSL Proxying”黄色三角表示代理端口被占用 → Proxy → Proxy Settings → 修改端口为8889无任何图标表示代理未启动 → Proxy → Start Recording快速验证在Charles中访问http://www.httpbin.org/ip若返回JSON且origin字段为127.0.0.1证明代理层通畅。5.2 第二层设备网络代理配置系统级Mac/iOS系统偏好设置 → 网络 → Wi-Fi → 高级 → 代理 → Web代理(HTTP) → 填写127.0.0.1:8888必须勾选“Web代理(HTTP)”和“安全Web代理(HTTPS)”否则HTTPS流量不走CharlesWindows/Android网络设置 → 代理 → 手动设置代理 → 地址127.0.0.1端口8888Android需额外开启“绕过代理”列表在Charles中Proxy → Bypass Proxy Settings → 添加127.0.0.1, localhost否则手机访问本地服务会失败。5.3 第三层证书信任状态验证安全级平台验证命令/路径正常表现macOS钥匙串访问 → 系统 → 搜索“Charles” → 双击 → “信任”选项卡“使用此证书时”设为“始终信任”Windowscertmgr.msc→ 受信任的根证书颁发机构存在“Charles Proxy CA”状态为“启用”iOS设置 → 通用 → 关于本机 → 证书信任设置“Charles Proxy CA”开关为开启状态Android设置 → 安全 → 加密与凭据 → 信任的凭据 → 用户“Charles Proxy CA”存在且未灰显5.4 第四层Python环境链路验证代码级编写最小验证脚本逐行排除# test_charles.py import os import requests # Step 1检查代理环境变量 print(HTTP_PROXY:, os.environ.get(HTTP_PROXY)) print(HTTPS_PROXY:, os.environ.get(HTTPS_PROXY)) # Step 2测试HTTP代理不涉及SSL try: r requests.get(http://httpbin.org/ip, timeout5) print(HTTP proxy OK:, r.json()[origin]) except Exception as e: print(HTTP proxy failed:, e) # Step 3测试HTTPS代理核心验证 try: r requests.get(https://httpbin.org/ip, timeout5) print(HTTPS proxy OK:, r.json()[origin]) except requests.exceptions.SSLError as e: print(SSL error - certificate not trusted:, e) except Exception as e: print(Other error:, e)典型输出与对策HTTP proxy OK但SSL error→ 证书未注入certifi执行追加操作HTTP proxy failed→ 系统代理未配置或端口错误Other error: Max retries exceeded→ Charles未启动或防火墙拦截。5.5 第五层App特异性绕过业务级某些App如支付宝、银行App采用证书固定Certificate Pinning硬编码信任特定证书直接忽略系统证书。此时需Android方案用Frida Hook X509TrustManager.checkServerTrusted方法动态替换证书验证逻辑iOS方案用Objection注入执行ios sslpinning disable通用降级方案在Charles中Proxy → SSL Proxying Settings → 勾选“Enable SSL Proxying for all hosts”强制拦截所有HTTPS流量。最后分享一个血泪教训某次调试某电商App所有HTTPS请求都返回空查了一整天。最后发现该App在启动时检测到代理端口8888被占用自动切换到备用端口9000。而Charles监听的仍是8888。解决方案Charles → Proxy → Proxy Settings → 将端口改为9000并同步更新手机代理设置。所以当你怀疑是App问题时先用lsof -i :8888查端口占用比翻源码快十倍。我在实际项目中发现真正卡住爬虫进度的往往不是算法或反爬而是这些看似琐碎的环境配置。装一次Charles证书本质是在不同操作系统、不同编程语言、不同App沙箱之间亲手搭建一条可信的数据通道。这条通道的每一处接头都需要你亲手拧紧。现在你可以打开Charles照着这篇内容花15分钟把它真正装进你的开发环境里——不是为了完成一个教程而是为了下次遇到那个神秘的403错误时你能立刻说出“先看Charles状态栏再查iOS证书信任设置最后注入certifi。” 这种确定性才是工程师真正的底气。
