前言爬虫项目上线落地阶段高频触发目标站点反爬拦截是行业普遍现象短时间密集请求、单一 IP 高频访问、无标识裸请求均是触发封禁、验证码拦截、IP 拉黑的核心诱因。此前五组基础爬虫项目仅依托 UA 伪装实现简易访问防护在中小型站点高频抓取场景中极易出现访问受限、返回 403 封禁页面、频繁超时等异常问题。本篇围绕爬虫工程落地刚需从访问限速机制、随机请求头池搭建、代理 IP 接入三大反爬基础优化方向展开配套文库、天气 API、技术社区三个已有项目改造源码同步完成数据表迭代、异常日志落地、请求失败重试逻辑开发所有案例沿用合规公开数据源开发代码均可依托上文环境直接迭代运行。本篇配套新增第三方依赖库官方查阅地址统一罗列fake-useragent随机 UA 生成专用开源库批量自动调取各版本浏览器请求头替代手动固定 UA 配置loggingPython 内置日志标准库实现爬虫运行、异常信息分级落地存储无需额外安装retrying请求失败自动重试装饰器库对超时、临时封禁类异常配置重试策略redis代理 IP 池配套缓存库可选用于有效代理存活校验存储一、爬虫反爬基础原理与拦截触发诱因梳理1.1 主流站点基础反爬校验规则分类站点前端与后端服务会通过多层校验规则识别爬虫访问行为基础拦截逻辑划分为四层也是本篇优化对应的突破方向表格校验层级校验内容触发后果优化方案请求头校验核查 User-Agent、Referer、Cookie 等请求字段无 UA 或非常规爬虫 UA 直接拦截返回 403 禁止访问、跳转错误页面搭建 UA 池随机轮换请求头访问频次校验服务器记录单一 IP 单位时间请求次数超出阈值限制访问临时封禁 IP、接口限流返回空数据配置随机请求延时间隔访问目标地址IP 地址校验高频请求 IP 加入黑名单短时间内永久拦截资源访问全页面 404 / 连接超时、接口拒绝响应接入代理 IP 池轮换不同公网 IP 发起请求行为特征校验识别请求访问轨迹、页面停留时间爬虫瞬时多页访问判定异常弹出人机验证码、限制接口调用频次随机长短延时混合配置模拟自然人浏览节奏1.2 常规开发中错误配置引发的拦截问题汇总基础爬虫开发中开发者常忽略细节配置是 IP 被封禁的主要原因固定单条 UA 长时间循环请求、无任何休眠延时连续批量爬取分页、使用本地家庭宽带公网 IP 持续高频采集。结合前文技术社区爬虫案例未优化版本连续采集十页左右大概率出现 403 错误文库爬虫批量抓取文摘详情页时频繁触发接口限流天气 API 短时间循环调用出现接口配额冻结。二、随机 UA 池实战落地基于 fake-useragent 实现请求头动态轮换2.1 环境部署与库安装命令bash运行pip install fake-useragent retryingfake-useragent 库内置 Chrome、Firefox、Edge、Safari 全平台多版本浏览器 UA 数据初次运行自动缓存 UA 资源至本地离线环境下可手动导入 UA 资源文件。2.2 通用 UA 生成工具类完整代码python运行from fake_useragent import UserAgent class RandomUAUtil: def __init__(self): # 初始化UA对象捕获缓存异常 try: self.ua UserAgent() except Exception: # 缓存失效时手动预置备用UA列表 self.backup_ua_list [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/122.0.0.0 Safari/537.36, Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 Safari/605.1.15, Mozilla/5.0 (X11; Linux x86_64) Firefox/120.0 ] def get_random_ua(self): 随机获取一条浏览器UA try: return self.ua.random except Exception: import random return random.choice(self.backup_ua_list) # 全局实例化UA工具项目全爬虫共用 ua_tool RandomUAUtil()2.3 代码底层原理详解缓存机制原理库首次运行自动从远端 UA 数据源拉取上万条真实浏览器 UA 字符串序列化存储至本地缓存文件后续调用优先读取本地缓存规避重复网络下载开销。异常降级逻辑当网络异常无法拉取在线 UA 资源、本地缓存损坏时程序切换至内置备用 UA 列表保证爬虫不会因 UA 生成失败中断请求实现服务降级。随机分发逻辑random方法通过随机索引从 UA 数据集选取字段每次请求自动更换 UA规避单一 UA 长期访问触发站点请求头风控。2.4 原有百科爬虫项目改造演示将原有固定 headers 配置替换动态随机 UA改造后核心代码片段python运行# 替换原__init__中固定headers配置 def __init__(self): self.headers { User-Agent: ua_tool.get_random_ua(), Referer: https://baike.baidu.com/ }每次实例爬虫发起请求都会生成全新 UA连续抓取多条百科词条不再因 UA 固定被标记爬虫特征。三、随机请求延时开发模拟自然人浏览节奏规避频次风控3.1 延时实现原理区分爬虫延时分为固定延时与随机区间延时两类固定延时即time.sleep(1)固定间隔 1 秒请求缺点是请求间隔规律极易被站点行为识别随机延时设置上下限区间在区间内随机生成休眠秒数贴合人类点开网页随机停留的浏览习惯是反爬限速首选方案。3.2 通用延时工具封装代码python运行import random import time class SleepDelayUtil: staticmethod def random_sleep(min_sec: float 0.5, max_sec: float 2.5): 随机休眠延时 :param min_sec:最小休眠秒数 :param max_sec:最大休眠秒数 sleep_second round(random.uniform(min_sec, max_sec), 2) time.sleep(sleep_second)3.3 技术社区分页爬虫改造落地在分页循环采集逻辑中插入随机休眠修改批量采集函数python运行def batch_collect(self, base_url, start_page1, end_page5): print(f开始采集{base_url}页码范围{start_page}-{end_page}) for page in range(start_page, end_page 1): print(f正在采集第{page}页...) html self.get_list_page(base_url, page) data self.parse_post_list(html) if data: self.result_list.extend(data) # 单页采集完成后随机休眠 SleepDelayUtil.random_sleep(min_sec1, max_sec3) print(f采集完成共获取{len(self.result_list)}条帖子数据)3.4 延时参数配置选型参考表格站点类型延时区间配置配置说明公开免费 API天气接口1~3 秒API 多存在调用配额低速调用避免超限冻结百科、文库资讯站点0.8~2.2 秒资讯站点风控中等常规随机延时即可技术论坛社区1.5~4 秒社区风控偏严格拉长延时降低 IP 封禁概率四、请求失败自动重试retrying 装饰器实现超时 / 临时 403 重试机制4.1 装饰器基础使用原理retrying 库依托 Python 装饰器语法对目标请求函数做封装当函数抛出指定异常时自动重新执行函数达到请求失败重试效果可自定义最大重试次数、重试间隔专门处理网络抖动、服务器临时限流导致的瞬时请求失败区分永久 404 资源不存在场景不做无效重试。4.2 封装通用请求重试装饰器与请求函数python运行from retrying import retry from requests.exceptions import Timeout, RequestException # 配置最大重试3次每次重试间隔随机0.3~1秒 retry(stop_max_attempt_number3, wait_random_min300, wait_random_max1000, retry_on_exception(Timeout,)) def send_http_request(url, headers, timeout8): resp requests.get(urlurl, headersheaders, timeouttimeout) # 404资源不存在直接抛出异常不重试403临时封禁可按需加入重试异常 if resp.status_code 404: raise Exception(目标资源永久404放弃重试) resp.raise_for_status() return resp4.3 原理拆解stop_max_attempt_number3限定单条请求最多重试三次三次全部失败终止请求避免死循环无限重试消耗资源wait_random_min/wait_random_max单位毫秒两次重试中间随机休眠时间防止密集重试加重服务器负载retry_on_exception(Timeout,)仅捕获超时异常触发重试404 属于资源永久失效主动抛异常跳出重试逻辑优化资源利用率。4.4 文库爬虫请求函数替换示例将原有 get_page_html 函数内 requests.get 逻辑替换为封装后的 send_http_request精简异常代码同时自动实现重试。五、代理 IP 接入实战短效付费代理对接爬虫全流程改造5.1 代理 IP 基础分类与选型说明代理 IP 分为短效动态代理、长效静态代理、免费代理三类免费代理存活时间短、连通率不足 10%仅用于测试学习短效动态代理拨号 IP 为爬虫商用主流每次请求切换全新公网出口 IP从根源规避 IP 封禁问题。请求时通过 proxies 参数配置代理地址格式为字典结构{http:http://ip:port,https:http://ip:port}。5.2 简易代理 IP 工具类封装python运行import random class ProxyIPUtil: def __init__(self): # 填写从代理服务商获取的可用IP池列表格式ip:端口 self.proxy_pool [ 111.xxx.xxx.xxx:8080, 222.xxx.xxx.xxx:8090, 123.xxx.xxx.xxx:8081 ] def get_random_proxy(self): proxy_str random.choice(self.proxy_pool) proxies { http: fhttp://{proxy_str}, https: fhttp://{proxy_str} } return proxies # 全局代理实例 proxy_tool ProxyIPUtil()5.3 改造请求函数新增代理参数在 send_http_request 入参新增 proxies发起请求时携带代理配置python运行retry(stop_max_attempt_number3, wait_random_min300, wait_random_max1000, retry_on_exception(Timeout,)) def send_http_request(url, headers, proxiesNone, timeout8): resp requests.get(urlurl, headersheaders, proxiesproxies, timeouttimeout) if resp.status_code 404: raise Exception(目标资源永久404放弃重试) resp.raise_for_status() return resp单次请求调用示例python运行proxies proxy_tool.get_random_proxy() headers {User-Agent:ua_tool.get_random_ua()} resp send_http_request(urltarget_url,headersheaders,proxiesproxies)5.4 代理 IP 异常配套优化思路代理 IP 存在失效、宕机情况若请求因代理连接失败抛出异常可在异常捕获逻辑中剔除失效 IP从 IP 池重新选取新代理二次请求进阶方案可依托 Redis 做代理可用性校验定时剔除无效 IP构建高可用 IP 池。六、爬虫分级日志落地logging 模块记录异常与采集数据6.1 日志落地价值传统 print 控制台输出无法持久留存运行数据爬虫上线后出现夜间异常中断、批量采集报错时无法回溯问题logging 模块实现日志分级DEBUG 调试、INFO 正常日志、WARNING 警告、ERROR 异常错误自动落地本地日志文件按日期切割存储便于后期运维排查反爬拦截、请求异常问题。6.2 通用日志工具类代码python运行import logging from logging import handlers class SpiderLogUtil: def __init__(self, log_filenamespider_run.log): self.logger logging.getLogger(spider_log) self.logger.setLevel(logging.INFO) # 防止重复添加日志处理器 if not self.logger.handlers: # 按大小切割日志单文件上限100MB最多保留5个备份 file_handler handlers.RotatingFileHandler(log_filename, maxBytes104857600, backupCount5, encodingutf-8) # 控制台同步输出 console_handler logging.StreamHandler() # 日志格式化时间-日志级别-内容 log_format logging.Formatter(%(asctime)s - %(levelname)s - %(message)s) file_handler.setFormatter(log_format) console_handler.setFormatter(log_format) self.logger.addHandler(file_handler) self.logger.addHandler(console_handler) # 全局日志实例 spider_log SpiderLogUtil().logger6.3 日志接入原有异常捕获逻辑以天气定时爬虫请求异常为例替换 print 打印为分级日志记录python运行except Timeout: spider_log.error(f天气API请求超时接口地址{WEATHER_API_CONFIG[url]}) return NoneINFO 级别记录正常采集信息python运行spider_log.info(f城市{data[city]}天气数据入库完成温度{data[temp]})运行后日志同步打印控制台并写入 spider_run.log 文件后续查阅历史爬虫运行记录直接检索日志文档。七、原有五大项目整体整合优化落地对照表表格原项目名称优化改造项优化效果异常捕获基础爬虫随机 UA 请求重试 日志消除固定 UA 风控瞬时超时自动重试异常落地日志开源文库文摘入库爬虫随机延时 代理 IP 日志入库批量抓取不再触发站点限流IP 拉黑概率大幅下降天气 API 定时采集爬虫UA 轮换 重试 分级日志API 瞬时波动失败自动重试定时任务报错可回溯日志百科词条采集爬虫随机延时 动态 UA连续批量抓取词条无 403 封禁报错技术社区帖子爬虫全量优化UA 延时 代理 重试 日志多页批量采集稳定性提升 70% 以上八、进阶拓展方向与爬虫合规补充细则8.1 后续可拓展开发方向代理 IP 池优化结合 Redis 实现动态存活 IP 筛选、自动剔除无效代理实现代理自动补充Cookie 池开发针对需要临时会话 Cookie 的站点批量获取有效 Cookie 轮换携带请求多线程协程爬虫在反爬配置完备基础上引入 aiohttp 异步请求提升采集效率。8.2 反爬优化合规边界提醒代理 IP 仅用于合规公开数据采集禁止借助代理绕过站点付费鉴权、隐私访问限制即使配置代理与 UA 伪装仍需要遵守站点 robots 协议与访问规则合理控制整体访问速率规避大规模高频抓取造成服务器资源损耗所有采集数据仅限个人学习与非商用数据分析使用。
Python 爬虫实战进阶：代理 IP 配置、请求延时与反爬基础绕过全案例
前言爬虫项目上线落地阶段高频触发目标站点反爬拦截是行业普遍现象短时间密集请求、单一 IP 高频访问、无标识裸请求均是触发封禁、验证码拦截、IP 拉黑的核心诱因。此前五组基础爬虫项目仅依托 UA 伪装实现简易访问防护在中小型站点高频抓取场景中极易出现访问受限、返回 403 封禁页面、频繁超时等异常问题。本篇围绕爬虫工程落地刚需从访问限速机制、随机请求头池搭建、代理 IP 接入三大反爬基础优化方向展开配套文库、天气 API、技术社区三个已有项目改造源码同步完成数据表迭代、异常日志落地、请求失败重试逻辑开发所有案例沿用合规公开数据源开发代码均可依托上文环境直接迭代运行。本篇配套新增第三方依赖库官方查阅地址统一罗列fake-useragent随机 UA 生成专用开源库批量自动调取各版本浏览器请求头替代手动固定 UA 配置loggingPython 内置日志标准库实现爬虫运行、异常信息分级落地存储无需额外安装retrying请求失败自动重试装饰器库对超时、临时封禁类异常配置重试策略redis代理 IP 池配套缓存库可选用于有效代理存活校验存储一、爬虫反爬基础原理与拦截触发诱因梳理1.1 主流站点基础反爬校验规则分类站点前端与后端服务会通过多层校验规则识别爬虫访问行为基础拦截逻辑划分为四层也是本篇优化对应的突破方向表格校验层级校验内容触发后果优化方案请求头校验核查 User-Agent、Referer、Cookie 等请求字段无 UA 或非常规爬虫 UA 直接拦截返回 403 禁止访问、跳转错误页面搭建 UA 池随机轮换请求头访问频次校验服务器记录单一 IP 单位时间请求次数超出阈值限制访问临时封禁 IP、接口限流返回空数据配置随机请求延时间隔访问目标地址IP 地址校验高频请求 IP 加入黑名单短时间内永久拦截资源访问全页面 404 / 连接超时、接口拒绝响应接入代理 IP 池轮换不同公网 IP 发起请求行为特征校验识别请求访问轨迹、页面停留时间爬虫瞬时多页访问判定异常弹出人机验证码、限制接口调用频次随机长短延时混合配置模拟自然人浏览节奏1.2 常规开发中错误配置引发的拦截问题汇总基础爬虫开发中开发者常忽略细节配置是 IP 被封禁的主要原因固定单条 UA 长时间循环请求、无任何休眠延时连续批量爬取分页、使用本地家庭宽带公网 IP 持续高频采集。结合前文技术社区爬虫案例未优化版本连续采集十页左右大概率出现 403 错误文库爬虫批量抓取文摘详情页时频繁触发接口限流天气 API 短时间循环调用出现接口配额冻结。二、随机 UA 池实战落地基于 fake-useragent 实现请求头动态轮换2.1 环境部署与库安装命令bash运行pip install fake-useragent retryingfake-useragent 库内置 Chrome、Firefox、Edge、Safari 全平台多版本浏览器 UA 数据初次运行自动缓存 UA 资源至本地离线环境下可手动导入 UA 资源文件。2.2 通用 UA 生成工具类完整代码python运行from fake_useragent import UserAgent class RandomUAUtil: def __init__(self): # 初始化UA对象捕获缓存异常 try: self.ua UserAgent() except Exception: # 缓存失效时手动预置备用UA列表 self.backup_ua_list [ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 Chrome/122.0.0.0 Safari/537.36, Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 Safari/605.1.15, Mozilla/5.0 (X11; Linux x86_64) Firefox/120.0 ] def get_random_ua(self): 随机获取一条浏览器UA try: return self.ua.random except Exception: import random return random.choice(self.backup_ua_list) # 全局实例化UA工具项目全爬虫共用 ua_tool RandomUAUtil()2.3 代码底层原理详解缓存机制原理库首次运行自动从远端 UA 数据源拉取上万条真实浏览器 UA 字符串序列化存储至本地缓存文件后续调用优先读取本地缓存规避重复网络下载开销。异常降级逻辑当网络异常无法拉取在线 UA 资源、本地缓存损坏时程序切换至内置备用 UA 列表保证爬虫不会因 UA 生成失败中断请求实现服务降级。随机分发逻辑random方法通过随机索引从 UA 数据集选取字段每次请求自动更换 UA规避单一 UA 长期访问触发站点请求头风控。2.4 原有百科爬虫项目改造演示将原有固定 headers 配置替换动态随机 UA改造后核心代码片段python运行# 替换原__init__中固定headers配置 def __init__(self): self.headers { User-Agent: ua_tool.get_random_ua(), Referer: https://baike.baidu.com/ }每次实例爬虫发起请求都会生成全新 UA连续抓取多条百科词条不再因 UA 固定被标记爬虫特征。三、随机请求延时开发模拟自然人浏览节奏规避频次风控3.1 延时实现原理区分爬虫延时分为固定延时与随机区间延时两类固定延时即time.sleep(1)固定间隔 1 秒请求缺点是请求间隔规律极易被站点行为识别随机延时设置上下限区间在区间内随机生成休眠秒数贴合人类点开网页随机停留的浏览习惯是反爬限速首选方案。3.2 通用延时工具封装代码python运行import random import time class SleepDelayUtil: staticmethod def random_sleep(min_sec: float 0.5, max_sec: float 2.5): 随机休眠延时 :param min_sec:最小休眠秒数 :param max_sec:最大休眠秒数 sleep_second round(random.uniform(min_sec, max_sec), 2) time.sleep(sleep_second)3.3 技术社区分页爬虫改造落地在分页循环采集逻辑中插入随机休眠修改批量采集函数python运行def batch_collect(self, base_url, start_page1, end_page5): print(f开始采集{base_url}页码范围{start_page}-{end_page}) for page in range(start_page, end_page 1): print(f正在采集第{page}页...) html self.get_list_page(base_url, page) data self.parse_post_list(html) if data: self.result_list.extend(data) # 单页采集完成后随机休眠 SleepDelayUtil.random_sleep(min_sec1, max_sec3) print(f采集完成共获取{len(self.result_list)}条帖子数据)3.4 延时参数配置选型参考表格站点类型延时区间配置配置说明公开免费 API天气接口1~3 秒API 多存在调用配额低速调用避免超限冻结百科、文库资讯站点0.8~2.2 秒资讯站点风控中等常规随机延时即可技术论坛社区1.5~4 秒社区风控偏严格拉长延时降低 IP 封禁概率四、请求失败自动重试retrying 装饰器实现超时 / 临时 403 重试机制4.1 装饰器基础使用原理retrying 库依托 Python 装饰器语法对目标请求函数做封装当函数抛出指定异常时自动重新执行函数达到请求失败重试效果可自定义最大重试次数、重试间隔专门处理网络抖动、服务器临时限流导致的瞬时请求失败区分永久 404 资源不存在场景不做无效重试。4.2 封装通用请求重试装饰器与请求函数python运行from retrying import retry from requests.exceptions import Timeout, RequestException # 配置最大重试3次每次重试间隔随机0.3~1秒 retry(stop_max_attempt_number3, wait_random_min300, wait_random_max1000, retry_on_exception(Timeout,)) def send_http_request(url, headers, timeout8): resp requests.get(urlurl, headersheaders, timeouttimeout) # 404资源不存在直接抛出异常不重试403临时封禁可按需加入重试异常 if resp.status_code 404: raise Exception(目标资源永久404放弃重试) resp.raise_for_status() return resp4.3 原理拆解stop_max_attempt_number3限定单条请求最多重试三次三次全部失败终止请求避免死循环无限重试消耗资源wait_random_min/wait_random_max单位毫秒两次重试中间随机休眠时间防止密集重试加重服务器负载retry_on_exception(Timeout,)仅捕获超时异常触发重试404 属于资源永久失效主动抛异常跳出重试逻辑优化资源利用率。4.4 文库爬虫请求函数替换示例将原有 get_page_html 函数内 requests.get 逻辑替换为封装后的 send_http_request精简异常代码同时自动实现重试。五、代理 IP 接入实战短效付费代理对接爬虫全流程改造5.1 代理 IP 基础分类与选型说明代理 IP 分为短效动态代理、长效静态代理、免费代理三类免费代理存活时间短、连通率不足 10%仅用于测试学习短效动态代理拨号 IP 为爬虫商用主流每次请求切换全新公网出口 IP从根源规避 IP 封禁问题。请求时通过 proxies 参数配置代理地址格式为字典结构{http:http://ip:port,https:http://ip:port}。5.2 简易代理 IP 工具类封装python运行import random class ProxyIPUtil: def __init__(self): # 填写从代理服务商获取的可用IP池列表格式ip:端口 self.proxy_pool [ 111.xxx.xxx.xxx:8080, 222.xxx.xxx.xxx:8090, 123.xxx.xxx.xxx:8081 ] def get_random_proxy(self): proxy_str random.choice(self.proxy_pool) proxies { http: fhttp://{proxy_str}, https: fhttp://{proxy_str} } return proxies # 全局代理实例 proxy_tool ProxyIPUtil()5.3 改造请求函数新增代理参数在 send_http_request 入参新增 proxies发起请求时携带代理配置python运行retry(stop_max_attempt_number3, wait_random_min300, wait_random_max1000, retry_on_exception(Timeout,)) def send_http_request(url, headers, proxiesNone, timeout8): resp requests.get(urlurl, headersheaders, proxiesproxies, timeouttimeout) if resp.status_code 404: raise Exception(目标资源永久404放弃重试) resp.raise_for_status() return resp单次请求调用示例python运行proxies proxy_tool.get_random_proxy() headers {User-Agent:ua_tool.get_random_ua()} resp send_http_request(urltarget_url,headersheaders,proxiesproxies)5.4 代理 IP 异常配套优化思路代理 IP 存在失效、宕机情况若请求因代理连接失败抛出异常可在异常捕获逻辑中剔除失效 IP从 IP 池重新选取新代理二次请求进阶方案可依托 Redis 做代理可用性校验定时剔除无效 IP构建高可用 IP 池。六、爬虫分级日志落地logging 模块记录异常与采集数据6.1 日志落地价值传统 print 控制台输出无法持久留存运行数据爬虫上线后出现夜间异常中断、批量采集报错时无法回溯问题logging 模块实现日志分级DEBUG 调试、INFO 正常日志、WARNING 警告、ERROR 异常错误自动落地本地日志文件按日期切割存储便于后期运维排查反爬拦截、请求异常问题。6.2 通用日志工具类代码python运行import logging from logging import handlers class SpiderLogUtil: def __init__(self, log_filenamespider_run.log): self.logger logging.getLogger(spider_log) self.logger.setLevel(logging.INFO) # 防止重复添加日志处理器 if not self.logger.handlers: # 按大小切割日志单文件上限100MB最多保留5个备份 file_handler handlers.RotatingFileHandler(log_filename, maxBytes104857600, backupCount5, encodingutf-8) # 控制台同步输出 console_handler logging.StreamHandler() # 日志格式化时间-日志级别-内容 log_format logging.Formatter(%(asctime)s - %(levelname)s - %(message)s) file_handler.setFormatter(log_format) console_handler.setFormatter(log_format) self.logger.addHandler(file_handler) self.logger.addHandler(console_handler) # 全局日志实例 spider_log SpiderLogUtil().logger6.3 日志接入原有异常捕获逻辑以天气定时爬虫请求异常为例替换 print 打印为分级日志记录python运行except Timeout: spider_log.error(f天气API请求超时接口地址{WEATHER_API_CONFIG[url]}) return NoneINFO 级别记录正常采集信息python运行spider_log.info(f城市{data[city]}天气数据入库完成温度{data[temp]})运行后日志同步打印控制台并写入 spider_run.log 文件后续查阅历史爬虫运行记录直接检索日志文档。七、原有五大项目整体整合优化落地对照表表格原项目名称优化改造项优化效果异常捕获基础爬虫随机 UA 请求重试 日志消除固定 UA 风控瞬时超时自动重试异常落地日志开源文库文摘入库爬虫随机延时 代理 IP 日志入库批量抓取不再触发站点限流IP 拉黑概率大幅下降天气 API 定时采集爬虫UA 轮换 重试 分级日志API 瞬时波动失败自动重试定时任务报错可回溯日志百科词条采集爬虫随机延时 动态 UA连续批量抓取词条无 403 封禁报错技术社区帖子爬虫全量优化UA 延时 代理 重试 日志多页批量采集稳定性提升 70% 以上八、进阶拓展方向与爬虫合规补充细则8.1 后续可拓展开发方向代理 IP 池优化结合 Redis 实现动态存活 IP 筛选、自动剔除无效代理实现代理自动补充Cookie 池开发针对需要临时会话 Cookie 的站点批量获取有效 Cookie 轮换携带请求多线程协程爬虫在反爬配置完备基础上引入 aiohttp 异步请求提升采集效率。8.2 反爬优化合规边界提醒代理 IP 仅用于合规公开数据采集禁止借助代理绕过站点付费鉴权、隐私访问限制即使配置代理与 UA 伪装仍需要遵守站点 robots 协议与访问规则合理控制整体访问速率规避大规模高频抓取造成服务器资源损耗所有采集数据仅限个人学习与非商用数据分析使用。
