前言工业级爬虫长期 7×24 小时不间断运行于服务器、容器集群环境中天然面临网络抖动、接口规则变更、反爬策略封禁、数据库连接中断、内存溢出、程序逻辑报错、服务器资源超限等各类突发异常。普通爬虫一旦触发错误即直接崩溃终止依赖人工登录服务器重启、排查日志、修复代码运维成本极高且存在数据采集断层、业务流程中断等严重问题。工业级爬虫异常自愈机制核心是通过分层异常捕获、自动重试降级、断点续爬恢复、进程自动重启、资源阈值管控、故障分级告警、规则动态适配整套体系让爬虫在无人工干预前提下自动识别异常、修复异常、恢复业务运行从被动报错终止升级为主动感知、自我修复、持续稳态运行是爬虫从脚本级迈入企业工业级架构的核心刚需能力。本文实战依赖的核心库与工具官方链接Python 官方环境Loguru 结构化日志库APScheduler 定时任务调度Redis 断点与状态存储tenacity 专业重试框架psutil 服务器资源监控库DingTalk SDK 告警推送一、工业级爬虫异常分类与自愈设计目标1.1 爬虫运行全链路异常类型梳理1.1.1 网络层异常网络超时、连接拒绝、DNS 解析失败、SSL 证书错误、跨区域网络波动、代理 IP 失效封禁、请求连接被重置。1.1.2 业务接口层异常接口 403 封禁、404 接口下线、50x 服务器错误、参数签名失效、Token 过期、页面结构变更导致解析节点缺失。1.1.3 数据存储层异常MySQL/Redis 连接断开、连接池耗尽、写入超时、主键重复、字段格式不匹配、事务回滚失败。1.1.4 系统资源层异常CPU 占用过高、内存泄漏溢出、磁盘空间不足、文件句柄耗尽、服务器负载超标导致进程卡顿卡死。1.1.5 程序逻辑层异常数组越界、空指针调用、类型转换错误、循环死锁、递归深度溢出、第三方库版本兼容报错。1.2 自愈机制核心设计目标异常全覆盖覆盖网络、接口、存储、资源、逻辑五大类所有常见报错场景分级自愈策略轻度异常自动重试、中度异常降级运行、重度异常重启进程、致命异常触发告警断点续爬恢复中断后自动记录进度重启后从断点接续采集不重复、不遗漏资源自动管控监控 CPU、内存、磁盘超限自动限流、释放资源、重启进程无感知故障修复小故障全程静默自愈不中断整体采集任务故障可追溯日志分级记录异常堆栈、触发时间、自愈动作便于后期规则迭代优化。1.3 普通异常处理与工业级自愈机制对比表格对比维度普通 try-except 异常捕获工业级爬虫异常自愈机制处理范围仅捕获局部代码已知异常全链路覆盖网络、接口、存储、资源、逻辑所有异常处理动作打印错误、终止程序或跳过单次任务重试、降级、断点续爬、释放资源、进程重启多策略联动任务连续性异常后任务直接中断自愈后自动接续任务保证采集不中断资源感知无任何系统资源监控实时监控 CPU / 内存 / 磁盘超限自动防护告警机制无告警或简单打印日志分级告警仅致命故障推送通知避免告警轰炸运维依赖每次异常均需人工介入重启绝大多数故障自动自愈长期无人值守可扩展性硬编码异常判断难以扩展策略化配置新增异常类型直接接入自愈规则二、核心依赖安装与基础日志底座搭建2.1 批量安装自愈机制必备依赖库bash运行pip install loguru tenacity psutil redis requests dingtalk-sdk2.2 全局结构化日志封装自愈必备追溯底座自愈机制依赖完整日志判断异常类型、记录自愈行为、留存故障堆栈采用 Loguru 搭建工业级日志体系。python运行from loguru import logger import os # 创建日志目录 LOG_BASE ./spider_self_heal_log os.makedirs(LOG_BASE, exist_okTrue) # 移除默认处理器 logger.remove() # 全量运行日志按天分割、保留7天、自动压缩 logger.add( os.path.join(LOG_BASE, spider_run_{time:YYYY-MM-DD}.log), format{time:YYYY-MM-DD HH:mm:ss} | {level} | {name}:{function}:{line} | {message}, rotation00:00, retention7 days, compressionzip, levelINFO, encodingutf-8 ) # 单独异常错误日志保留15天留存完整堆栈 logger.add( os.path.join(LOG_BASE, spider_error_{time:YYYY-MM-DD}.log), format{time:YYYY-MM-DD HH:mm:ss} | {level} | {name}:{function}:{line} | {message}, rotation00:00, retention15 days, levelERROR, encodingutf-8 ) # 自愈行为专项日志 logger.add( os.path.join(LOG_BASE, spider_heal_{time:YYYY-MM-DD}.log), format{time:YYYY-MM-DD HH:mm:ss} | {level} | 自愈行为{message}, rotation00:00, retention30 days, levelINFO, encodingutf-8 ) spider_log logger代码原理拆分运行日志、错误日志、自愈日志三类文件各司其职便于故障排查按自然日自动切割日志防止单文件过大自动压缩节省磁盘差异化设置日志保留时长错误与自愈日志留存更久满足复盘需求日志格式包含代码行号与堆栈信息精准定位异常源头。三、基于 tenacity 的专业重试自愈机制封装3.1 tenacity 框架核心优势替代原生手动循环重试支持条件重试、间隔退避、最大次数限制、异常类型精准捕获、重试日志记录是工业级爬虫重试自愈的标准方案。3.2 通用重试装饰器实现python运行from tenacity import retry, stop_after_attempt, wait_exponential, retry_if_exception_type import requests # 定义需要触发重试的异常类型 NETWORK_EXCEPTIONS ( requests.exceptions.Timeout, requests.exceptions.ConnectionError, requests.exceptions.SSLError, requests.exceptions.ChunkedEncodingError ) def spider_auto_retry(max_attempt: int 3): 爬虫网络异常自动重试装饰器 指数退避等待1s、2s、4s逐步递增避免高频请求被封禁 return retry( stopstop_after_attempt(max_attempt), waitwait_exponential(multiplier1, min1, max8), retryretry_if_exception_type(NETWORK_EXCEPTIONS), before_sleeplambda retry_state: spider_log.info( f网络异常准备第{retry_state.attempt_number}次重试等待退避间隔 ), reraiseTrue )代码原理精准限定仅网络类异常触发重试业务解析错误不盲目重试采用指数退避策略重试间隔逐步拉长规避网站反爬限流自定义重试前置日志记录每一次自愈重试行为重试耗尽后重新抛出异常交由上层自愈逻辑处理。3.3 装饰器业务接入实战python运行spider_auto_retry(max_attempt3) def request_target_url(url: str): 带自动重试的网络请求函数 headers {User-Agent: Mozilla/5.0} resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() return resp.text四、分级异常自愈策略设计与实现4.1 异常分级定义一级轻度异常网络超时、临时连接波动 → 自动重试自愈二级中度异常页面节点变更、局部数据解析失败 → 跳过当前条目继续后续任务并记录日志三级重度异常Token 失效、代理 IP 池全部封禁、数据库连接断开 → 触发任务降级暂停采集并刷新配置四级致命异常程序死循环、内存溢出、核心接口永久下线 → 推送告警并自动重启进程。4.2 全局异常捕获与分级自愈调度python运行def exception_self_heal(func): 全局分级自愈装饰器 from functools import wraps wraps(func) def wrapper(*args, **kwargs): try: return func(*args, **kwargs) except NETWORK_EXCEPTIONS as e: # 一级轻度异常已由重试装饰器处理此处记录自愈结果 spider_log.info(f一级网络异常已完成自愈重试{str(e)}) except AttributeError, IndexError, ValueError as e: # 二级中度异常跳过当前任务继续运行 spider_log.error(f二级解析异常跳过当前采集条目{str(e)}) return None except ConnectionRefusedError, Exception as e: # 三级/四级异常记录日志触发告警准备进程重启 spider_log.critical(f三级以上致命异常{str(e)}即将触发高级自愈流程) heal_send_alarm(f爬虫触发致命异常已启动高级自愈{str(e)}) # 可扩展调用进程重启接口 return wrapper代码原理按异常类型自动分级匹配不同自愈处理策略轻度异常依赖重试自愈中度异常容错跳过重度异常告警并准备重启装饰器无侵入接入所有业务函数统一管控全项目异常自愈逻辑。五、Redis 断点续爬自愈机制5.1 设计思路爬虫中断后将当前页码、任务 ID、采集进度存入 Redis重启或自愈恢复时自动读取断点从中断位置继续采集杜绝重复爬取与数据缺失。5.2 断点工具类完整实现python运行import redis class SpiderBreakPoint: def __init__(self): self.rd redis.Redis( host127.0.0.1, port6379, db1, decode_responsesTrue, socket_timeout5 ) def save_progress(self, task_key: str, page: int): 保存当前采集页码断点 self.rd.set(fheal_progress:{task_key}, page) spider_log.info(f任务{task_key}已保存断点页码{page}) def get_progress(self, task_key: str, default_page: int 1) - int: 获取断点页码无记录返回默认起始页 val self.rd.get(fheal_progress:{task_key}) return int(val) if val else default_page def clear_progress(self, task_key: str): 任务完成后清空断点 self.rd.delete(fheal_progress:{task_key}) spider_log.info(f任务{task_key}已完成断点已清空) # 初始化断点实例 break_point SpiderBreakPoint()代码原理Redis 超时断开自带重连适配服务端网络波动以任务唯一标识为 Key隔离多任务断点互不干扰支持保存、读取、清空完整生命周期操作适配自愈后接续采集。六、系统资源监控与资源超限自愈6.1 监控维度实时监控CPU 使用率、内存占用、磁盘剩余空间超过阈值自动限流、释放资源、重启进程防止爬虫卡死崩溃。6.2 资源监控与自愈代码实现python运行import psutil import os class SystemResourceHeal: # 资源阈值配置 CPU_LIMIT 85 MEM_LIMIT 80 DISK_LIMIT 10 staticmethod def check_cpu() - bool: cpu_percent psutil.cpu_percent(interval1) return cpu_percent SystemResourceHeal.CPU_LIMIT staticmethod def check_memory() - bool: mem psutil.virtual_memory() mem_percent mem.percent return mem_percent SystemResourceHeal.MEM_LIMIT staticmethod def check_disk() - bool: disk psutil.disk_usage(/) disk_free_percent disk.free / disk.total * 100 return disk_free_percent SystemResourceHeal.DISK_LIMIT staticmethod def resource_self_heal(): 资源超限自愈处理 cpu_ok SystemResourceHeal.check_cpu() mem_ok SystemResourceHeal.check_memory() disk_ok SystemResourceHeal.check_disk() if not cpu_ok: spider_log.critical(CPU占用超限启动资源自愈暂停新增任务) heal_send_alarm(爬虫服务器CPU占用过高已限流自愈) if not mem_ok: spider_log.critical(内存占用超限启动资源自愈释放缓存) # 手动触发垃圾回收 import gc gc.collect() if not disk_ok: spider_log.critical(磁盘空间不足启动资源自愈清理过期日志) # 可扩展自动删除过期日志、临时文件代码原理预设 CPU、内存、磁盘安全阈值定时巡检资源超标自动执行限流、垃圾回收、清理日志等自愈动作严重超标触发告警提前规避服务器宕机风险。七、进程级自愈与自动重启实现7.1 应用场景遇到接口永久变更、程序逻辑死锁、第三方库崩溃等代码级致命异常单纯重试无法修复需要自动重启爬虫进程恢复服务。7.2 进程重启核心代码python运行import sys import os def restart_spider_process(): 自愈触发爬虫进程重启 spider_log.warning(触发进程级自愈即将重启爬虫程序) heal_send_alarm(爬虫触发致命异常执行进程自动重启) # 重启当前Python进程 python sys.executable os.execl(python, python, *sys.argv)代码原理调用系统 execl 方法实现无依赖自重启无需额外进程管理工具重启前记录日志并推送告警运维可感知自愈动作重启后自动从 Redis 读取断点接续采集任务实现无感恢复。八、自愈告警模块封装8.1 钉钉告警统一推送仅三级、四级严重自愈动作推送告警避免轻微重试造成消息轰炸。python运行import requests def heal_send_alarm(content: str): webhook 你的钉钉机器人Webhook payload { msgtype:text, text:{content:f【爬虫自愈系统告警】\n{content}} } try: requests.post(webhook, jsonpayload, timeout8) except Exception as e: spider_log.error(f自愈告警推送失败{str(e)})九、工业级自愈机制整合实战示例python运行exception_self_heal spider_auto_retry() def full_spider_task(task_name: str): # 读取断点 start_page break_point.get_progress(task_name) for page in range(start_page, 100): # 资源巡检自愈 SystemResourceHeal.resource_self_heal() # 请求页面 html request_target_url(fhttps://xxx.com/page{page}) # 解析业务数据 # ...业务解析逻辑... # 保存断点 break_point.save_progress(task_name, page) # 任务完成清空断点 break_point.clear_progress(task_name) if __name__ __main__: # 启动完整带自愈能力的爬虫任务 full_spider_task(goods_list_spider)
Python 爬虫高级实战：工业级爬虫异常自愈机制设计
前言工业级爬虫长期 7×24 小时不间断运行于服务器、容器集群环境中天然面临网络抖动、接口规则变更、反爬策略封禁、数据库连接中断、内存溢出、程序逻辑报错、服务器资源超限等各类突发异常。普通爬虫一旦触发错误即直接崩溃终止依赖人工登录服务器重启、排查日志、修复代码运维成本极高且存在数据采集断层、业务流程中断等严重问题。工业级爬虫异常自愈机制核心是通过分层异常捕获、自动重试降级、断点续爬恢复、进程自动重启、资源阈值管控、故障分级告警、规则动态适配整套体系让爬虫在无人工干预前提下自动识别异常、修复异常、恢复业务运行从被动报错终止升级为主动感知、自我修复、持续稳态运行是爬虫从脚本级迈入企业工业级架构的核心刚需能力。本文实战依赖的核心库与工具官方链接Python 官方环境Loguru 结构化日志库APScheduler 定时任务调度Redis 断点与状态存储tenacity 专业重试框架psutil 服务器资源监控库DingTalk SDK 告警推送一、工业级爬虫异常分类与自愈设计目标1.1 爬虫运行全链路异常类型梳理1.1.1 网络层异常网络超时、连接拒绝、DNS 解析失败、SSL 证书错误、跨区域网络波动、代理 IP 失效封禁、请求连接被重置。1.1.2 业务接口层异常接口 403 封禁、404 接口下线、50x 服务器错误、参数签名失效、Token 过期、页面结构变更导致解析节点缺失。1.1.3 数据存储层异常MySQL/Redis 连接断开、连接池耗尽、写入超时、主键重复、字段格式不匹配、事务回滚失败。1.1.4 系统资源层异常CPU 占用过高、内存泄漏溢出、磁盘空间不足、文件句柄耗尽、服务器负载超标导致进程卡顿卡死。1.1.5 程序逻辑层异常数组越界、空指针调用、类型转换错误、循环死锁、递归深度溢出、第三方库版本兼容报错。1.2 自愈机制核心设计目标异常全覆盖覆盖网络、接口、存储、资源、逻辑五大类所有常见报错场景分级自愈策略轻度异常自动重试、中度异常降级运行、重度异常重启进程、致命异常触发告警断点续爬恢复中断后自动记录进度重启后从断点接续采集不重复、不遗漏资源自动管控监控 CPU、内存、磁盘超限自动限流、释放资源、重启进程无感知故障修复小故障全程静默自愈不中断整体采集任务故障可追溯日志分级记录异常堆栈、触发时间、自愈动作便于后期规则迭代优化。1.3 普通异常处理与工业级自愈机制对比表格对比维度普通 try-except 异常捕获工业级爬虫异常自愈机制处理范围仅捕获局部代码已知异常全链路覆盖网络、接口、存储、资源、逻辑所有异常处理动作打印错误、终止程序或跳过单次任务重试、降级、断点续爬、释放资源、进程重启多策略联动任务连续性异常后任务直接中断自愈后自动接续任务保证采集不中断资源感知无任何系统资源监控实时监控 CPU / 内存 / 磁盘超限自动防护告警机制无告警或简单打印日志分级告警仅致命故障推送通知避免告警轰炸运维依赖每次异常均需人工介入重启绝大多数故障自动自愈长期无人值守可扩展性硬编码异常判断难以扩展策略化配置新增异常类型直接接入自愈规则二、核心依赖安装与基础日志底座搭建2.1 批量安装自愈机制必备依赖库bash运行pip install loguru tenacity psutil redis requests dingtalk-sdk2.2 全局结构化日志封装自愈必备追溯底座自愈机制依赖完整日志判断异常类型、记录自愈行为、留存故障堆栈采用 Loguru 搭建工业级日志体系。python运行from loguru import logger import os # 创建日志目录 LOG_BASE ./spider_self_heal_log os.makedirs(LOG_BASE, exist_okTrue) # 移除默认处理器 logger.remove() # 全量运行日志按天分割、保留7天、自动压缩 logger.add( os.path.join(LOG_BASE, spider_run_{time:YYYY-MM-DD}.log), format{time:YYYY-MM-DD HH:mm:ss} | {level} | {name}:{function}:{line} | {message}, rotation00:00, retention7 days, compressionzip, levelINFO, encodingutf-8 ) # 单独异常错误日志保留15天留存完整堆栈 logger.add( os.path.join(LOG_BASE, spider_error_{time:YYYY-MM-DD}.log), format{time:YYYY-MM-DD HH:mm:ss} | {level} | {name}:{function}:{line} | {message}, rotation00:00, retention15 days, levelERROR, encodingutf-8 ) # 自愈行为专项日志 logger.add( os.path.join(LOG_BASE, spider_heal_{time:YYYY-MM-DD}.log), format{time:YYYY-MM-DD HH:mm:ss} | {level} | 自愈行为{message}, rotation00:00, retention30 days, levelINFO, encodingutf-8 ) spider_log logger代码原理拆分运行日志、错误日志、自愈日志三类文件各司其职便于故障排查按自然日自动切割日志防止单文件过大自动压缩节省磁盘差异化设置日志保留时长错误与自愈日志留存更久满足复盘需求日志格式包含代码行号与堆栈信息精准定位异常源头。三、基于 tenacity 的专业重试自愈机制封装3.1 tenacity 框架核心优势替代原生手动循环重试支持条件重试、间隔退避、最大次数限制、异常类型精准捕获、重试日志记录是工业级爬虫重试自愈的标准方案。3.2 通用重试装饰器实现python运行from tenacity import retry, stop_after_attempt, wait_exponential, retry_if_exception_type import requests # 定义需要触发重试的异常类型 NETWORK_EXCEPTIONS ( requests.exceptions.Timeout, requests.exceptions.ConnectionError, requests.exceptions.SSLError, requests.exceptions.ChunkedEncodingError ) def spider_auto_retry(max_attempt: int 3): 爬虫网络异常自动重试装饰器 指数退避等待1s、2s、4s逐步递增避免高频请求被封禁 return retry( stopstop_after_attempt(max_attempt), waitwait_exponential(multiplier1, min1, max8), retryretry_if_exception_type(NETWORK_EXCEPTIONS), before_sleeplambda retry_state: spider_log.info( f网络异常准备第{retry_state.attempt_number}次重试等待退避间隔 ), reraiseTrue )代码原理精准限定仅网络类异常触发重试业务解析错误不盲目重试采用指数退避策略重试间隔逐步拉长规避网站反爬限流自定义重试前置日志记录每一次自愈重试行为重试耗尽后重新抛出异常交由上层自愈逻辑处理。3.3 装饰器业务接入实战python运行spider_auto_retry(max_attempt3) def request_target_url(url: str): 带自动重试的网络请求函数 headers {User-Agent: Mozilla/5.0} resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() return resp.text四、分级异常自愈策略设计与实现4.1 异常分级定义一级轻度异常网络超时、临时连接波动 → 自动重试自愈二级中度异常页面节点变更、局部数据解析失败 → 跳过当前条目继续后续任务并记录日志三级重度异常Token 失效、代理 IP 池全部封禁、数据库连接断开 → 触发任务降级暂停采集并刷新配置四级致命异常程序死循环、内存溢出、核心接口永久下线 → 推送告警并自动重启进程。4.2 全局异常捕获与分级自愈调度python运行def exception_self_heal(func): 全局分级自愈装饰器 from functools import wraps wraps(func) def wrapper(*args, **kwargs): try: return func(*args, **kwargs) except NETWORK_EXCEPTIONS as e: # 一级轻度异常已由重试装饰器处理此处记录自愈结果 spider_log.info(f一级网络异常已完成自愈重试{str(e)}) except AttributeError, IndexError, ValueError as e: # 二级中度异常跳过当前任务继续运行 spider_log.error(f二级解析异常跳过当前采集条目{str(e)}) return None except ConnectionRefusedError, Exception as e: # 三级/四级异常记录日志触发告警准备进程重启 spider_log.critical(f三级以上致命异常{str(e)}即将触发高级自愈流程) heal_send_alarm(f爬虫触发致命异常已启动高级自愈{str(e)}) # 可扩展调用进程重启接口 return wrapper代码原理按异常类型自动分级匹配不同自愈处理策略轻度异常依赖重试自愈中度异常容错跳过重度异常告警并准备重启装饰器无侵入接入所有业务函数统一管控全项目异常自愈逻辑。五、Redis 断点续爬自愈机制5.1 设计思路爬虫中断后将当前页码、任务 ID、采集进度存入 Redis重启或自愈恢复时自动读取断点从中断位置继续采集杜绝重复爬取与数据缺失。5.2 断点工具类完整实现python运行import redis class SpiderBreakPoint: def __init__(self): self.rd redis.Redis( host127.0.0.1, port6379, db1, decode_responsesTrue, socket_timeout5 ) def save_progress(self, task_key: str, page: int): 保存当前采集页码断点 self.rd.set(fheal_progress:{task_key}, page) spider_log.info(f任务{task_key}已保存断点页码{page}) def get_progress(self, task_key: str, default_page: int 1) - int: 获取断点页码无记录返回默认起始页 val self.rd.get(fheal_progress:{task_key}) return int(val) if val else default_page def clear_progress(self, task_key: str): 任务完成后清空断点 self.rd.delete(fheal_progress:{task_key}) spider_log.info(f任务{task_key}已完成断点已清空) # 初始化断点实例 break_point SpiderBreakPoint()代码原理Redis 超时断开自带重连适配服务端网络波动以任务唯一标识为 Key隔离多任务断点互不干扰支持保存、读取、清空完整生命周期操作适配自愈后接续采集。六、系统资源监控与资源超限自愈6.1 监控维度实时监控CPU 使用率、内存占用、磁盘剩余空间超过阈值自动限流、释放资源、重启进程防止爬虫卡死崩溃。6.2 资源监控与自愈代码实现python运行import psutil import os class SystemResourceHeal: # 资源阈值配置 CPU_LIMIT 85 MEM_LIMIT 80 DISK_LIMIT 10 staticmethod def check_cpu() - bool: cpu_percent psutil.cpu_percent(interval1) return cpu_percent SystemResourceHeal.CPU_LIMIT staticmethod def check_memory() - bool: mem psutil.virtual_memory() mem_percent mem.percent return mem_percent SystemResourceHeal.MEM_LIMIT staticmethod def check_disk() - bool: disk psutil.disk_usage(/) disk_free_percent disk.free / disk.total * 100 return disk_free_percent SystemResourceHeal.DISK_LIMIT staticmethod def resource_self_heal(): 资源超限自愈处理 cpu_ok SystemResourceHeal.check_cpu() mem_ok SystemResourceHeal.check_memory() disk_ok SystemResourceHeal.check_disk() if not cpu_ok: spider_log.critical(CPU占用超限启动资源自愈暂停新增任务) heal_send_alarm(爬虫服务器CPU占用过高已限流自愈) if not mem_ok: spider_log.critical(内存占用超限启动资源自愈释放缓存) # 手动触发垃圾回收 import gc gc.collect() if not disk_ok: spider_log.critical(磁盘空间不足启动资源自愈清理过期日志) # 可扩展自动删除过期日志、临时文件代码原理预设 CPU、内存、磁盘安全阈值定时巡检资源超标自动执行限流、垃圾回收、清理日志等自愈动作严重超标触发告警提前规避服务器宕机风险。七、进程级自愈与自动重启实现7.1 应用场景遇到接口永久变更、程序逻辑死锁、第三方库崩溃等代码级致命异常单纯重试无法修复需要自动重启爬虫进程恢复服务。7.2 进程重启核心代码python运行import sys import os def restart_spider_process(): 自愈触发爬虫进程重启 spider_log.warning(触发进程级自愈即将重启爬虫程序) heal_send_alarm(爬虫触发致命异常执行进程自动重启) # 重启当前Python进程 python sys.executable os.execl(python, python, *sys.argv)代码原理调用系统 execl 方法实现无依赖自重启无需额外进程管理工具重启前记录日志并推送告警运维可感知自愈动作重启后自动从 Redis 读取断点接续采集任务实现无感恢复。八、自愈告警模块封装8.1 钉钉告警统一推送仅三级、四级严重自愈动作推送告警避免轻微重试造成消息轰炸。python运行import requests def heal_send_alarm(content: str): webhook 你的钉钉机器人Webhook payload { msgtype:text, text:{content:f【爬虫自愈系统告警】\n{content}} } try: requests.post(webhook, jsonpayload, timeout8) except Exception as e: spider_log.error(f自愈告警推送失败{str(e)})九、工业级自愈机制整合实战示例python运行exception_self_heal spider_auto_retry() def full_spider_task(task_name: str): # 读取断点 start_page break_point.get_progress(task_name) for page in range(start_page, 100): # 资源巡检自愈 SystemResourceHeal.resource_self_heal() # 请求页面 html request_target_url(fhttps://xxx.com/page{page}) # 解析业务数据 # ...业务解析逻辑... # 保存断点 break_point.save_progress(task_name, page) # 任务完成清空断点 break_point.clear_progress(task_name) if __name__ __main__: # 启动完整带自愈能力的爬虫任务 full_spider_task(goods_list_spider)
