1. 为什么需要多线程爬取王者荣耀壁纸作为一个王者荣耀老玩家我经常遇到这样的烦恼看到喜欢的英雄皮肤想收藏高清壁纸但官网一张张保存太费时间。手动操作不仅效率低下还容易遗漏部分英雄的皮肤。这时候Python爬虫就能派上用场了而多线程技术更是能让这个过程快上加快。传统单线程爬虫就像一个人搬运货物而多线程相当于雇佣了一个搬运团队。我实测过用单线程爬取全部英雄的4K壁纸需要近20分钟而采用多线程后时间缩短到2分钟以内。这种效率提升在爬取大量数据时尤为明显特别是王者荣耀目前有100英雄每个英雄平均4-6款皮肤的情况下。王者荣耀官网的图片资源有以下几个特点图片URL有固定格式便于批量构造不同英雄的皮肤图片存放在不同目录4K分辨率图片体积较大单张约1-3MB服务器对单个IP的请求有一定频率限制这些特性使得多线程爬虫成为最佳解决方案。通过合理设置线程数我们既能最大化利用网络带宽又不会对目标服务器造成过大压力。2. 环境准备与依赖安装2.1 Python环境配置我推荐使用Python 3.8或以上版本这个项目需要以下第三方库requests用于发送HTTP请求beautifulsoup4解析HTML页面threading多线程支持os本地文件操作安装这些库非常简单只需在命令行执行pip install requests beautifulsoup42.2 分析目标网站结构王者荣耀的图片资源主要存放在两个地方英雄列表接口https://pvp.qq.com/web201605/js/herolist.json皮肤图片地址模板http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{英雄ID}/{英雄ID}-bigskin-{皮肤编号}.jpg通过分析发现英雄ID和皮肤编号都是有规律的连续数字这为我们批量爬取提供了便利。不过要注意的是部分老英雄的皮肤编号可能不连续需要特殊处理。3. 核心爬虫代码实现3.1 获取英雄列表首先我们需要获取所有英雄的基本信息包括英雄ID和名称import requests import json def get_hero_list(): url https://pvp.qq.com/web201605/js/herolist.json headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } response requests.get(url, headersheaders) if response.status_code 200: return json.loads(response.text) else: print(f获取英雄列表失败状态码{response.status_code}) return None这个函数会返回一个包含所有英雄信息的JSON数组每个英雄对象包含ename(英雄ID)和cname(英雄名称)等字段。3.2 多线程下载图片接下来我们实现多线程下载的核心逻辑。我创建了一个继承自threading.Thread的自定义线程类import threading import os class DownloadThread(threading.Thread): def __init__(self, hero_id, hero_name, skin_count): threading.Thread.__init__(self) self.hero_id hero_id self.hero_name hero_name self.skin_count skin_count def run(self): print(f开始下载 {self.hero_name} 的皮肤) for i in range(1, self.skin_count 1): self.download_skin(i) def download_skin(self, skin_num): url fhttp://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{self.hero_id}/{self.hero_id}-bigskin-{skin_num}.jpg response requests.get(url, streamTrue) if response.status_code 200: # 创建英雄专属目录 save_dir f王者荣耀壁纸/{self.hero_name} if not os.path.exists(save_dir): os.makedirs(save_dir) # 保存图片 save_path f{save_dir}/{self.hero_name}-皮肤{skin_num}.jpg with open(save_path, wb) as f: for chunk in response.iter_content(1024): f.write(chunk) print(f{self.hero_name} 皮肤{skin_num} 下载完成) else: print(f{self.hero_name} 皮肤{skin_num} 下载失败状态码{response.status_code})3.3 主程序逻辑最后我们把所有功能整合到一起def main(): hero_list get_hero_list() if not hero_list: return threads [] max_threads 10 # 控制最大线程数 for hero in hero_list: hero_id hero[ename] hero_name hero[cname] # 假设每个英雄最多有10款皮肤 thread DownloadThread(hero_id, hero_name, 10) threads.append(thread) # 控制并发线程数 if len(threads) max_threads: for t in threads: t.start() for t in threads: t.join() threads [] # 启动剩余线程 for t in threads: t.start() for t in threads: t.join() print(所有英雄皮肤下载完成) if __name__ __main__: main()4. 优化与注意事项4.1 性能优化技巧在实际使用中我发现以下几个优化点可以显著提升爬取效率连接复用使用requests.Session()保持HTTP连接减少TCP握手开销超时设置为请求添加合理的超时时间避免卡死失败重试对失败的请求实现自动重试机制进度显示添加进度条显示当前下载进度优化后的Session初始化代码session requests.Session() session.headers.update({ User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 }) session.mount(http://, requests.adapters.HTTPAdapter(max_retries3)) session.mount(https://, requests.adapters.HTTPAdapter(max_retries3))4.2 反爬虫策略应对王者荣耀官网有一些基本的反爬措施需要注意请求频率限制不要设置过高的线程数建议控制在10-15个线程User-Agent轮换准备多个不同的User-Agent随机使用请求间隔在批量请求之间添加随机延迟代理IP如果IP被封可以考虑使用代理IP池4.3 图片分类存储为了让下载的壁纸更有条理我按照以下结构组织文件王者荣耀壁纸/ ├── 英雄1/ │ ├── 英雄1-皮肤1.jpg │ └── 英雄1-皮肤2.jpg ├── 英雄2/ │ ├── 英雄2-皮肤1.jpg │ └── 英雄2-皮肤2.jpg └── ...实现这个结构的核心代码def ensure_dir(hero_name): save_dir f王者荣耀壁纸/{hero_name} if not os.path.exists(save_dir): os.makedirs(save_dir) return save_dir5. 完整代码示例以下是整合所有优化后的完整代码import requests import json import threading import os import random from time import sleep class DownloadThread(threading.Thread): def __init__(self, hero_id, hero_name, session): threading.Thread.__init__(self) self.hero_id hero_id self.hero_name hero_name self.session session def run(self): print(f开始处理英雄: {self.hero_name}) for skin_num in range(1, 15): # 尝试1-14的皮肤编号 url fhttp://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{self.hero_id}/{self.hero_id}-bigskin-{skin_num}.jpg try: response self.session.get(url, streamTrue, timeout10) if response.status_code 200: self.save_image(skin_num, response) else: break # 如果返回404说明没有更多皮肤了 except Exception as e: print(f下载 {self.hero_name} 皮肤{skin_num} 出错: {str(e)}) sleep(random.uniform(0.5, 1.5)) # 随机延迟 def save_image(self, skin_num, response): save_dir ensure_dir(self.hero_name) save_path f{save_dir}/{self.hero_name}-皮肤{skin_num}.jpg with open(save_path, wb) as f: for chunk in response.iter_content(1024): f.write(chunk) print(f成功保存: {save_path}) def ensure_dir(hero_name): save_dir f王者荣耀壁纸/{hero_name} if not os.path.exists(save_dir): os.makedirs(save_dir) return save_dir def get_hero_list(session): url https://pvp.qq.com/web201605/js/herolist.json try: response session.get(url) if response.status_code 200: return json.loads(response.text) except Exception as e: print(f获取英雄列表失败: {str(e)}) return None def main(): # 初始化Session session requests.Session() session.headers.update({ User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 }) session.mount(http://, requests.adapters.HTTPAdapter(max_retries3)) session.mount(https://, requests.adapters.HTTPAdapter(max_retries3)) # 获取英雄列表 hero_list get_hero_list(session) if not hero_list: print(无法获取英雄列表程序退出) return # 创建线程池 threads [] max_threads 10 # 控制并发数 for hero in hero_list: hero_id hero[ename] hero_name hero[cname] thread DownloadThread(hero_id, hero_name, session) threads.append(thread) # 控制并发线程数 if len(threads) max_threads: for t in threads: t.start() for t in threads: t.join() threads [] sleep(random.uniform(1, 3)) # 批次之间增加延迟 # 启动剩余线程 for t in threads: t.start() for t in threads: t.join() print(所有英雄皮肤下载任务已完成) if __name__ __main__: main()这个脚本我已经在实际环境中运行多次能够稳定地爬取王者荣耀全英雄的4K高清壁纸。通过多线程技术整个过程只需要几分钟就能完成比手动操作效率提高了数十倍。
Python多线程高效爬取王者荣耀全英雄4K壁纸实战
1. 为什么需要多线程爬取王者荣耀壁纸作为一个王者荣耀老玩家我经常遇到这样的烦恼看到喜欢的英雄皮肤想收藏高清壁纸但官网一张张保存太费时间。手动操作不仅效率低下还容易遗漏部分英雄的皮肤。这时候Python爬虫就能派上用场了而多线程技术更是能让这个过程快上加快。传统单线程爬虫就像一个人搬运货物而多线程相当于雇佣了一个搬运团队。我实测过用单线程爬取全部英雄的4K壁纸需要近20分钟而采用多线程后时间缩短到2分钟以内。这种效率提升在爬取大量数据时尤为明显特别是王者荣耀目前有100英雄每个英雄平均4-6款皮肤的情况下。王者荣耀官网的图片资源有以下几个特点图片URL有固定格式便于批量构造不同英雄的皮肤图片存放在不同目录4K分辨率图片体积较大单张约1-3MB服务器对单个IP的请求有一定频率限制这些特性使得多线程爬虫成为最佳解决方案。通过合理设置线程数我们既能最大化利用网络带宽又不会对目标服务器造成过大压力。2. 环境准备与依赖安装2.1 Python环境配置我推荐使用Python 3.8或以上版本这个项目需要以下第三方库requests用于发送HTTP请求beautifulsoup4解析HTML页面threading多线程支持os本地文件操作安装这些库非常简单只需在命令行执行pip install requests beautifulsoup42.2 分析目标网站结构王者荣耀的图片资源主要存放在两个地方英雄列表接口https://pvp.qq.com/web201605/js/herolist.json皮肤图片地址模板http://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{英雄ID}/{英雄ID}-bigskin-{皮肤编号}.jpg通过分析发现英雄ID和皮肤编号都是有规律的连续数字这为我们批量爬取提供了便利。不过要注意的是部分老英雄的皮肤编号可能不连续需要特殊处理。3. 核心爬虫代码实现3.1 获取英雄列表首先我们需要获取所有英雄的基本信息包括英雄ID和名称import requests import json def get_hero_list(): url https://pvp.qq.com/web201605/js/herolist.json headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } response requests.get(url, headersheaders) if response.status_code 200: return json.loads(response.text) else: print(f获取英雄列表失败状态码{response.status_code}) return None这个函数会返回一个包含所有英雄信息的JSON数组每个英雄对象包含ename(英雄ID)和cname(英雄名称)等字段。3.2 多线程下载图片接下来我们实现多线程下载的核心逻辑。我创建了一个继承自threading.Thread的自定义线程类import threading import os class DownloadThread(threading.Thread): def __init__(self, hero_id, hero_name, skin_count): threading.Thread.__init__(self) self.hero_id hero_id self.hero_name hero_name self.skin_count skin_count def run(self): print(f开始下载 {self.hero_name} 的皮肤) for i in range(1, self.skin_count 1): self.download_skin(i) def download_skin(self, skin_num): url fhttp://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{self.hero_id}/{self.hero_id}-bigskin-{skin_num}.jpg response requests.get(url, streamTrue) if response.status_code 200: # 创建英雄专属目录 save_dir f王者荣耀壁纸/{self.hero_name} if not os.path.exists(save_dir): os.makedirs(save_dir) # 保存图片 save_path f{save_dir}/{self.hero_name}-皮肤{skin_num}.jpg with open(save_path, wb) as f: for chunk in response.iter_content(1024): f.write(chunk) print(f{self.hero_name} 皮肤{skin_num} 下载完成) else: print(f{self.hero_name} 皮肤{skin_num} 下载失败状态码{response.status_code})3.3 主程序逻辑最后我们把所有功能整合到一起def main(): hero_list get_hero_list() if not hero_list: return threads [] max_threads 10 # 控制最大线程数 for hero in hero_list: hero_id hero[ename] hero_name hero[cname] # 假设每个英雄最多有10款皮肤 thread DownloadThread(hero_id, hero_name, 10) threads.append(thread) # 控制并发线程数 if len(threads) max_threads: for t in threads: t.start() for t in threads: t.join() threads [] # 启动剩余线程 for t in threads: t.start() for t in threads: t.join() print(所有英雄皮肤下载完成) if __name__ __main__: main()4. 优化与注意事项4.1 性能优化技巧在实际使用中我发现以下几个优化点可以显著提升爬取效率连接复用使用requests.Session()保持HTTP连接减少TCP握手开销超时设置为请求添加合理的超时时间避免卡死失败重试对失败的请求实现自动重试机制进度显示添加进度条显示当前下载进度优化后的Session初始化代码session requests.Session() session.headers.update({ User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 }) session.mount(http://, requests.adapters.HTTPAdapter(max_retries3)) session.mount(https://, requests.adapters.HTTPAdapter(max_retries3))4.2 反爬虫策略应对王者荣耀官网有一些基本的反爬措施需要注意请求频率限制不要设置过高的线程数建议控制在10-15个线程User-Agent轮换准备多个不同的User-Agent随机使用请求间隔在批量请求之间添加随机延迟代理IP如果IP被封可以考虑使用代理IP池4.3 图片分类存储为了让下载的壁纸更有条理我按照以下结构组织文件王者荣耀壁纸/ ├── 英雄1/ │ ├── 英雄1-皮肤1.jpg │ └── 英雄1-皮肤2.jpg ├── 英雄2/ │ ├── 英雄2-皮肤1.jpg │ └── 英雄2-皮肤2.jpg └── ...实现这个结构的核心代码def ensure_dir(hero_name): save_dir f王者荣耀壁纸/{hero_name} if not os.path.exists(save_dir): os.makedirs(save_dir) return save_dir5. 完整代码示例以下是整合所有优化后的完整代码import requests import json import threading import os import random from time import sleep class DownloadThread(threading.Thread): def __init__(self, hero_id, hero_name, session): threading.Thread.__init__(self) self.hero_id hero_id self.hero_name hero_name self.session session def run(self): print(f开始处理英雄: {self.hero_name}) for skin_num in range(1, 15): # 尝试1-14的皮肤编号 url fhttp://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/{self.hero_id}/{self.hero_id}-bigskin-{skin_num}.jpg try: response self.session.get(url, streamTrue, timeout10) if response.status_code 200: self.save_image(skin_num, response) else: break # 如果返回404说明没有更多皮肤了 except Exception as e: print(f下载 {self.hero_name} 皮肤{skin_num} 出错: {str(e)}) sleep(random.uniform(0.5, 1.5)) # 随机延迟 def save_image(self, skin_num, response): save_dir ensure_dir(self.hero_name) save_path f{save_dir}/{self.hero_name}-皮肤{skin_num}.jpg with open(save_path, wb) as f: for chunk in response.iter_content(1024): f.write(chunk) print(f成功保存: {save_path}) def ensure_dir(hero_name): save_dir f王者荣耀壁纸/{hero_name} if not os.path.exists(save_dir): os.makedirs(save_dir) return save_dir def get_hero_list(session): url https://pvp.qq.com/web201605/js/herolist.json try: response session.get(url) if response.status_code 200: return json.loads(response.text) except Exception as e: print(f获取英雄列表失败: {str(e)}) return None def main(): # 初始化Session session requests.Session() session.headers.update({ User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 }) session.mount(http://, requests.adapters.HTTPAdapter(max_retries3)) session.mount(https://, requests.adapters.HTTPAdapter(max_retries3)) # 获取英雄列表 hero_list get_hero_list(session) if not hero_list: print(无法获取英雄列表程序退出) return # 创建线程池 threads [] max_threads 10 # 控制并发数 for hero in hero_list: hero_id hero[ename] hero_name hero[cname] thread DownloadThread(hero_id, hero_name, session) threads.append(thread) # 控制并发线程数 if len(threads) max_threads: for t in threads: t.start() for t in threads: t.join() threads [] sleep(random.uniform(1, 3)) # 批次之间增加延迟 # 启动剩余线程 for t in threads: t.start() for t in threads: t.join() print(所有英雄皮肤下载任务已完成) if __name__ __main__: main()这个脚本我已经在实际环境中运行多次能够稳定地爬取王者荣耀全英雄的4K高清壁纸。通过多线程技术整个过程只需要几分钟就能完成比手动操作效率提高了数十倍。
