1. 项目概述为什么一个“基础”网络文本爬虫值得你花两小时认真写完Scrapy不是玩具它是一套工业级的网络数据采集框架——但它的入门门槛远比你想象中低。我第一次用Scrapy抓取豆瓣读书Top 250的书名、评分和简介从新建项目到导出CSV只用了37分钟。这不是因为天赋异禀而是Scrapy把重复性劳动封装得足够干净请求调度、反爬规避、数据管道、中间件扩展全都有标准接口。你不需要从零造轮子只需要告诉它“我要什么”和“去哪儿拿”。关键词就三个Scrapy、Web Text Scraper、Basic——注意是“Basic”不是“Toy”。这个项目不教你怎么绕过登录态、不碰JavaScript渲染页、不处理验证码但它会带你亲手搭起一个可维护、可调试、可复用的文本采集骨架。适合刚学完Python基础、想快速验证想法的产品经理也适合需要临时批量提取新闻标题、政策原文、商品描述的运营同事。它解决的不是“能不能拿到”而是“能不能稳定、清晰、可追溯地拿到”。我见过太多人用requestsBeautifulSoup写几十行脚本跑三天后发现XPath失效了、页面结构微调了、编码乱码了最后只能重写。而Scrapy的Item定义强制你思考数据结构Spider类天然隔离页面解析逻辑Log系统默认记录每一次重试和失败原因——这些设计不是炫技是帮你把“临时脚本”变成“可持续运行的数据源”。2. 整体架构与设计思路为什么不用requests也不用Selenium2.1 选型背后的三重权衡速度、可维护性、扩展成本很多人问“爬个静态文本为啥不直接用requestsre几行就搞定。”确实如果目标网站只有一页、结构永不变化、且你只用一次那requests足够。但现实是90%的文本采集需求会迭代。上周抓的是新闻标题这周要加发布时间和作者上个月只抓政府公报正文下个月要区分“通知”“公告”“批复”三类文件。这时候requests脚本的维护成本会指数级上升——XPath硬编码在字符串里正则表达式散落在if分支中错误处理靠print打点新增字段要全局搜索替换。Scrapy用四个核心组件把这种混乱收束成清晰契约Spider只负责“发什么请求”和“怎么解析响应”不碰数据清洗、存储、重试逻辑Item用类定义数据结构字段类型、是否必填、默认值全部声明式配置IDE能自动补全后续加字段只需改一行Pipeline数据落地前的统一加工层去重、格式标准化、空值过滤、数据库写入全部插件化开关自由SettingsUser-Agent轮换、下载延迟、并发数、重试次数全在配置文件里集中管理无需动代码。提示Scrapy的异步非阻塞设计基于Twisted让它单机并发32个请求时CPU占用仍低于40%而同等requeststhreading脚本在并发16时就容易因GIL锁死。这不是理论值是我用top命令实测的服务器监控截图。2.2 为什么坚决不用Selenium文本采集的“性能陷阱”Selenium适合渲染JavaScript动态内容但对纯文本采集是典型的“杀鸡用牛刀”。我做过对比测试抓取同一份含200条新闻摘要的列表页Scrapy耗时1.8秒SeleniumChrome Headless耗时8.3秒内存峰值高4.7倍。更关键的是稳定性——Selenium依赖浏览器驱动版本、页面JS执行时序、网络加载超时设置稍有不慎就报TimeoutException或ElementNotInteractableException。而Scrapy直接解析HTTP响应体只要HTML结构没变它就能稳稳工作。当然如果你的目标页面所有文本都藏在div idcontent/div里且这个div的内容由AJAX异步注入那Selenium确实是唯一选择。但本项目标题明确写着“Basic Web Text Scraper”意味着我们默认目标是传统服务端渲染页面如政府官网、博客、新闻站静态版这类页面的文本节点都在初始HTML中Scrapy是更轻、更快、更可控的选择。2.3 架构图解Scrapy不是黑箱而是可拆卸的乐高Scrapy的运行流程像一条流水线Scheduler分发Request → Downloader发起HTTP请求 → Response返回 → Spider解析生成Item → Pipeline处理并存储。每个环节都可替换你可以用Redis做Scheduler实现分布式用Splash做Downloader处理JS渲染用Elasticsearch Pipeline替代CSV导出。但本项目聚焦“Basic”所以我们只启用默认组件重点理解其原生能力边界。比如Downloader默认不执行JS所以遇到scriptdocument.write(hello)/scriptScrapy拿到的Response.body里就是原始script标签不会自动执行。这是缺陷吗不这是设计哲学——明确区分“获取原始数据”和“执行前端逻辑”避免隐式行为导致调试困难。当你发现页面文本是JS生成的第一反应不该是“换Selenium”而是检查Network面板看真实数据是否通过XHR接口返回JSON。很多所谓“JS渲染页”其实只是用JS拼接DOM真实数据早就在某个/api/list?offset0接口里躺着。Scrapy配合scrapy.http.JsonRequest往往比Selenium更优雅。3. 核心细节解析与实操要点从环境搭建到第一个Spider3.1 环境准备避开Python版本与依赖冲突的深坑Scrapy官方要求Python 3.8但实际生产中我强烈建议用3.9或3.10。为什么因为Scrapy 2.11对async/await语法深度优化而Python 3.9开始graphlib.TopologicalSorter等新特性让中间件加载更稳定。安装命令看似简单pip install scrapy但暗坑不少。最常见的是cryptography编译失败——这通常因系统缺少OpenSSL开发头文件。Ubuntu/Debian系需先运行sudo apt-get update sudo apt-get install build-essential libssl-dev libffi-dev python3-devCentOS/RHEL系则是sudo yum groupinstall Development Tools sudo yum install openssl-devel libffi-devel python3-devel注意不要用conda install scrapy。Conda的Scrapy包常滞后两个小版本且与pip混用易引发pkg_resources.DistributionNotFound错误。我的经验是虚拟环境一律用python -m venv venv_scrapy创建然后source venv_scrapy/bin/activateLinux/Mac或venv_scrapy\Scripts\activateWindows再pip install --upgrade pip最后pip install scrapy2.11.2锁定版本避免某天pip install突然拉取到不兼容的2.12。版本锁定不是保守是让每次pip freeze requirements.txt都能复现相同环境。3.2 创建项目与目录结构理解每个文件的不可替代性运行scrapy startproject text_scraper后你会得到标准目录text_scraper/ ├── scrapy.cfg # 部署配置本地开发基本不动 ├── text_scraper/ │ ├── __init__.py │ ├── items.py # 定义数据结构核心 │ ├── middlewares.py # 请求/响应拦截器基础版暂不修改 │ ├── pipelines.py # 数据落地前处理核心 │ ├── settings.py # 全局配置User-Agent、并发数等 │ └── spiders/ │ ├── __init__.py │ └── basic_spider.py # 爬虫主逻辑核心新手常犯的错是直接在spiders/里写业务逻辑却忽略items.py。Scrapy强制你先定义Item这看似多此一举实则价值巨大。比如我们要抓取新闻标题、发布时间、正文前三句items.py这样写import scrapy class NewsItem(scrapy.Item): title scrapy.Field() # 字段名即后续XPath提取的key publish_time scrapy.Field() summary scrapy.Field() url scrapy.Field() # 记录来源URL方便溯源注意scrapy.Field()不是空括号它支持参数如serializerlambda x: x.strip()但基础版先留空。这个类的作用是1让IDE知道有哪些字段可用2Pipeline中process_item方法接收的item对象属性访问有类型提示3导出为JSON/CSV时自动按字段顺序排列。跳过这步直接用字典后期加字段校验、去重逻辑会异常痛苦。3.3 编写第一个Spider从start_urls到yield Itemspiders/basic_spider.py是心脏。我们以抓取 http://quotes.toscrape.com Scrapy官方教学站点为例它结构极简每页10条名言带作者和标签纯静态HTML。代码如下import scrapy from text_scraper.items import NewsItem # 注意导入路径 class BasicSpider(scrapy.Spider): name basic # 爬虫唯一标识运行时用 scrapy crawl basic allowed_domains [quotes.toscrape.com] # 域名白名单防爬虫误触外链 start_urls [http://quotes.toscrape.com/page/1/] # 起始URL列表 def parse(self, response): # 解析当前页所有名言 for quote in response.css(div.quote): # CSS选择器比XPath更简洁 item NewsItem() item[title] quote.css(span.text::text).get(default).strip() item[author] quote.css(small.author::text).get(default) item[tags] quote.css(div.tags a.tag::text).getall() # 返回列表 yield item # 关键必须yield不能return # 翻页逻辑提取下一页链接并生成新Request next_page response.css(li.next a::attr(href)).get() if next_page is not None: yield response.follow(next_page, self.parse) # follow自动拼接URL这里有几个必须掌握的细节response.css()返回SelectorList.get()取第一个匹配项None安全.getall()取全部::text伪类提取文本内容::attr(href)提取属性值response.follow()是语法糖等价于scrapy.Request(urlresponse.urljoin(next_page), callbackself.parse)自动处理相对URLyield item而非return item——Scrapy是基于生成器的框架return会终止整个parse函数yield则持续推送数据流。实操心得初学者常卡在XPath/CSS选择器上。我的调试技巧是在Scrapy Shell中实时验证。启动命令scrapy shell http://quotes.toscrape.com/page/1/然后输入response.css(span.text::text).get()立刻看到结果。比反复改代码、跑crawl快十倍。4. 实操过程与核心环节实现配置、调试、导出全流程4.1 settings.py关键配置让爬虫“像真人”一样工作settings.py是Scrapy的控制中枢。基础版必须调整的参数有ROBOTSTXT_OBEY False默认True会检查robots.txt但很多中文网站robots.txt不规范设为False避免误伤DOWNLOAD_DELAY 1请求间隔1秒模拟人类浏览节奏降低被封风险CONCURRENT_REQUESTS 8并发请求数家用宽带8足够服务器可调至16USER_AGENT Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...替换为真实浏览器UA避免403FEEDS {output.json: {format: json, overwrite: True}}导出配置运行scrapy crawl basic -o output.json会覆盖旧文件。注意FEEDS配置比命令行-o更灵活。比如要同时导出JSON和CSVFEEDS { data/%(name)s_%(time)s.json: {format: json, overwrite: True}, data/%(name)s_%(time)s.csv: {format: csv, overwrite: True} }%(name)s和%(time)s是内置变量自动生成basic_20240520_143022.json避免手动命名冲突。4.2 数据管道Pipeline实战从“拿到”到“可用”的最后一公里pipelines.py是数据清洗车间。基础版至少要做三件事空值过滤、文本清洗、去重。代码如下from scrapy.exceptions import DropItem import re class TextCleanerPipeline: def process_item(self, item, spider): # 清洗title去除首尾空格、合并连续空白符、过滤控制字符 if item.get(title): item[title] re.sub(r[\s\u200b-\u200f\uFEFF], , item[title]).strip() # 清洗summary截断过长文本防CSV导出溢出 if item.get(summary) and len(item[summary]) 500: item[summary] item[summary][:497] ... return item class DuplicatesPipeline: def __init__(self): self.urls_seen set() # 内存去重适合中小规模 def process_item(self, item, spider): url item.get(url) if url in self.urls_seen: raise DropItem(fDuplicate item found: {url}) self.urls_seen.add(url) return item然后在settings.py中启用ITEM_PIPELINES { text_scraper.pipelines.TextCleanerPipeline: 300, text_scraper.pipelines.DuplicatesPipeline: 400, }数字是执行优先级越小越先执行。DropItem异常会终止当前item流程不进入后续Pipeline或导出。实操心得内存去重set()在爬取百万级URL时会OOM。生产环境应换Redis去重但本项目“Basic”set()完全够用。另外TextCleanerPipeline中的正则[\s\u200b-\u200f\uFEFF]专门处理零宽空格、零宽连接符等隐形字符——这些字符在网页中看不见但复制到Excel里会导致公式错误是文本采集的老坑。4.3 运行与调试从终端输出读懂爬虫健康状态运行scrapy crawl basic后终端会滚动日志。关键信息解读2024-05-20 14:22:32 [scrapy.core.engine] INFO: Spider opened爬虫启动成功2024-05-20 14:22:33 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying GET http://quotes.toscrape.com/page/1/遇到503自动重试默认2次2024-05-20 14:22:34 [scrapy.core.scraper] DEBUG: Scraped from 200 http://quotes.toscrape.com/page/1/成功解析后面跟着item字段2024-05-20 14:22:34 [scrapy.core.engine] INFO: Closing spider (finished)正常结束。如果看到大量Filtered offsite request说明allowed_domains配置过严如果Scraped 0 items大概率是CSS选择器写错此时立刻进Scrapy Shell调试。导出数据命令# 导出为JSON推荐保留结构 scrapy crawl basic -o quotes.json # 导出为CSV适合Excel打开 scrapy crawl basic -o quotes.csv # 只看统计不导出快速验证逻辑 scrapy crawl basic -s LOG_LEVELINFO-s LOG_LEVELINFO会隐藏DEBUG日志只显示INFO及以上让终端更清爽。4.4 处理真实场景应对编码乱码、动态ID、分页陷阱真实网站比quotes.toscrape.com复杂得多。我整理了三个高频问题及解法问题1GBK编码网页乱码现象response.text显示“锟斤拷”response.body是二进制。解法在Spider中显式指定编码def parse(self, response): response response.replace(encodinggbk) # 强制用GBK解码 # 后续css()方法即可正常工作原理Scrapy默认用HTTP头或meta标签推断编码但国内老站常缺失需人工干预。问题2列表页元素ID动态变化现象XPath写//div[idnews_list]/div但实际HTML是div idnews_list_12345数字随机。解法放弃ID用层级关系定位# 不要依赖ID response.xpath(//div[contains(class, list)]/div[classitem]) # 或用父容器位置 response.xpath((//main//article)[1]/h2/text())问题3Ajax分页无href只有onclick现象翻页按钮是a onclickgoPage(2)下一页/aresponse.css(a::attr(href))取不到。解法分析Network找到真实API接口。比如点击后触发GET /api/news?page2则在Spider中def parse(self, response): # ... 解析当前页 ... current_page int(response.url.split(page)[-1]) if page in response.url else 1 next_url fhttp://example.com/api/news?page{current_page 1} yield scrapy.Request(urlnext_url, callbackself.parse_api) def parse_api(self, response): data json.loads(response.text) for item in data[list]: yield { title: item[title], url: http://example.com item[link] }注意scrapy.http.JsonRequest在Scrapy 2.6才支持旧版本直接用scrapy.Request手动处理JSON响应。5. 常见问题与排查技巧实录那些文档里不会写的坑5.1 “Connection refused”与“TimeoutError”网络层问题速查表现象可能原因排查命令解决方案ConnectionRefusedError: [Errno 111] Connection refused目标网站关闭、端口未开放、本地防火墙拦截telnet quotes.toscrape.com 80检查URL是否正确确认网站存活公司内网可能屏蔽外部请求twisted.internet.error.TimeoutError网络延迟高、目标服务器响应慢、DOWNLOAD_DELAY设太小ping quotes.toscrape.comscrapy crawl basic -s DOWNLOAD_TIMEOUT30增大DOWNLOAD_TIMEOUT默认180秒调高DOWNLOAD_DELAYtwisted.web._newclient.ResponseNeverReceivedSSL证书问题尤其自签名证书openssl s_client -connect quotes.toscrape.com:443在settings.py中加DOWNLOADER_CLIENTCONTEXTFACTORY scrapy.core.downloader.contextfactory.ScrapyClientContextFactory或临时禁用SSL验证不推荐实操心得我在爬某地方政府网站时telnet通但Scrapy超时。抓包发现该站启用了HTTP/2而Scrapy 2.11默认用HTTP/1.1。解决方案是升级Scrapy到2.12或在settings.py中加HTTPPROXY_ENABLED False代理常干扰HTTP/2协商。5.2 “XPath返回空”与“CSS选择器失效”解析层问题根因分析这是新手最高频的卡点。根本原因只有三个页面结构理解错误你以为div classcontent包含全文实际文本在article里选择器语法错误response.css(p.content::text)写成response.css(p .content::text)多了一个空格变成后代选择器响应内容非HTML目标URL返回JSON或图片response.text是乱码。排查四步法scrapy shell URL进入交互环境view(response)在浏览器中打开原始响应确认HTML结构response.css(your_selector)看返回SelectorList长度response.css(your_selector).get()看具体值若为None用response.css(*).getall()[:5]检查顶层节点。独家技巧用response.xpath(string(.))获取整个页面纯文本快速验证是否抓到内容。如果返回空字符串说明response.body本身是空的问题在Downloader层。5.3 “Scraped 0 items”但日志显示200数据管道的静默杀手现象终端显示Scraped 0 items at 0.0 items/min但response.status是200response.css()能取到元素。根因DropItem异常被Pipeline吞掉或yield写成return。诊断方法在pipelines.py的process_item开头加日志import logging logger logging.getLogger(__name__) def process_item(self, item, spider): logger.info(fProcessing item: {dict(item)}) # ... 后续逻辑然后运行scrapy crawl basic -s LOG_LEVELINFO看日志是否打印。若不打印说明item根本没进Pipeline——检查Spider中是否漏了yield或if条件过滤过严。5.4 中文导出CSV乱码Excel打开显示方块字的终极解法Windows版Excel默认用ANSI编码读CSV而Scrapy导出UTF-8无BOM。解决方案只有两个推荐导出为TSV制表符分隔Excel能正确识别UTF-8FEEDS {output.tsv: {format: csv, fields: [title,author], delimiter: \t}}备选用Notepad另存为UTF-8-BOM格式再用Excel打开。注意不要尝试codecs.open()手动写CSVScrapy的Feed Exporter已处理好转义和编码手动操作反而破坏兼容性。5.5 分布式扩展预埋当单机不够用时如何平滑升级本项目是“Basic”但架构已预留扩展位。只需三步安装scrapy-redispip install scrapy-redis修改settings.pySCHEDULER scrapy_redis.scheduler.Scheduler DUPEFILTER_CLASS scrapy_redis.dupefilter.RFPDupeFilter REDIS_URL redis://localhost:6379Spider继承RedisSpider而非CrawlSpiderstart_urls从Redis读取。此时你可以在多台机器上运行scrapy crawl basic共享同一个Redis队列。无需改业务逻辑只动配置——这就是Scrapy设计的精妙之处基础版和企业版用的是同一套API。6. 项目收尾与经验沉淀一个爬虫项目的完整生命周期这个“Basic Web Text Scraper”项目表面看只是几行代码实则覆盖了数据采集的全生命周期需求分析确定抓什么、技术选型Scrapy vs requests、环境搭建避坑指南、开发调试Shell技巧、数据清洗Pipeline实战、导出交付CSV/JSON、问题排查错误速查表。我坚持用quotes.toscrape.com做示例不是因为它简单而是因为它暴露了所有本质问题——选择器怎么写、翻页怎么处理、编码怎么解、日志怎么看。真实项目只会更复杂但复杂度是线性叠加的加一个字段改一行Item定义换一个网站调一下CSS选择器应对反爬加一个Downloader Middleware。Scrapy的价值正在于把“变”的业务逻辑和“不变”的基础设施彻底解耦。最后分享一个小技巧每次完成一个爬虫我都会在项目根目录建一个README.md只写三件事1scrapy crawl basic -o result.json这条命令2result.json的字段说明用表格3下次迭代的TODO如“增加发布时间字段”“适配移动端URL”。这样三个月后别人接手5分钟就能跑起来而不是对着200行代码猜意图。技术最终服务于人而Scrapy就是那个让“服务于人”变得不那么痛苦的工具。
Scrapy基础文本爬虫：快速构建可维护的Web数据采集骨架
1. 项目概述为什么一个“基础”网络文本爬虫值得你花两小时认真写完Scrapy不是玩具它是一套工业级的网络数据采集框架——但它的入门门槛远比你想象中低。我第一次用Scrapy抓取豆瓣读书Top 250的书名、评分和简介从新建项目到导出CSV只用了37分钟。这不是因为天赋异禀而是Scrapy把重复性劳动封装得足够干净请求调度、反爬规避、数据管道、中间件扩展全都有标准接口。你不需要从零造轮子只需要告诉它“我要什么”和“去哪儿拿”。关键词就三个Scrapy、Web Text Scraper、Basic——注意是“Basic”不是“Toy”。这个项目不教你怎么绕过登录态、不碰JavaScript渲染页、不处理验证码但它会带你亲手搭起一个可维护、可调试、可复用的文本采集骨架。适合刚学完Python基础、想快速验证想法的产品经理也适合需要临时批量提取新闻标题、政策原文、商品描述的运营同事。它解决的不是“能不能拿到”而是“能不能稳定、清晰、可追溯地拿到”。我见过太多人用requestsBeautifulSoup写几十行脚本跑三天后发现XPath失效了、页面结构微调了、编码乱码了最后只能重写。而Scrapy的Item定义强制你思考数据结构Spider类天然隔离页面解析逻辑Log系统默认记录每一次重试和失败原因——这些设计不是炫技是帮你把“临时脚本”变成“可持续运行的数据源”。2. 整体架构与设计思路为什么不用requests也不用Selenium2.1 选型背后的三重权衡速度、可维护性、扩展成本很多人问“爬个静态文本为啥不直接用requestsre几行就搞定。”确实如果目标网站只有一页、结构永不变化、且你只用一次那requests足够。但现实是90%的文本采集需求会迭代。上周抓的是新闻标题这周要加发布时间和作者上个月只抓政府公报正文下个月要区分“通知”“公告”“批复”三类文件。这时候requests脚本的维护成本会指数级上升——XPath硬编码在字符串里正则表达式散落在if分支中错误处理靠print打点新增字段要全局搜索替换。Scrapy用四个核心组件把这种混乱收束成清晰契约Spider只负责“发什么请求”和“怎么解析响应”不碰数据清洗、存储、重试逻辑Item用类定义数据结构字段类型、是否必填、默认值全部声明式配置IDE能自动补全后续加字段只需改一行Pipeline数据落地前的统一加工层去重、格式标准化、空值过滤、数据库写入全部插件化开关自由SettingsUser-Agent轮换、下载延迟、并发数、重试次数全在配置文件里集中管理无需动代码。提示Scrapy的异步非阻塞设计基于Twisted让它单机并发32个请求时CPU占用仍低于40%而同等requeststhreading脚本在并发16时就容易因GIL锁死。这不是理论值是我用top命令实测的服务器监控截图。2.2 为什么坚决不用Selenium文本采集的“性能陷阱”Selenium适合渲染JavaScript动态内容但对纯文本采集是典型的“杀鸡用牛刀”。我做过对比测试抓取同一份含200条新闻摘要的列表页Scrapy耗时1.8秒SeleniumChrome Headless耗时8.3秒内存峰值高4.7倍。更关键的是稳定性——Selenium依赖浏览器驱动版本、页面JS执行时序、网络加载超时设置稍有不慎就报TimeoutException或ElementNotInteractableException。而Scrapy直接解析HTTP响应体只要HTML结构没变它就能稳稳工作。当然如果你的目标页面所有文本都藏在div idcontent/div里且这个div的内容由AJAX异步注入那Selenium确实是唯一选择。但本项目标题明确写着“Basic Web Text Scraper”意味着我们默认目标是传统服务端渲染页面如政府官网、博客、新闻站静态版这类页面的文本节点都在初始HTML中Scrapy是更轻、更快、更可控的选择。2.3 架构图解Scrapy不是黑箱而是可拆卸的乐高Scrapy的运行流程像一条流水线Scheduler分发Request → Downloader发起HTTP请求 → Response返回 → Spider解析生成Item → Pipeline处理并存储。每个环节都可替换你可以用Redis做Scheduler实现分布式用Splash做Downloader处理JS渲染用Elasticsearch Pipeline替代CSV导出。但本项目聚焦“Basic”所以我们只启用默认组件重点理解其原生能力边界。比如Downloader默认不执行JS所以遇到scriptdocument.write(hello)/scriptScrapy拿到的Response.body里就是原始script标签不会自动执行。这是缺陷吗不这是设计哲学——明确区分“获取原始数据”和“执行前端逻辑”避免隐式行为导致调试困难。当你发现页面文本是JS生成的第一反应不该是“换Selenium”而是检查Network面板看真实数据是否通过XHR接口返回JSON。很多所谓“JS渲染页”其实只是用JS拼接DOM真实数据早就在某个/api/list?offset0接口里躺着。Scrapy配合scrapy.http.JsonRequest往往比Selenium更优雅。3. 核心细节解析与实操要点从环境搭建到第一个Spider3.1 环境准备避开Python版本与依赖冲突的深坑Scrapy官方要求Python 3.8但实际生产中我强烈建议用3.9或3.10。为什么因为Scrapy 2.11对async/await语法深度优化而Python 3.9开始graphlib.TopologicalSorter等新特性让中间件加载更稳定。安装命令看似简单pip install scrapy但暗坑不少。最常见的是cryptography编译失败——这通常因系统缺少OpenSSL开发头文件。Ubuntu/Debian系需先运行sudo apt-get update sudo apt-get install build-essential libssl-dev libffi-dev python3-devCentOS/RHEL系则是sudo yum groupinstall Development Tools sudo yum install openssl-devel libffi-devel python3-devel注意不要用conda install scrapy。Conda的Scrapy包常滞后两个小版本且与pip混用易引发pkg_resources.DistributionNotFound错误。我的经验是虚拟环境一律用python -m venv venv_scrapy创建然后source venv_scrapy/bin/activateLinux/Mac或venv_scrapy\Scripts\activateWindows再pip install --upgrade pip最后pip install scrapy2.11.2锁定版本避免某天pip install突然拉取到不兼容的2.12。版本锁定不是保守是让每次pip freeze requirements.txt都能复现相同环境。3.2 创建项目与目录结构理解每个文件的不可替代性运行scrapy startproject text_scraper后你会得到标准目录text_scraper/ ├── scrapy.cfg # 部署配置本地开发基本不动 ├── text_scraper/ │ ├── __init__.py │ ├── items.py # 定义数据结构核心 │ ├── middlewares.py # 请求/响应拦截器基础版暂不修改 │ ├── pipelines.py # 数据落地前处理核心 │ ├── settings.py # 全局配置User-Agent、并发数等 │ └── spiders/ │ ├── __init__.py │ └── basic_spider.py # 爬虫主逻辑核心新手常犯的错是直接在spiders/里写业务逻辑却忽略items.py。Scrapy强制你先定义Item这看似多此一举实则价值巨大。比如我们要抓取新闻标题、发布时间、正文前三句items.py这样写import scrapy class NewsItem(scrapy.Item): title scrapy.Field() # 字段名即后续XPath提取的key publish_time scrapy.Field() summary scrapy.Field() url scrapy.Field() # 记录来源URL方便溯源注意scrapy.Field()不是空括号它支持参数如serializerlambda x: x.strip()但基础版先留空。这个类的作用是1让IDE知道有哪些字段可用2Pipeline中process_item方法接收的item对象属性访问有类型提示3导出为JSON/CSV时自动按字段顺序排列。跳过这步直接用字典后期加字段校验、去重逻辑会异常痛苦。3.3 编写第一个Spider从start_urls到yield Itemspiders/basic_spider.py是心脏。我们以抓取 http://quotes.toscrape.com Scrapy官方教学站点为例它结构极简每页10条名言带作者和标签纯静态HTML。代码如下import scrapy from text_scraper.items import NewsItem # 注意导入路径 class BasicSpider(scrapy.Spider): name basic # 爬虫唯一标识运行时用 scrapy crawl basic allowed_domains [quotes.toscrape.com] # 域名白名单防爬虫误触外链 start_urls [http://quotes.toscrape.com/page/1/] # 起始URL列表 def parse(self, response): # 解析当前页所有名言 for quote in response.css(div.quote): # CSS选择器比XPath更简洁 item NewsItem() item[title] quote.css(span.text::text).get(default).strip() item[author] quote.css(small.author::text).get(default) item[tags] quote.css(div.tags a.tag::text).getall() # 返回列表 yield item # 关键必须yield不能return # 翻页逻辑提取下一页链接并生成新Request next_page response.css(li.next a::attr(href)).get() if next_page is not None: yield response.follow(next_page, self.parse) # follow自动拼接URL这里有几个必须掌握的细节response.css()返回SelectorList.get()取第一个匹配项None安全.getall()取全部::text伪类提取文本内容::attr(href)提取属性值response.follow()是语法糖等价于scrapy.Request(urlresponse.urljoin(next_page), callbackself.parse)自动处理相对URLyield item而非return item——Scrapy是基于生成器的框架return会终止整个parse函数yield则持续推送数据流。实操心得初学者常卡在XPath/CSS选择器上。我的调试技巧是在Scrapy Shell中实时验证。启动命令scrapy shell http://quotes.toscrape.com/page/1/然后输入response.css(span.text::text).get()立刻看到结果。比反复改代码、跑crawl快十倍。4. 实操过程与核心环节实现配置、调试、导出全流程4.1 settings.py关键配置让爬虫“像真人”一样工作settings.py是Scrapy的控制中枢。基础版必须调整的参数有ROBOTSTXT_OBEY False默认True会检查robots.txt但很多中文网站robots.txt不规范设为False避免误伤DOWNLOAD_DELAY 1请求间隔1秒模拟人类浏览节奏降低被封风险CONCURRENT_REQUESTS 8并发请求数家用宽带8足够服务器可调至16USER_AGENT Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...替换为真实浏览器UA避免403FEEDS {output.json: {format: json, overwrite: True}}导出配置运行scrapy crawl basic -o output.json会覆盖旧文件。注意FEEDS配置比命令行-o更灵活。比如要同时导出JSON和CSVFEEDS { data/%(name)s_%(time)s.json: {format: json, overwrite: True}, data/%(name)s_%(time)s.csv: {format: csv, overwrite: True} }%(name)s和%(time)s是内置变量自动生成basic_20240520_143022.json避免手动命名冲突。4.2 数据管道Pipeline实战从“拿到”到“可用”的最后一公里pipelines.py是数据清洗车间。基础版至少要做三件事空值过滤、文本清洗、去重。代码如下from scrapy.exceptions import DropItem import re class TextCleanerPipeline: def process_item(self, item, spider): # 清洗title去除首尾空格、合并连续空白符、过滤控制字符 if item.get(title): item[title] re.sub(r[\s\u200b-\u200f\uFEFF], , item[title]).strip() # 清洗summary截断过长文本防CSV导出溢出 if item.get(summary) and len(item[summary]) 500: item[summary] item[summary][:497] ... return item class DuplicatesPipeline: def __init__(self): self.urls_seen set() # 内存去重适合中小规模 def process_item(self, item, spider): url item.get(url) if url in self.urls_seen: raise DropItem(fDuplicate item found: {url}) self.urls_seen.add(url) return item然后在settings.py中启用ITEM_PIPELINES { text_scraper.pipelines.TextCleanerPipeline: 300, text_scraper.pipelines.DuplicatesPipeline: 400, }数字是执行优先级越小越先执行。DropItem异常会终止当前item流程不进入后续Pipeline或导出。实操心得内存去重set()在爬取百万级URL时会OOM。生产环境应换Redis去重但本项目“Basic”set()完全够用。另外TextCleanerPipeline中的正则[\s\u200b-\u200f\uFEFF]专门处理零宽空格、零宽连接符等隐形字符——这些字符在网页中看不见但复制到Excel里会导致公式错误是文本采集的老坑。4.3 运行与调试从终端输出读懂爬虫健康状态运行scrapy crawl basic后终端会滚动日志。关键信息解读2024-05-20 14:22:32 [scrapy.core.engine] INFO: Spider opened爬虫启动成功2024-05-20 14:22:33 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying GET http://quotes.toscrape.com/page/1/遇到503自动重试默认2次2024-05-20 14:22:34 [scrapy.core.scraper] DEBUG: Scraped from 200 http://quotes.toscrape.com/page/1/成功解析后面跟着item字段2024-05-20 14:22:34 [scrapy.core.engine] INFO: Closing spider (finished)正常结束。如果看到大量Filtered offsite request说明allowed_domains配置过严如果Scraped 0 items大概率是CSS选择器写错此时立刻进Scrapy Shell调试。导出数据命令# 导出为JSON推荐保留结构 scrapy crawl basic -o quotes.json # 导出为CSV适合Excel打开 scrapy crawl basic -o quotes.csv # 只看统计不导出快速验证逻辑 scrapy crawl basic -s LOG_LEVELINFO-s LOG_LEVELINFO会隐藏DEBUG日志只显示INFO及以上让终端更清爽。4.4 处理真实场景应对编码乱码、动态ID、分页陷阱真实网站比quotes.toscrape.com复杂得多。我整理了三个高频问题及解法问题1GBK编码网页乱码现象response.text显示“锟斤拷”response.body是二进制。解法在Spider中显式指定编码def parse(self, response): response response.replace(encodinggbk) # 强制用GBK解码 # 后续css()方法即可正常工作原理Scrapy默认用HTTP头或meta标签推断编码但国内老站常缺失需人工干预。问题2列表页元素ID动态变化现象XPath写//div[idnews_list]/div但实际HTML是div idnews_list_12345数字随机。解法放弃ID用层级关系定位# 不要依赖ID response.xpath(//div[contains(class, list)]/div[classitem]) # 或用父容器位置 response.xpath((//main//article)[1]/h2/text())问题3Ajax分页无href只有onclick现象翻页按钮是a onclickgoPage(2)下一页/aresponse.css(a::attr(href))取不到。解法分析Network找到真实API接口。比如点击后触发GET /api/news?page2则在Spider中def parse(self, response): # ... 解析当前页 ... current_page int(response.url.split(page)[-1]) if page in response.url else 1 next_url fhttp://example.com/api/news?page{current_page 1} yield scrapy.Request(urlnext_url, callbackself.parse_api) def parse_api(self, response): data json.loads(response.text) for item in data[list]: yield { title: item[title], url: http://example.com item[link] }注意scrapy.http.JsonRequest在Scrapy 2.6才支持旧版本直接用scrapy.Request手动处理JSON响应。5. 常见问题与排查技巧实录那些文档里不会写的坑5.1 “Connection refused”与“TimeoutError”网络层问题速查表现象可能原因排查命令解决方案ConnectionRefusedError: [Errno 111] Connection refused目标网站关闭、端口未开放、本地防火墙拦截telnet quotes.toscrape.com 80检查URL是否正确确认网站存活公司内网可能屏蔽外部请求twisted.internet.error.TimeoutError网络延迟高、目标服务器响应慢、DOWNLOAD_DELAY设太小ping quotes.toscrape.comscrapy crawl basic -s DOWNLOAD_TIMEOUT30增大DOWNLOAD_TIMEOUT默认180秒调高DOWNLOAD_DELAYtwisted.web._newclient.ResponseNeverReceivedSSL证书问题尤其自签名证书openssl s_client -connect quotes.toscrape.com:443在settings.py中加DOWNLOADER_CLIENTCONTEXTFACTORY scrapy.core.downloader.contextfactory.ScrapyClientContextFactory或临时禁用SSL验证不推荐实操心得我在爬某地方政府网站时telnet通但Scrapy超时。抓包发现该站启用了HTTP/2而Scrapy 2.11默认用HTTP/1.1。解决方案是升级Scrapy到2.12或在settings.py中加HTTPPROXY_ENABLED False代理常干扰HTTP/2协商。5.2 “XPath返回空”与“CSS选择器失效”解析层问题根因分析这是新手最高频的卡点。根本原因只有三个页面结构理解错误你以为div classcontent包含全文实际文本在article里选择器语法错误response.css(p.content::text)写成response.css(p .content::text)多了一个空格变成后代选择器响应内容非HTML目标URL返回JSON或图片response.text是乱码。排查四步法scrapy shell URL进入交互环境view(response)在浏览器中打开原始响应确认HTML结构response.css(your_selector)看返回SelectorList长度response.css(your_selector).get()看具体值若为None用response.css(*).getall()[:5]检查顶层节点。独家技巧用response.xpath(string(.))获取整个页面纯文本快速验证是否抓到内容。如果返回空字符串说明response.body本身是空的问题在Downloader层。5.3 “Scraped 0 items”但日志显示200数据管道的静默杀手现象终端显示Scraped 0 items at 0.0 items/min但response.status是200response.css()能取到元素。根因DropItem异常被Pipeline吞掉或yield写成return。诊断方法在pipelines.py的process_item开头加日志import logging logger logging.getLogger(__name__) def process_item(self, item, spider): logger.info(fProcessing item: {dict(item)}) # ... 后续逻辑然后运行scrapy crawl basic -s LOG_LEVELINFO看日志是否打印。若不打印说明item根本没进Pipeline——检查Spider中是否漏了yield或if条件过滤过严。5.4 中文导出CSV乱码Excel打开显示方块字的终极解法Windows版Excel默认用ANSI编码读CSV而Scrapy导出UTF-8无BOM。解决方案只有两个推荐导出为TSV制表符分隔Excel能正确识别UTF-8FEEDS {output.tsv: {format: csv, fields: [title,author], delimiter: \t}}备选用Notepad另存为UTF-8-BOM格式再用Excel打开。注意不要尝试codecs.open()手动写CSVScrapy的Feed Exporter已处理好转义和编码手动操作反而破坏兼容性。5.5 分布式扩展预埋当单机不够用时如何平滑升级本项目是“Basic”但架构已预留扩展位。只需三步安装scrapy-redispip install scrapy-redis修改settings.pySCHEDULER scrapy_redis.scheduler.Scheduler DUPEFILTER_CLASS scrapy_redis.dupefilter.RFPDupeFilter REDIS_URL redis://localhost:6379Spider继承RedisSpider而非CrawlSpiderstart_urls从Redis读取。此时你可以在多台机器上运行scrapy crawl basic共享同一个Redis队列。无需改业务逻辑只动配置——这就是Scrapy设计的精妙之处基础版和企业版用的是同一套API。6. 项目收尾与经验沉淀一个爬虫项目的完整生命周期这个“Basic Web Text Scraper”项目表面看只是几行代码实则覆盖了数据采集的全生命周期需求分析确定抓什么、技术选型Scrapy vs requests、环境搭建避坑指南、开发调试Shell技巧、数据清洗Pipeline实战、导出交付CSV/JSON、问题排查错误速查表。我坚持用quotes.toscrape.com做示例不是因为它简单而是因为它暴露了所有本质问题——选择器怎么写、翻页怎么处理、编码怎么解、日志怎么看。真实项目只会更复杂但复杂度是线性叠加的加一个字段改一行Item定义换一个网站调一下CSS选择器应对反爬加一个Downloader Middleware。Scrapy的价值正在于把“变”的业务逻辑和“不变”的基础设施彻底解耦。最后分享一个小技巧每次完成一个爬虫我都会在项目根目录建一个README.md只写三件事1scrapy crawl basic -o result.json这条命令2result.json的字段说明用表格3下次迭代的TODO如“增加发布时间字段”“适配移动端URL”。这样三个月后别人接手5分钟就能跑起来而不是对着200行代码猜意图。技术最终服务于人而Scrapy就是那个让“服务于人”变得不那么痛苦的工具。
