前言影视行业线上内容体量持续增长影片基础信息、观众影评、评分数据不仅是影视爱好者参考内容也是影视行业市场分析、舆情研判、内容热度统计的重要数据源。依靠人工逐页整理影片资料与用户评论不仅耗时耗力还无法实现海量数据的统一汇总与长期跟踪。借助 Python 爬虫技术可自动化完成影视站点影片名录、海报信息、上映时间、主演阵容、剧情简介、用户评分、短评、长影评等多维度数据的批量抓取搭配数据解析与持久化方案构建完整的影视信息数据集。本文围绕影视网站爬虫项目展开实战讲解结合静态页面解析、多级页面联动抓取、评论分页处理、数据清洗存储等核心环节搭配完整可运行代码与底层原理拆解同时针对影视站点常见反爬策略给出落地解决方案。整套方案兼顾实用性与扩展性适配主流影视资讯、视频播放类站点的数据采集场景。本文所用核心第三方库及官方文档链接如下可直接跳转查阅安装与使用细则Requests 库HTTP 请求交互BeautifulSoup4 库HTML 结构化解析Re 正则库文本数据清洗与提取JSON 库结构化数据解析OpenPyXL 库Excel 数据归档SQLite3 库轻量本地数据存储一、项目整体规划与技术选型1.1 项目采集目标结合影视网站页面结构与实际使用需求本次爬虫明确两级采集目标分为影片基础数据与影评数据两大模块具体采集字段如下影片基础信息影片名称、上映年份、影片类型、地区、主演、导演、片长、综合评分、评分人数、剧情简介、影片封面链接、影片详情页链接用户影评数据评论用户昵称、用户评分、评论发布时间、评论内容、点赞数、回复数、评论类型短评 / 长影评附加功能支持影片列表分页抓取、影评分页遍历、无效数据过滤、数据本地文件存储与轻量数据库存储。1.2 页面结构分析主流影视网站分为列表页、影片详情页、影评分页页三级页面页面逻辑如下 列表页集中展示多部影片的精简信息每一条影片条目均附带独立详情页链接进入详情页可获取影片完整介绍、演职人员、剧情梗概等内容影评区域单独划分板块多数站点将影评分为多页展示部分站点影评数据通过接口异步加载。本次项目同时覆盖静态 HTML 渲染影评与简易接口影评两种场景提升代码适配性。1.3 技术栈选型说明结合影视站点页面特征、数据格式与运维成本确定整套技术方案下表为各组件用途与选型依据表格组件名称核心功能选型优势Python 3.8主体开发语言生态完善爬虫相关第三方库丰富语法简洁易维护跨平台运行稳定Requests发送 HTTP/HTTPS 请求支持自定义请求头、超时设置、会话保持适配网页与数据接口请求BeautifulSoup4解析静态 HTML 页面标签定位精准语法简单高效提取页面内文本、链接、属性数据re 正则表达式文本清洗、零散数据提取针对无固定标签的零散文本、特殊字符、数字类数据完成精准匹配json解析接口返回 JSON 数据影视站点异步影评多采用 JSON 格式该库可直接完成字典转换与字段提取SQLite3本地轻量数据库存储Python 内置库无需额外安装配置单文件存储适合中小型数据集归档OpenPyXLExcel 表格写入汇总支持 xlsx 格式读写兼容各类办公软件便于非技术人员查看与统计数据time请求延时控制原生标准库实现访问间隔模拟规避基础反爬拦截二、运行环境搭建与初始化配置2.1 基础环境校验本项目基于 Python 3.8 及以上版本开发环境配置完成后在终端执行以下命令校验版本bash运行python --version若正常输出版本号则代表 Python 基础环境可用。Windows、Linux、macOS 全平台通用该校验方式。2.2 第三方库安装除 Python 内置库外其余依赖库通过 pip 工具在线安装依次执行以下安装命令bash运行pip install requests pip install beautifulsoup4 pip install openpyxl安装完成后可执行pip list查看已安装包列表确认无缺失后进入开发环节。2.3 SQLite 数据库初始化SQLite 为文件型数据库无需单独启动服务直接通过代码即可创建数据库文件与数据表。结合采集字段设计两张数据表分别存储影片基础信息与影评信息实现数据分类存储避免字段混乱。数据表设计规范字段命名贴合采集内容文本类型设置合理长度主键自增保证数据唯一性统一字符编码防止中文乱码。sql-- 影片信息表 CREATE TABLE IF NOT EXISTS movie_info ( id INTEGER PRIMARY KEY AUTOINCREMENT, movie_name TEXT NOT NULL, release_year TEXT, movie_type TEXT, region TEXT, director TEXT, actor TEXT, duration TEXT, score TEXT, score_count TEXT, intro TEXT, cover_url TEXT, detail_url TEXT, create_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); -- 影片影评表 CREATE TABLE IF NOT EXISTS movie_comment ( id INTEGER PRIMARY KEY AUTOINCREMENT, movie_name TEXT NOT NULL, user_name TEXT, user_score TEXT, comment_time TEXT, comment_content TEXT, like_num TEXT, reply_num TEXT, comment_type TEXT, create_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP );两张数据表通过movie_name字段建立关联关系可后续根据影片名称联合查询影片与对应影评数据。三、爬虫核心技术原理详解3.1 多级页面抓取逻辑原理本次项目属于典型的多级联动爬虫执行流程分为三层递进式抓取也是影视类爬虫的核心逻辑 第一步爬虫向影片列表页地址发送 HTTP 请求获取列表页完整 HTML 源码通过解析库提取每一部影片的名称、精简信息以及详情页链接第二步遍历所有详情页链接逐个发起二次请求进入影片详情页解析导演、主演、剧情简介等深度数据第三步在详情页中定位影评板块链接或异步接口地址分页请求影评数据完成评论内容采集。整个流程遵循 “列表页→详情页→评论页” 的层级顺序每一级页面的数据都是下一级抓取的前置条件代码中通过循环遍历链接实现自动化跳转无需人工干预页面切换。3.2 静态页面数据解析原理影视网站绝大多数基础信息通过静态 HTML 标签渲染展示BeautifulSoup4 的解析本质是将 HTML 字符串转换为 DOM 文档树结构。DOM 树以标签为节点存在明确的父子、兄弟层级关系。开发者通过标签名、class 属性、id 属性、标签层级组合等方式定位目标数据所在节点再调用文本提取、属性提取方法剥离 HTML 标签保留有效文本内容。对于页面中格式混乱、夹杂换行符、空格、特殊符号的文本数据结合正则表达式完成清洗匹配有效字符并剔除无效占位符保证入库数据整洁统一。3.3 异步接口影评解析原理部分影视站点为提升页面加载速度不会将全部影评直接嵌入 HTML 页面而是在页面加载完成后通过 JavaScript 向后端接口发起请求动态加载影评数据接口返回数据格式普遍为 JSON。JSON 是轻量级结构化数据格式本质为键值对组合。Python 内置 json 库可将 JSON 字符串直接转换为 Python 字典或列表开发者根据接口文档或抓包获取的字段名直接读取对应评论内容、用户信息等字段该方式相比解析 HTML 标签效率更高、定位更简单。3.4 影视站点反爬机制与应对原理影视类网站流量较大普遍部署基础反爬策略常见拦截方式及应对逻辑如下 第一请求头校验。服务器会检测请求来源的身份标识无浏览器标识的请求会直接返回 403 状态码。应对方式为在请求中配置标准 User-Agent模拟主流浏览器身份。 第二高频请求拦截。短时间内大量请求会被判定为恶意爬虫触发 IP 临时限制。应对方式为在每一次请求后添加固定延时模拟人工浏览的访问节奏。 第三字符编码与页面跳转。部分站点会对响应编码做特殊处理未正确设置编码会出现中文乱码需动态识别网页编码并配置。 第四链接校验。部分详情页、评论页链接存在格式限制需基于列表页相对链接拼接完整绝对链接否则会出现请求失败。整体反爬应对思路以 “模拟人工行为” 为核心不使用高频并发、不伪造非法请求参数保证爬虫稳定运行。3.5 数据持久化存储原理本项目采用双存储方案SQLite 数据库用于结构化数据长期归档支持查询、筛选、联合统计Excel 文件用于可视化汇总方便日常查阅。数据库存储原理代码建立程序与数据库文件的连接通过执行 SQL 语句将内存中的字典、列表数据逐条写入数据表执行事务提交完成数据落地操作结束后关闭连接释放资源。Excel 存储原理借助 OpenPyXL 创建工作簿与工作表先写入表头再遍历数据集逐行填充内容最终将内存中的表格数据保存为本地文件。四、完整代码实现与逐段原理解析4.1 全局配置与库导入模块该模块统一管理所有全局参数、请求头、数据库配置、基础路径实现参数解耦后续修改站点地址、延时时间、爬取页数时无需改动业务逻辑代码。python运行# 导入全部依赖库 import requests from bs4 import BeautifulSoup import re import json import sqlite3 import openpyxl import time from datetime import datetime # 全局配置项 # 请求头配置模拟浏览器访问 HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9 } # 目标站点基础地址根据实际影视网站修改 BASE_DOMAIN https://www.example-movie.com # 影片列表页地址分页参数预留 MOVIE_LIST_URL https://www.example-movie.com/list?page{} # 影评接口地址异步加载影评使用 COMMENT_API_URL https://www.example-movie.com/api/comment?movie_id{}page{} # 爬取配置 MAX_LIST_PAGE 3 # 列表页最大爬取页数 MAX_COMMENT_PAGE 2 # 单部影片影评最大爬取页数 REQUEST_DELAY 1.5 # 单次请求延时单位秒 # 文件与数据库配置 DB_FILE movie_data.db EXCEL_SAVE_PATH 影视影片及影评数据.xlsx代码原理集中式全局配置是工程化开发的基础规范。请求头中User-Agent为核心反爬字段用于伪装浏览器身份域名、URL、页数、延时等参数单独定义适配不同影视站点时仅需修改对应配置项代码复用性大幅提升。延时参数统一设置全局控制访问频率。4.2 数据库通用操作模块封装 SQLite 数据库的连接、关闭、数据插入通用函数分为影片数据插入、影评数据插入两个独立方法同时增加异常捕获与事务处理保证数据写入稳定性。python运行def get_db_conn(): 创建SQLite数据库连接 try: conn sqlite3.connect(DB_FILE) # 设置游标 cur conn.cursor() return conn, cur except Exception as e: print(f数据库连接失败{str(e)}) return None, None def close_db_conn(conn, cur): 关闭数据库连接与游标 if cur: cur.close() if conn: conn.close() def insert_movie_data(conn, cur, movie_dict): 插入单条影片基础信息至数据库 insert_sql INSERT INTO movie_info (movie_name, release_year, movie_type, region, director, actor, duration, score, score_count, intro, cover_url, detail_url) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?) try: cur.execute(insert_sql, ( movie_dict[movie_name], movie_dict[release_year], movie_dict[movie_type], movie_dict[region], movie_dict[director], movie_dict[actor], movie_dict[duration], movie_dict[score], movie_dict[score_count], movie_dict[intro], movie_dict[cover_url], movie_dict[detail_url] )) conn.commit() print(f影片【{movie_dict[movie_name]}】基础信息入库成功) except Exception as e: conn.rollback() print(f影片【{movie_dict[movie_name]}】数据入库失败{str(e)}) def insert_comment_data(conn, cur, comment_list, movie_name): 批量插入单部影片影评数据 insert_sql INSERT INTO movie_comment (movie_name, user_name, user_score, comment_time, comment_content, like_num, reply_num, comment_type) VALUES (?, ?, ?, ?, ?, ?, ?, ?) try: for comment in comment_list: cur.execute(insert_sql, ( movie_name, comment[user_name], comment[user_score], comment[comment_time], comment[comment_content], comment[like_num], comment[reply_num], comment[comment_type] )) conn.commit() print(f影片【{movie_name}】{len(comment_list)}条影评入库成功) except Exception as e: conn.rollback() print(f影评数据入库失败{str(e)})代码原理sqlite3采用占位符?传递参数可有效规避注入风险。数据库操作遵循 “连接 - 执行 - 提交 - 关闭” 标准流程异常场景下执行rollback事务回滚避免脏数据写入。影片数据单条插入影评数据批量循环插入兼顾逻辑区分与执行效率。4.3 通用网页请求模块封装统一的 HTTP 请求函数支持普通网页请求与接口请求内置状态码判断、编码自动识别、异常捕获所有页面请求统一调用该函数减少重复代码。python运行def send_request(url): 通用请求函数返回页面源码或接口数据 try: response requests.get(url, headersHEADERS, timeout12) # 判断请求状态 if response.status_code 200: # 自动适配编码解决中文乱码 response.encoding response.apparent_encoding return response.text else: print(f请求异常状态码{response.status_code}地址{url}) return None except requests.exceptions.Timeout: print(f请求超时{url}) return None except Exception as e: print(f网络请求错误{str(e)}地址{url}) return None finally: # 全局延时控制访问频率 time.sleep(REQUEST_DELAY)代码原理该函数为整个爬虫的请求入口统一处理超时、网络异常、状态码异常三类常见问题。response.apparent_encoding自动识别网页原始编码彻底解决影视站点常见的中文乱码问题。finally语句保证无论请求成功或失败都会执行延时操作严格控制请求间隔。4.4 影片列表页解析模块遍历影片列表分页解析每一条影片条目提取影片名称、封面链接、详情页链接等基础数据为后续详情页抓取提供数据源。python运行def parse_movie_list(html): 解析影片列表页返回影片信息列表 movie_list [] if not html: return movie_list # 初始化解析器 soup BeautifulSoup(html, html.parser) # 定位所有影片条目容器根据实际页面class修改 movie_items soup.find_all(div, class_movie-item) for item in movie_items: movie_data {} # 提取影片名称 name_tag item.find(h3, class_movie-name) movie_data[movie_name] name_tag.get_text(stripTrue) if name_tag else 未知影片 # 提取详情页相对链接拼接完整地址 detail_a name_tag.find(a) if name_tag else None if detail_a: relative_url detail_a.get(href, ) if relative_url.startswith(/): movie_data[detail_url] BASE_DOMAIN relative_url else: movie_data[detail_url] relative_url else: movie_data[detail_url] # 提取封面图片链接 cover_img item.find(img, class_movie-cover) movie_data[cover_url] cover_img.get(src, ) if cover_img else # 提取评分 score_tag item.find(span, class_movie-score) movie_data[score] score_tag.get_text(stripTrue) if score_tag else 暂无评分 movie_list.append(movie_data) return movie_list代码原理利用find_all批量获取所有影片容器标签再逐层嵌套定位子标签。影视站点链接多为相对路径代码中增加路径判断逻辑自动拼接域名生成完整绝对链接防止后续请求地址失效。所有标签提取均做空值判断避免因页面元素缺失导致程序崩溃。4.5 影片详情页解析模块进入单部影片详情页解析导演、主演、上映年份、影片类型、剧情简介等深度数据同时使用正则表达式清洗文本中的多余换行、空格等无效字符。python运行def parse_movie_detail(html): 解析影片详情页补充完整影片信息 detail_data { release_year: 未知, movie_type: 未知, region: 未知, director: 未知, actor: 未知, duration: 未知, score_count: 0, intro: 暂无简介 } if not html: return detail_data soup BeautifulSoup(html, html.parser) # 上映年份、地区、类型 info_box soup.find(div, class_movie-basic-info) if info_box: info_text info_box.get_text(stripTrue) # 正则提取年份 year_res re.search(r(\d{4}), info_text) if year_res: detail_data[release_year] year_res.group(1) # 分割文本提取类型与地区 info_split re.split(r[\s/], info_text) detail_data[movie_type] 、.join([i for i in info_split if len(i) 6]) # 导演与主演 star_box soup.find(div, class_movie-star) if star_box: star_text star_box.get_text(stripTrue) director_res re.search(r导演[:](.*?)主演, star_text, re.S) actor_res re.search(r主演[:](.*?)$, star_text, re.S) if director_res: detail_data[director] director_res.group(1).strip() if actor_res: detail_data[actor] actor_res.group(1).strip() # 片长 time_tag soup.find(span, class_movie-time) if time_tag: detail_data[duration] time_tag.get_text(stripTrue) # 评分人数 count_tag soup.find(span, class_score-num) if count_tag: detail_data[score_count] count_tag.get_text(stripTrue) # 剧情简介正则清洗换行与空格 intro_tag soup.find(div, class_movie-intro) if intro_tag: raw_intro intro_tag.get_text() # 清洗无效字符 clean_intro re.sub(r\s, , raw_intro) detail_data[intro] clean_intro return detail_data代码原理详情页数据分布零散部分信息无独立标签因此结合正则表达式完成精准提取。正则re.S参数开启单行匹配模式支持跨行文本检索。re.sub替换所有连续空白字符完成剧情简介的标准化清洗。函数预设默认值保证即使页面元素缺失字典字段依然完整。4.6 影评数据解析模块分为静态 HTML 影评解析与 JSON 接口影评解析两套逻辑适配不同影视站点的加载方式自动区分短评与长影评类型。python运行def parse_comment_html(html, comment_type短评): 解析静态页面影评数据 comment_list [] if not html: return comment_list soup BeautifulSoup(html, html.parser) comment_items soup.find_all(div, class_comment-item) for item in comment_items: comment {} # 用户名 user_tag item.find(span, class_user-name) comment[user_name] user_tag.get_text(stripTrue) if user_tag else 匿名用户 # 用户评分 user_score item.find(span, class_user-score) comment[user_score] user_score.get_text(stripTrue) if user_score else 无评分 # 评论时间 time_tag item.find(span, class_comment-time) comment[comment_time] time_tag.get_text(stripTrue) if time_tag else 未知时间 # 评论内容 content_tag item.find(p, class_comment-content) comment[comment_content] content_tag.get_text(stripTrue) if content_tag else # 点赞、回复数 like_tag item.find(span, class_like-num) reply_tag item.find(span, class_reply-num) comment[like_num] like_tag.get_text(stripTrue) if like_tag else 0 comment[reply_num] reply_tag.get_text(stripTrue) if reply_tag else 0 # 评论类型 comment[comment_type] comment_type comment_list.append(comment) return comment_list def parse_comment_json(json_str): 解析JSON接口返回的影评数据 comment_list [] try: data json.loads(json_str) comment_arr data.get(data, []) for item in comment_arr: comment {} comment[user_name] item.get(username, 匿名用户) comment[user_score] item.get(score, 无评分) comment[comment_time] item.get(createtime, 未知时间) comment[comment_content] item.get(content, ) comment[like_num] str(item.get(likenum, 0)) comment[reply_num] str(item.get(replynum, 0)) # 区分评论类型 c_type 长影评 if item.get(is_long, 0) 1 else 短评 comment[comment_type] c_type comment_list.append(comment) except Exception as e: print(fJSON数据解析失败{str(e)}) return comment_list代码原理静态影评依靠标签遍历提取数据接口影评通过json.loads转换为字典后直接读取键值。代码根据接口返回字段is_long自动划分短评与长影评分类存储。两套解析函数相互独立使用者可根据目标站点技术架构灵活选用。4.7 Excel 数据导出模块读取 SQLite 数据库中全部影片与影评数据分工作表写入 Excel 文件实现数据可视化汇总。python运行def export_data_to_excel(): 将数据库数据导出至Excel # 创建工作簿 wb openpyxl.Workbook() # 删除默认工作表 wb.remove(wb.active) # 新建影片信息工作表 sheet1 wb.create_sheet(影片基础信息) movie_header [序号, 影片名称, 上映年份, 影片类型, 地区, 导演, 主演, 片长, 综合评分, 评分人数, 剧情简介, 封面链接, 详情链接, 采集时间] sheet1.append(movie_header) # 新建影评信息工作表 sheet2 wb.create_sheet(用户影评数据) comment_header [序号, 影片名称, 用户名, 个人评分, 评论时间, 评论内容, 点赞数, 回复数, 评论类型, 采集时间] sheet2.append(comment_header) # 读取数据库数据 conn, cur get_db_conn() if not conn: return try: # 写入影片数据 cur.execute(SELECT * FROM movie_info) movie_rows cur.fetchall() for row in movie_rows: sheet1.append(row) # 写入影评数据 cur.execute(SELECT * FROM movie_comment) comment_rows cur.fetchall() for row in comment_rows: sheet2.append(row) # 保存文件 wb.save(EXCEL_SAVE_PATH) print(fExcel数据导出完成文件路径{EXCEL_SAVE_PATH}) except Exception as e: print(fExcel导出失败{str(e)}) finally: close_db_conn(conn, cur)代码原理使用多工作表区分不同类型数据结构清晰便于查阅。先定义表头再逐行遍历数据库查询结果完成写入。文件保存前捕获异常避免文件损坏或写入失败。4.8 主调度函数整合所有功能模块按照 “分页爬取列表→遍历详情页→采集影评→数据入库→导出 Excel” 的完整流程执行是程序入口核心逻辑。python运行def main(): print( 影视网站影片及影评爬虫启动 ) # 初始化数据库连接 conn, cur get_db_conn() if not conn: return # 循环爬取影片列表分页 for page in range(1, MAX_LIST_PAGE 1): print(f\n正在爬取第{page}页影片列表...) list_url MOVIE_LIST_URL.format(page) list_html send_request(list_url) movie_list parse_movie_list(list_html) if not movie_list: print(f第{page}页无影片数据跳过) continue # 遍历单页所有影片 for movie in movie_list: movie_name movie[movie_name] detail_url movie[detail_url] print(f开始采集影片{movie_name}) # 爬取并解析详情页 detail_html send_request(detail_url) detail_info parse_movie_detail(detail_html) # 合并完整影片数据 full_movie_data {**movie, **detail_info} # 影片数据入库 insert_movie_data(conn, cur, full_movie_data) # 分页爬取影评JSON接口方式 for c_page in range(1, MAX_COMMENT_PAGE 1): comment_api COMMENT_API_URL.format(movie_name, c_page) comment_json send_request(comment_api) comment_data parse_comment_json(comment_json) if comment_data: insert_comment_data(conn, cur, comment_data, movie_name) # 关闭数据库连接 close_db_conn(conn, cur) # 导出Excel文件 export_data_to_excel() print(\n 爬虫全部任务执行完成 ) if __name__ __main__: main()代码原理采用双层循环结构外层循环遍历影片列表分页内层循环遍历单页内所有影片。通过字典合并整合列表页与详情页数据保证字段完整。影评部分同样开启分页循环实现多页评论采集。程序执行完毕后自动触发 Excel 导出实现全流程自动化。五、代码适配、运行规范与合规说明5.1 站点适配修改要点本代码为通用模板对接不同影视网站时核心修改集中在页面标签与 URL 地址两部分打开浏览器开发者工具定位影片条目、影片基础信息、评论条目对应的class属性替换代码中find_all、find方法内的类名根据目标站点实际分页规则、影评接口地址修改全局配置中的MOVIE_LIST_URL与COMMENT_API_URL若站点仅使用静态 HTML 展示影评将影评抓取逻辑切换为parse_comment_html函数。5.2 运行操作步骤完成环境搭建与依赖库安装确认 SQLite 数据库文件可正常创建根据目标影视网站页面结构修改标签名称、URL、分页参数等配置直接运行 Python 文件控制台会实时输出爬取日志、入库状态程序运行结束后在同级目录下查看movie_data.db数据库文件与 Excel 汇总文件。5.3 合规与风险提示本项目仅用于编程学习、技术研究场景使用过程中必须遵守目标网站用户协议与《网络安全法》相关规定。禁止大规模高频爬取、批量倒卖影视数据与用户评论信息不得绕过站点权限限制抓取付费内容、隐私信息。合理设置请求延时避免对目标服务器造成负载压力。5.4 常见问题排查页面解析数据为空检查标签 class 名称是否与目标页面一致核对 URL 地址是否有效打印 HTML 源码确认页面是否正常返回JSON 影评解析失败抓包确认影评接口地址、请求方式、请求参数是否变更检查接口返回数据格式中文乱码优先使用代码中自动编码逻辑若仍存在乱码可手动指定编码为utf-8或gbk文件无法保存检查文件路径权限关闭已打开的 Excel 与数据库文件避免文件被占用。六、项目优化与功能扩展方向6.1 功能扩展增加图片下载功能基于影片封面链接使用 Requests 实现图片批量下载分类保存至本地文件夹关键词筛选爬取增加影片类型、地区、评分筛选逻辑仅抓取指定条件的影片数据评论情感分析结合分词与情感分析库对影评内容做正负向情感判定实现舆情分析增量爬取记录上一次爬取时间仅采集新增影片与新增评论减少重复请求。6.2 性能与稳定性优化会话保持使用requests.Session创建持久会话复用连接提升连续请求效率代理 IP 配置针对存在 IP 限制的站点增加代理池逻辑轮换 IP 地址多线程异步抓取针对海量影片场景使用多线程拆分任务在控制并发数的前提下提升爬取速度日志系统集成 logging 库分级记录运行日志、异常日志便于长期运维与问题定位。七、项目总结本文完成了一套完整的影视网站多级爬虫项目覆盖列表页、详情页、评论页三级页面抓取同时兼容静态 HTML 与 JSON 接口两种主流数据加载方式搭配 SQLite 与 Excel 双方案完成数据持久化。整套代码采用模块化设计功能拆分清晰注释完善具备较强的通用性与可维护性。通过本项目可系统掌握多级联动爬虫开发、HTML 与 JSON 混合解析、正则文本清洗、轻量数据库操作、反爬基础应对等核心技能。影视类爬虫是互联网数据采集领域的经典场景其页面层级结构、数据格式特征具备行业代表性所学逻辑可快速迁移至资讯、动漫、综艺等同类站点的采集开发工作中。在实际落地使用时始终以合规为前提结合站点规则灵活调整爬取策略保障爬虫长期稳定运行。
Python 爬虫实战：影视网站影片信息与影评抓取全解析
前言影视行业线上内容体量持续增长影片基础信息、观众影评、评分数据不仅是影视爱好者参考内容也是影视行业市场分析、舆情研判、内容热度统计的重要数据源。依靠人工逐页整理影片资料与用户评论不仅耗时耗力还无法实现海量数据的统一汇总与长期跟踪。借助 Python 爬虫技术可自动化完成影视站点影片名录、海报信息、上映时间、主演阵容、剧情简介、用户评分、短评、长影评等多维度数据的批量抓取搭配数据解析与持久化方案构建完整的影视信息数据集。本文围绕影视网站爬虫项目展开实战讲解结合静态页面解析、多级页面联动抓取、评论分页处理、数据清洗存储等核心环节搭配完整可运行代码与底层原理拆解同时针对影视站点常见反爬策略给出落地解决方案。整套方案兼顾实用性与扩展性适配主流影视资讯、视频播放类站点的数据采集场景。本文所用核心第三方库及官方文档链接如下可直接跳转查阅安装与使用细则Requests 库HTTP 请求交互BeautifulSoup4 库HTML 结构化解析Re 正则库文本数据清洗与提取JSON 库结构化数据解析OpenPyXL 库Excel 数据归档SQLite3 库轻量本地数据存储一、项目整体规划与技术选型1.1 项目采集目标结合影视网站页面结构与实际使用需求本次爬虫明确两级采集目标分为影片基础数据与影评数据两大模块具体采集字段如下影片基础信息影片名称、上映年份、影片类型、地区、主演、导演、片长、综合评分、评分人数、剧情简介、影片封面链接、影片详情页链接用户影评数据评论用户昵称、用户评分、评论发布时间、评论内容、点赞数、回复数、评论类型短评 / 长影评附加功能支持影片列表分页抓取、影评分页遍历、无效数据过滤、数据本地文件存储与轻量数据库存储。1.2 页面结构分析主流影视网站分为列表页、影片详情页、影评分页页三级页面页面逻辑如下 列表页集中展示多部影片的精简信息每一条影片条目均附带独立详情页链接进入详情页可获取影片完整介绍、演职人员、剧情梗概等内容影评区域单独划分板块多数站点将影评分为多页展示部分站点影评数据通过接口异步加载。本次项目同时覆盖静态 HTML 渲染影评与简易接口影评两种场景提升代码适配性。1.3 技术栈选型说明结合影视站点页面特征、数据格式与运维成本确定整套技术方案下表为各组件用途与选型依据表格组件名称核心功能选型优势Python 3.8主体开发语言生态完善爬虫相关第三方库丰富语法简洁易维护跨平台运行稳定Requests发送 HTTP/HTTPS 请求支持自定义请求头、超时设置、会话保持适配网页与数据接口请求BeautifulSoup4解析静态 HTML 页面标签定位精准语法简单高效提取页面内文本、链接、属性数据re 正则表达式文本清洗、零散数据提取针对无固定标签的零散文本、特殊字符、数字类数据完成精准匹配json解析接口返回 JSON 数据影视站点异步影评多采用 JSON 格式该库可直接完成字典转换与字段提取SQLite3本地轻量数据库存储Python 内置库无需额外安装配置单文件存储适合中小型数据集归档OpenPyXLExcel 表格写入汇总支持 xlsx 格式读写兼容各类办公软件便于非技术人员查看与统计数据time请求延时控制原生标准库实现访问间隔模拟规避基础反爬拦截二、运行环境搭建与初始化配置2.1 基础环境校验本项目基于 Python 3.8 及以上版本开发环境配置完成后在终端执行以下命令校验版本bash运行python --version若正常输出版本号则代表 Python 基础环境可用。Windows、Linux、macOS 全平台通用该校验方式。2.2 第三方库安装除 Python 内置库外其余依赖库通过 pip 工具在线安装依次执行以下安装命令bash运行pip install requests pip install beautifulsoup4 pip install openpyxl安装完成后可执行pip list查看已安装包列表确认无缺失后进入开发环节。2.3 SQLite 数据库初始化SQLite 为文件型数据库无需单独启动服务直接通过代码即可创建数据库文件与数据表。结合采集字段设计两张数据表分别存储影片基础信息与影评信息实现数据分类存储避免字段混乱。数据表设计规范字段命名贴合采集内容文本类型设置合理长度主键自增保证数据唯一性统一字符编码防止中文乱码。sql-- 影片信息表 CREATE TABLE IF NOT EXISTS movie_info ( id INTEGER PRIMARY KEY AUTOINCREMENT, movie_name TEXT NOT NULL, release_year TEXT, movie_type TEXT, region TEXT, director TEXT, actor TEXT, duration TEXT, score TEXT, score_count TEXT, intro TEXT, cover_url TEXT, detail_url TEXT, create_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); -- 影片影评表 CREATE TABLE IF NOT EXISTS movie_comment ( id INTEGER PRIMARY KEY AUTOINCREMENT, movie_name TEXT NOT NULL, user_name TEXT, user_score TEXT, comment_time TEXT, comment_content TEXT, like_num TEXT, reply_num TEXT, comment_type TEXT, create_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP );两张数据表通过movie_name字段建立关联关系可后续根据影片名称联合查询影片与对应影评数据。三、爬虫核心技术原理详解3.1 多级页面抓取逻辑原理本次项目属于典型的多级联动爬虫执行流程分为三层递进式抓取也是影视类爬虫的核心逻辑 第一步爬虫向影片列表页地址发送 HTTP 请求获取列表页完整 HTML 源码通过解析库提取每一部影片的名称、精简信息以及详情页链接第二步遍历所有详情页链接逐个发起二次请求进入影片详情页解析导演、主演、剧情简介等深度数据第三步在详情页中定位影评板块链接或异步接口地址分页请求影评数据完成评论内容采集。整个流程遵循 “列表页→详情页→评论页” 的层级顺序每一级页面的数据都是下一级抓取的前置条件代码中通过循环遍历链接实现自动化跳转无需人工干预页面切换。3.2 静态页面数据解析原理影视网站绝大多数基础信息通过静态 HTML 标签渲染展示BeautifulSoup4 的解析本质是将 HTML 字符串转换为 DOM 文档树结构。DOM 树以标签为节点存在明确的父子、兄弟层级关系。开发者通过标签名、class 属性、id 属性、标签层级组合等方式定位目标数据所在节点再调用文本提取、属性提取方法剥离 HTML 标签保留有效文本内容。对于页面中格式混乱、夹杂换行符、空格、特殊符号的文本数据结合正则表达式完成清洗匹配有效字符并剔除无效占位符保证入库数据整洁统一。3.3 异步接口影评解析原理部分影视站点为提升页面加载速度不会将全部影评直接嵌入 HTML 页面而是在页面加载完成后通过 JavaScript 向后端接口发起请求动态加载影评数据接口返回数据格式普遍为 JSON。JSON 是轻量级结构化数据格式本质为键值对组合。Python 内置 json 库可将 JSON 字符串直接转换为 Python 字典或列表开发者根据接口文档或抓包获取的字段名直接读取对应评论内容、用户信息等字段该方式相比解析 HTML 标签效率更高、定位更简单。3.4 影视站点反爬机制与应对原理影视类网站流量较大普遍部署基础反爬策略常见拦截方式及应对逻辑如下 第一请求头校验。服务器会检测请求来源的身份标识无浏览器标识的请求会直接返回 403 状态码。应对方式为在请求中配置标准 User-Agent模拟主流浏览器身份。 第二高频请求拦截。短时间内大量请求会被判定为恶意爬虫触发 IP 临时限制。应对方式为在每一次请求后添加固定延时模拟人工浏览的访问节奏。 第三字符编码与页面跳转。部分站点会对响应编码做特殊处理未正确设置编码会出现中文乱码需动态识别网页编码并配置。 第四链接校验。部分详情页、评论页链接存在格式限制需基于列表页相对链接拼接完整绝对链接否则会出现请求失败。整体反爬应对思路以 “模拟人工行为” 为核心不使用高频并发、不伪造非法请求参数保证爬虫稳定运行。3.5 数据持久化存储原理本项目采用双存储方案SQLite 数据库用于结构化数据长期归档支持查询、筛选、联合统计Excel 文件用于可视化汇总方便日常查阅。数据库存储原理代码建立程序与数据库文件的连接通过执行 SQL 语句将内存中的字典、列表数据逐条写入数据表执行事务提交完成数据落地操作结束后关闭连接释放资源。Excel 存储原理借助 OpenPyXL 创建工作簿与工作表先写入表头再遍历数据集逐行填充内容最终将内存中的表格数据保存为本地文件。四、完整代码实现与逐段原理解析4.1 全局配置与库导入模块该模块统一管理所有全局参数、请求头、数据库配置、基础路径实现参数解耦后续修改站点地址、延时时间、爬取页数时无需改动业务逻辑代码。python运行# 导入全部依赖库 import requests from bs4 import BeautifulSoup import re import json import sqlite3 import openpyxl import time from datetime import datetime # 全局配置项 # 请求头配置模拟浏览器访问 HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9 } # 目标站点基础地址根据实际影视网站修改 BASE_DOMAIN https://www.example-movie.com # 影片列表页地址分页参数预留 MOVIE_LIST_URL https://www.example-movie.com/list?page{} # 影评接口地址异步加载影评使用 COMMENT_API_URL https://www.example-movie.com/api/comment?movie_id{}page{} # 爬取配置 MAX_LIST_PAGE 3 # 列表页最大爬取页数 MAX_COMMENT_PAGE 2 # 单部影片影评最大爬取页数 REQUEST_DELAY 1.5 # 单次请求延时单位秒 # 文件与数据库配置 DB_FILE movie_data.db EXCEL_SAVE_PATH 影视影片及影评数据.xlsx代码原理集中式全局配置是工程化开发的基础规范。请求头中User-Agent为核心反爬字段用于伪装浏览器身份域名、URL、页数、延时等参数单独定义适配不同影视站点时仅需修改对应配置项代码复用性大幅提升。延时参数统一设置全局控制访问频率。4.2 数据库通用操作模块封装 SQLite 数据库的连接、关闭、数据插入通用函数分为影片数据插入、影评数据插入两个独立方法同时增加异常捕获与事务处理保证数据写入稳定性。python运行def get_db_conn(): 创建SQLite数据库连接 try: conn sqlite3.connect(DB_FILE) # 设置游标 cur conn.cursor() return conn, cur except Exception as e: print(f数据库连接失败{str(e)}) return None, None def close_db_conn(conn, cur): 关闭数据库连接与游标 if cur: cur.close() if conn: conn.close() def insert_movie_data(conn, cur, movie_dict): 插入单条影片基础信息至数据库 insert_sql INSERT INTO movie_info (movie_name, release_year, movie_type, region, director, actor, duration, score, score_count, intro, cover_url, detail_url) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?) try: cur.execute(insert_sql, ( movie_dict[movie_name], movie_dict[release_year], movie_dict[movie_type], movie_dict[region], movie_dict[director], movie_dict[actor], movie_dict[duration], movie_dict[score], movie_dict[score_count], movie_dict[intro], movie_dict[cover_url], movie_dict[detail_url] )) conn.commit() print(f影片【{movie_dict[movie_name]}】基础信息入库成功) except Exception as e: conn.rollback() print(f影片【{movie_dict[movie_name]}】数据入库失败{str(e)}) def insert_comment_data(conn, cur, comment_list, movie_name): 批量插入单部影片影评数据 insert_sql INSERT INTO movie_comment (movie_name, user_name, user_score, comment_time, comment_content, like_num, reply_num, comment_type) VALUES (?, ?, ?, ?, ?, ?, ?, ?) try: for comment in comment_list: cur.execute(insert_sql, ( movie_name, comment[user_name], comment[user_score], comment[comment_time], comment[comment_content], comment[like_num], comment[reply_num], comment[comment_type] )) conn.commit() print(f影片【{movie_name}】{len(comment_list)}条影评入库成功) except Exception as e: conn.rollback() print(f影评数据入库失败{str(e)})代码原理sqlite3采用占位符?传递参数可有效规避注入风险。数据库操作遵循 “连接 - 执行 - 提交 - 关闭” 标准流程异常场景下执行rollback事务回滚避免脏数据写入。影片数据单条插入影评数据批量循环插入兼顾逻辑区分与执行效率。4.3 通用网页请求模块封装统一的 HTTP 请求函数支持普通网页请求与接口请求内置状态码判断、编码自动识别、异常捕获所有页面请求统一调用该函数减少重复代码。python运行def send_request(url): 通用请求函数返回页面源码或接口数据 try: response requests.get(url, headersHEADERS, timeout12) # 判断请求状态 if response.status_code 200: # 自动适配编码解决中文乱码 response.encoding response.apparent_encoding return response.text else: print(f请求异常状态码{response.status_code}地址{url}) return None except requests.exceptions.Timeout: print(f请求超时{url}) return None except Exception as e: print(f网络请求错误{str(e)}地址{url}) return None finally: # 全局延时控制访问频率 time.sleep(REQUEST_DELAY)代码原理该函数为整个爬虫的请求入口统一处理超时、网络异常、状态码异常三类常见问题。response.apparent_encoding自动识别网页原始编码彻底解决影视站点常见的中文乱码问题。finally语句保证无论请求成功或失败都会执行延时操作严格控制请求间隔。4.4 影片列表页解析模块遍历影片列表分页解析每一条影片条目提取影片名称、封面链接、详情页链接等基础数据为后续详情页抓取提供数据源。python运行def parse_movie_list(html): 解析影片列表页返回影片信息列表 movie_list [] if not html: return movie_list # 初始化解析器 soup BeautifulSoup(html, html.parser) # 定位所有影片条目容器根据实际页面class修改 movie_items soup.find_all(div, class_movie-item) for item in movie_items: movie_data {} # 提取影片名称 name_tag item.find(h3, class_movie-name) movie_data[movie_name] name_tag.get_text(stripTrue) if name_tag else 未知影片 # 提取详情页相对链接拼接完整地址 detail_a name_tag.find(a) if name_tag else None if detail_a: relative_url detail_a.get(href, ) if relative_url.startswith(/): movie_data[detail_url] BASE_DOMAIN relative_url else: movie_data[detail_url] relative_url else: movie_data[detail_url] # 提取封面图片链接 cover_img item.find(img, class_movie-cover) movie_data[cover_url] cover_img.get(src, ) if cover_img else # 提取评分 score_tag item.find(span, class_movie-score) movie_data[score] score_tag.get_text(stripTrue) if score_tag else 暂无评分 movie_list.append(movie_data) return movie_list代码原理利用find_all批量获取所有影片容器标签再逐层嵌套定位子标签。影视站点链接多为相对路径代码中增加路径判断逻辑自动拼接域名生成完整绝对链接防止后续请求地址失效。所有标签提取均做空值判断避免因页面元素缺失导致程序崩溃。4.5 影片详情页解析模块进入单部影片详情页解析导演、主演、上映年份、影片类型、剧情简介等深度数据同时使用正则表达式清洗文本中的多余换行、空格等无效字符。python运行def parse_movie_detail(html): 解析影片详情页补充完整影片信息 detail_data { release_year: 未知, movie_type: 未知, region: 未知, director: 未知, actor: 未知, duration: 未知, score_count: 0, intro: 暂无简介 } if not html: return detail_data soup BeautifulSoup(html, html.parser) # 上映年份、地区、类型 info_box soup.find(div, class_movie-basic-info) if info_box: info_text info_box.get_text(stripTrue) # 正则提取年份 year_res re.search(r(\d{4}), info_text) if year_res: detail_data[release_year] year_res.group(1) # 分割文本提取类型与地区 info_split re.split(r[\s/], info_text) detail_data[movie_type] 、.join([i for i in info_split if len(i) 6]) # 导演与主演 star_box soup.find(div, class_movie-star) if star_box: star_text star_box.get_text(stripTrue) director_res re.search(r导演[:](.*?)主演, star_text, re.S) actor_res re.search(r主演[:](.*?)$, star_text, re.S) if director_res: detail_data[director] director_res.group(1).strip() if actor_res: detail_data[actor] actor_res.group(1).strip() # 片长 time_tag soup.find(span, class_movie-time) if time_tag: detail_data[duration] time_tag.get_text(stripTrue) # 评分人数 count_tag soup.find(span, class_score-num) if count_tag: detail_data[score_count] count_tag.get_text(stripTrue) # 剧情简介正则清洗换行与空格 intro_tag soup.find(div, class_movie-intro) if intro_tag: raw_intro intro_tag.get_text() # 清洗无效字符 clean_intro re.sub(r\s, , raw_intro) detail_data[intro] clean_intro return detail_data代码原理详情页数据分布零散部分信息无独立标签因此结合正则表达式完成精准提取。正则re.S参数开启单行匹配模式支持跨行文本检索。re.sub替换所有连续空白字符完成剧情简介的标准化清洗。函数预设默认值保证即使页面元素缺失字典字段依然完整。4.6 影评数据解析模块分为静态 HTML 影评解析与 JSON 接口影评解析两套逻辑适配不同影视站点的加载方式自动区分短评与长影评类型。python运行def parse_comment_html(html, comment_type短评): 解析静态页面影评数据 comment_list [] if not html: return comment_list soup BeautifulSoup(html, html.parser) comment_items soup.find_all(div, class_comment-item) for item in comment_items: comment {} # 用户名 user_tag item.find(span, class_user-name) comment[user_name] user_tag.get_text(stripTrue) if user_tag else 匿名用户 # 用户评分 user_score item.find(span, class_user-score) comment[user_score] user_score.get_text(stripTrue) if user_score else 无评分 # 评论时间 time_tag item.find(span, class_comment-time) comment[comment_time] time_tag.get_text(stripTrue) if time_tag else 未知时间 # 评论内容 content_tag item.find(p, class_comment-content) comment[comment_content] content_tag.get_text(stripTrue) if content_tag else # 点赞、回复数 like_tag item.find(span, class_like-num) reply_tag item.find(span, class_reply-num) comment[like_num] like_tag.get_text(stripTrue) if like_tag else 0 comment[reply_num] reply_tag.get_text(stripTrue) if reply_tag else 0 # 评论类型 comment[comment_type] comment_type comment_list.append(comment) return comment_list def parse_comment_json(json_str): 解析JSON接口返回的影评数据 comment_list [] try: data json.loads(json_str) comment_arr data.get(data, []) for item in comment_arr: comment {} comment[user_name] item.get(username, 匿名用户) comment[user_score] item.get(score, 无评分) comment[comment_time] item.get(createtime, 未知时间) comment[comment_content] item.get(content, ) comment[like_num] str(item.get(likenum, 0)) comment[reply_num] str(item.get(replynum, 0)) # 区分评论类型 c_type 长影评 if item.get(is_long, 0) 1 else 短评 comment[comment_type] c_type comment_list.append(comment) except Exception as e: print(fJSON数据解析失败{str(e)}) return comment_list代码原理静态影评依靠标签遍历提取数据接口影评通过json.loads转换为字典后直接读取键值。代码根据接口返回字段is_long自动划分短评与长影评分类存储。两套解析函数相互独立使用者可根据目标站点技术架构灵活选用。4.7 Excel 数据导出模块读取 SQLite 数据库中全部影片与影评数据分工作表写入 Excel 文件实现数据可视化汇总。python运行def export_data_to_excel(): 将数据库数据导出至Excel # 创建工作簿 wb openpyxl.Workbook() # 删除默认工作表 wb.remove(wb.active) # 新建影片信息工作表 sheet1 wb.create_sheet(影片基础信息) movie_header [序号, 影片名称, 上映年份, 影片类型, 地区, 导演, 主演, 片长, 综合评分, 评分人数, 剧情简介, 封面链接, 详情链接, 采集时间] sheet1.append(movie_header) # 新建影评信息工作表 sheet2 wb.create_sheet(用户影评数据) comment_header [序号, 影片名称, 用户名, 个人评分, 评论时间, 评论内容, 点赞数, 回复数, 评论类型, 采集时间] sheet2.append(comment_header) # 读取数据库数据 conn, cur get_db_conn() if not conn: return try: # 写入影片数据 cur.execute(SELECT * FROM movie_info) movie_rows cur.fetchall() for row in movie_rows: sheet1.append(row) # 写入影评数据 cur.execute(SELECT * FROM movie_comment) comment_rows cur.fetchall() for row in comment_rows: sheet2.append(row) # 保存文件 wb.save(EXCEL_SAVE_PATH) print(fExcel数据导出完成文件路径{EXCEL_SAVE_PATH}) except Exception as e: print(fExcel导出失败{str(e)}) finally: close_db_conn(conn, cur)代码原理使用多工作表区分不同类型数据结构清晰便于查阅。先定义表头再逐行遍历数据库查询结果完成写入。文件保存前捕获异常避免文件损坏或写入失败。4.8 主调度函数整合所有功能模块按照 “分页爬取列表→遍历详情页→采集影评→数据入库→导出 Excel” 的完整流程执行是程序入口核心逻辑。python运行def main(): print( 影视网站影片及影评爬虫启动 ) # 初始化数据库连接 conn, cur get_db_conn() if not conn: return # 循环爬取影片列表分页 for page in range(1, MAX_LIST_PAGE 1): print(f\n正在爬取第{page}页影片列表...) list_url MOVIE_LIST_URL.format(page) list_html send_request(list_url) movie_list parse_movie_list(list_html) if not movie_list: print(f第{page}页无影片数据跳过) continue # 遍历单页所有影片 for movie in movie_list: movie_name movie[movie_name] detail_url movie[detail_url] print(f开始采集影片{movie_name}) # 爬取并解析详情页 detail_html send_request(detail_url) detail_info parse_movie_detail(detail_html) # 合并完整影片数据 full_movie_data {**movie, **detail_info} # 影片数据入库 insert_movie_data(conn, cur, full_movie_data) # 分页爬取影评JSON接口方式 for c_page in range(1, MAX_COMMENT_PAGE 1): comment_api COMMENT_API_URL.format(movie_name, c_page) comment_json send_request(comment_api) comment_data parse_comment_json(comment_json) if comment_data: insert_comment_data(conn, cur, comment_data, movie_name) # 关闭数据库连接 close_db_conn(conn, cur) # 导出Excel文件 export_data_to_excel() print(\n 爬虫全部任务执行完成 ) if __name__ __main__: main()代码原理采用双层循环结构外层循环遍历影片列表分页内层循环遍历单页内所有影片。通过字典合并整合列表页与详情页数据保证字段完整。影评部分同样开启分页循环实现多页评论采集。程序执行完毕后自动触发 Excel 导出实现全流程自动化。五、代码适配、运行规范与合规说明5.1 站点适配修改要点本代码为通用模板对接不同影视网站时核心修改集中在页面标签与 URL 地址两部分打开浏览器开发者工具定位影片条目、影片基础信息、评论条目对应的class属性替换代码中find_all、find方法内的类名根据目标站点实际分页规则、影评接口地址修改全局配置中的MOVIE_LIST_URL与COMMENT_API_URL若站点仅使用静态 HTML 展示影评将影评抓取逻辑切换为parse_comment_html函数。5.2 运行操作步骤完成环境搭建与依赖库安装确认 SQLite 数据库文件可正常创建根据目标影视网站页面结构修改标签名称、URL、分页参数等配置直接运行 Python 文件控制台会实时输出爬取日志、入库状态程序运行结束后在同级目录下查看movie_data.db数据库文件与 Excel 汇总文件。5.3 合规与风险提示本项目仅用于编程学习、技术研究场景使用过程中必须遵守目标网站用户协议与《网络安全法》相关规定。禁止大规模高频爬取、批量倒卖影视数据与用户评论信息不得绕过站点权限限制抓取付费内容、隐私信息。合理设置请求延时避免对目标服务器造成负载压力。5.4 常见问题排查页面解析数据为空检查标签 class 名称是否与目标页面一致核对 URL 地址是否有效打印 HTML 源码确认页面是否正常返回JSON 影评解析失败抓包确认影评接口地址、请求方式、请求参数是否变更检查接口返回数据格式中文乱码优先使用代码中自动编码逻辑若仍存在乱码可手动指定编码为utf-8或gbk文件无法保存检查文件路径权限关闭已打开的 Excel 与数据库文件避免文件被占用。六、项目优化与功能扩展方向6.1 功能扩展增加图片下载功能基于影片封面链接使用 Requests 实现图片批量下载分类保存至本地文件夹关键词筛选爬取增加影片类型、地区、评分筛选逻辑仅抓取指定条件的影片数据评论情感分析结合分词与情感分析库对影评内容做正负向情感判定实现舆情分析增量爬取记录上一次爬取时间仅采集新增影片与新增评论减少重复请求。6.2 性能与稳定性优化会话保持使用requests.Session创建持久会话复用连接提升连续请求效率代理 IP 配置针对存在 IP 限制的站点增加代理池逻辑轮换 IP 地址多线程异步抓取针对海量影片场景使用多线程拆分任务在控制并发数的前提下提升爬取速度日志系统集成 logging 库分级记录运行日志、异常日志便于长期运维与问题定位。七、项目总结本文完成了一套完整的影视网站多级爬虫项目覆盖列表页、详情页、评论页三级页面抓取同时兼容静态 HTML 与 JSON 接口两种主流数据加载方式搭配 SQLite 与 Excel 双方案完成数据持久化。整套代码采用模块化设计功能拆分清晰注释完善具备较强的通用性与可维护性。通过本项目可系统掌握多级联动爬虫开发、HTML 与 JSON 混合解析、正则文本清洗、轻量数据库操作、反爬基础应对等核心技能。影视类爬虫是互联网数据采集领域的经典场景其页面层级结构、数据格式特征具备行业代表性所学逻辑可快速迁移至资讯、动漫、综艺等同类站点的采集开发工作中。在实际落地使用时始终以合规为前提结合站点规则灵活调整爬取策略保障爬虫长期稳定运行。
