1. 项目概述与核心价值最近在社交媒体运营和内容创作圈子里一个名为PengJiyuan/xhs-skill的项目引起了我的注意。乍一看这个标题你可能会以为它又是一个关于“小红书”平台的普通爬虫或营销工具。但作为一名在数据获取和自动化领域摸爬滚打了十多年的从业者我习惯性地去深挖了一下它的源码和设计思路。结果发现这个项目远不止一个简单的脚本集合它更像是一个针对特定平台内容生态进行深度交互与数据洞察的“瑞士军刀”。它解决的核心痛点是帮助内容创作者、运营者或研究者在遵守平台规则的前提下更高效、更智能地与平台进行交互从而获取结构化的内容数据、分析趋势甚至辅助决策。简单来说xhs-skill是一个围绕“小红书”平台构建的、集成了多种实用功能的工具库或技能包。它的价值不在于粗暴地“爬取”数据而在于提供了一套相对优雅、可持续的接口调用和数据解析方案。对于需要批量分析笔记内容、监控话题热度、研究用户行为或者管理自己账号内容的人来说这个项目提供了一个可编程的、自动化的基础。它把那些需要通过手动点击、反复翻页才能完成的工作变成了几行代码就能搞定的任务极大地解放了生产力。接下来我就结合自己多年的实战经验为你深度拆解这个项目的设计思路、技术实现以及在实际应用中那些“教科书上不会写”的避坑技巧。2. 项目整体架构与技术选型解析2.1 核心设计哲学模拟与合规优先拿到一个开源项目我首先会看它的设计理念。xhs-skill给我的第一印象是它非常注重“模拟真实用户行为”和“规避风控”。这和我过去做类似项目时踩过的无数坑不谋而合。很多初学者一上来就想用最暴力的方式抓取数据结果就是IP被封、账号受限工具生命周期极短。这个项目显然吸取了教训。它的核心哲学是通过模拟官方客户端App的请求方式来与平台服务器进行交互。这意味着它并不是去解析网页版的HTML那种结构变动频繁且反爬措施多而是尝试去理解并复现手机App与后端API通信的过程。这种方式有几个显著优势数据更结构化API返回的数据通常是JSON格式干净、规整无需复杂的HTML解析直接就能提取出笔记标题、正文、点赞数、评论等关键字段。稳定性相对更高只要App的接口协议不发生重大变更这套模拟方案就能持续工作。相比于网页爬虫要应对频繁的DOM结构变化维护成本更低。更贴近“合规”边缘虽然任何自动化行为都可能触及平台规则但模拟客户端请求比直接爬取网页看起来更像“正常用户”在一定程度上降低了被识别为机器人的风险当然这绝非免死金牌频率控制至关重要。2.2 关键技术栈与依赖分析翻看项目的package.json或requirements.txt取决于它是Node.js还是Python项目这里以常见Python实现为例我们能窥见其技术选型。一个典型的xhs-skill类项目可能会依赖以下核心库HTTP客户端如requests或httpx。这是与平台服务器对话的基础。httpx支持HTTP/2和异步在高并发场景下更有优势。项目需要用它来发送GET/POST请求携带必要的参数和头部Headers。参数构造与加密库如hashlib,time,random,uuid。这是模拟请求的灵魂。平台API为了安全往往会对请求参数进行签名sign。这个签名算法通常是逆向工程App客户端得来的是项目的核心机密之一。代码中会有一个专门的函数用于在每次请求前按照平台规则生成一个唯一的、有时效性的签名附在请求参数里。数据解析库如json。用于解析API返回的JSON数据。有时返回的数据可能嵌套很深或者有关键信息被编码需要额外的处理逻辑。持久化存储可选如sqlite3或pymongo。用于将爬取到的数据保存到数据库方便后续分析。也可能用pandas直接存为CSV或Excel文件。调度与并发进阶如asyncio,aiohttp或scrapy。如果需要大规模、高速爬取异步IO是必不可少的能极大提高效率。但这也意味着风控风险呈指数级上升必须配合精细的速率限制Rate Limiting和代理IP池。注意签名算法是此类项目的命门。不同平台、甚至同一平台的不同版本签名方式都可能变化。因此项目的维护者需要持续跟踪App更新一旦签名失效整个工具就可能瘫痪。这也是为什么这类工具往往“寿命”有限且对使用者有一定技术门槛要求的原因。2.3 核心功能模块拆解根据项目名称和常见需求我推断xhs-skill可能包含以下几个核心功能模块用户/笔记搜索模块输入关键词搜索相关的用户或笔记。这需要模拟搜索接口处理分页并解析返回的搜索结果列表。笔记详情获取模块根据笔记ID获取笔记的完整信息包括标题、正文、图片/视频链接、发布者信息、互动数据点赞、收藏、评论等。用户主页信息模块获取指定用户的基本信息昵称、简介、粉丝数等及其发布的笔记列表。评论数据获取模块获取某篇笔记下的所有评论及回复这是进行舆情分析或用户洞察的关键。话题/标签聚合模块获取特定话题下的热门笔记或最新笔记。辅助工具模块可能包含Cookie管理、请求重试逻辑、代理IP集成、简易图形界面GUI或命令行界面CLI等提升易用性。3. 核心细节解析与实操要点3.1 请求头Headers的“化妆术”模拟请求的第一步就是让你的HTTP请求看起来和官方App发出的一模一样。这主要靠精心构造的请求头Headers。以下是一些必须包含且需要动态维护的关键字段User-Agent这是浏览器的“身份证”。必须使用小红书App移动端的UA字符串。一个过时的UA可能会被服务器直接拒绝。Cookie这是维持登录状态的关键。通常需要手动从已登录的App中提取通过抓包工具如Charles/Fiddler。Cookie有有效期过期后需要重新获取。项目中通常会提供一个配置文件或命令行参数让用户填入自己的Cookie。Referer表示请求的来源页面。对于API请求通常需要设置为合理的值模拟从App内某个页面跳转而来。X-Sign, X-Token 等自定义头部这些是平台自定义的签名或令牌是反爬的重点。X-Sign的生成算法是核心中的核心它通常由请求路径、参数、时间戳、一个固定盐值salt通过某种哈希算法如MD5计算得出。这个算法需要逆向工程获得。其他头部如Content-Type通常为application/json、Accept-Encoding等也需要与App保持一致。实操心得不要使用固定的Headers字典。有些字段如时间戳、签名、甚至Cookie中的某个令牌每次请求都可能需要更新。最好的做法是写一个build_headers()函数在每次发起请求前动态生成完整的Headers。3.2 参数签名Sign的逆向与实现这是整个项目技术难度最高的部分。平台为了确保请求来自合法客户端会对关键请求参数进行签名。服务器收到请求后会用同样的算法验签不一致则拒绝。逆向签名的通用步骤抓包在电脑上设置代理让手机App的流量经过电脑用抓包工具记录下一个正常请求的所有细节包括URL、所有参数包括那些你看不懂的长字符串、所有Headers。定位关键参数在抓到的请求中寻找像sign、x-sign、sig这样的参数。它就是签名。静态/动态分析通过反编译App对于Android APK或使用调试工具对于iOS尝试找到生成这个签名的代码逻辑。这需要一定的逆向工程能力。更常见的方法是“黑盒测试”通过大量抓取不同请求对比参数变化猜测签名算法的规律例如是否对所有参数按字典序排序后拼接再加盐MD5。代码复现将猜测或逆向得到的算法用Python代码实现。核心是一个函数输入是请求方法GET/POST、请求路径、请求参数一个字典输出是签名字符串。避坑技巧时间戳签名算法几乎总是包含当前时间戳秒级或毫秒级。确保你的服务器时间与网络时间同步NTP时间差太大会导致签名失效。参数顺序拼接参数时顺序非常重要。必须与官方客户端的顺序完全一致通常是按参数名的字母顺序升序或降序。盐值Salt这个秘密字符串可能硬编码在App里也可能来自之前的某个接口响应。它一旦泄露或变更签名算法就失效了。版本差异不同版本的App可能使用不同的签名算法。你的工具最好能注明其适配的App版本号。3.3 数据解析与字段映射拿到API返回的JSON数据后需要从中提取出我们关心的业务字段。小红书笔记的数据结构可能比较复杂包含多层嵌套。例如一个笔记详情接口返回的数据可能包含note对象包含笔记核心内容。note_id: 笔记IDtitle: 标题desc: 正文描述可能包含话题#和用户user对象发布者信息昵称、ID、头像image_list数组图片信息包含多种尺寸的URLvideo对象视频信息如果有interact_info对象互动数据liked_count,collected_count,comment_counttag_list数组关联标签time: 发布时间戳实操要点防御性编程API返回的数据结构可能微调或者某些字段在某些笔记中可能缺失。在解析时一定要使用.get(key, default_value)的方式避免因KeyError导致程序崩溃。数据清洗正文desc字段里可能包含HTML实体如amp;、Emoji、或各种表情符号。需要根据后续用途进行清洗如去除、保留或转码。媒体资源图片URL可能带有防盗链参数或是有时效性的。如果需要下载应尽快处理并注意请求时可能需要携带Referer等头部。4. 实操过程与核心环节实现假设我们现在要实现一个核心功能根据关键词搜索笔记并获取前N页的笔记列表及其基础信息。4.1 环境准备与基础配置首先我们需要搭建一个Python环境并安装必要的库。# 创建项目目录并进入 mkdir xhs_analyzer cd xhs_analyzer # 创建虚拟环境推荐 python -m venv venv # 激活虚拟环境 # Windows: venv\Scripts\activate # Mac/Linux: source venv/bin/activate # 安装核心库 pip install requests httpx接下来创建一个配置文件config.py存放敏感信息和常量。# config.py import time # 从抓包工具中获取的Cookie这是个人凭证切勿泄露 YOUR_COOKIE 你的完整Cookie字符串 # 请求基础URL BASE_URL https://edith.xiaohongshu.com # 搜索接口路径 SEARCH_API_PATH /api/sns/web/v1/search/notes # 请求头基础模板 BASE_HEADERS { User-Agent: Mozilla/5.0 (Linux; Android 11; ...) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/... Mobile Safari/537.36 XHS/..., # 替换为有效的移动端UA Referer: https://www.xiaohongshu.com/, Content-Type: application/json;charsetUTF-8, # Cookie 会在构建函数中动态添加 }4.2 构建请求签名函数这是最核心的部分。假设我们通过逆向得知此处为示例非真实算法签名x-sign的生成规则是将请求路径、排序后的查询参数字符串、当前时间戳、一个固定盐值拼接后取MD5值。# sign_utils.py import hashlib import time import urllib.parse def generate_x_sign(api_path: str, query_params: dict, salt: str 你的盐值逆向获得) - str: 生成X-Sign签名。 :param api_path: API路径如 /api/sns/web/v1/search/notes :param query_params: 查询参数字典 :param salt: 从App中逆向得到的固定盐值 :return: 计算得到的签名字符串 # 1. 对参数字典按key进行升序排序 sorted_params sorted(query_params.items(), keylambda x: x[0]) # 2. 将排序后的参数拼接成 key1value1key2value2 的形式 param_str .join([f{k}{v} for k, v in sorted_params]) # 3. 获取当前时间戳秒 timestamp str(int(time.time())) # 4. 拼接字符串路径 参数串 时间戳 盐值 # 注意真实算法可能更复杂可能包含空值处理、URL编码等此处为简化示例 sign_str api_path param_str timestamp salt # 5. 计算MD5 md5 hashlib.md5() md5.update(sign_str.encode(utf-8)) return md5.hexdigest()4.3 实现搜索功能现在我们可以组合上述模块实现搜索功能。# xhs_searcher.py import requests import json from config import BASE_URL, SEARCH_API_PATH, BASE_HEADERS, YOUR_COOKIE from sign_utils import generate_x_sign class XHSSearcher: def __init__(self, cookie): self.cookie cookie self.session requests.Session() # 为session设置一个默认的User-Agent实际请求头会在每次请求前动态构建 self.session.headers.update({User-Agent: BASE_HEADERS[User-Agent]}) def build_headers(self, api_path, query_params): 动态构建请求头 headers BASE_HEADERS.copy() headers[Cookie] self.cookie # 生成签名并添加到头部假设平台要求放在头部 x_sign generate_x_sign(api_path, query_params) headers[X-Sign] x_sign # 添加时间戳假设平台需要 headers[X-Timestamp] str(int(time.time())) return headers def search_notes(self, keyword: str, page: int 1, page_size: int 20): 搜索笔记 :param keyword: 搜索关键词 :param page: 页码 :param page_size: 每页数量 :return: 解析后的笔记列表 api_path SEARCH_API_PATH # 构造查询参数 query_params { keyword: keyword, page: page, page_size: page_size, # 可能还有其他固定参数如source、search_id等需从抓包中获取 search_id: ..., source: search, } headers self.build_headers(api_path, query_params) url BASE_URL api_path try: response self.session.get(url, paramsquery_params, headersheaders, timeout10) response.raise_for_status() # 检查HTTP错误 data response.json() # 解析返回数据 if data.get(success): notes data.get(data, {}).get(items, []) parsed_notes [] for item in notes: note_info item.get(note_card, {}) parsed_note { note_id: note_info.get(note_id), title: note_info.get(title), desc: note_info.get(desc), user: note_info.get(user, {}).get(nickname), likes: note_info.get(interact_info, {}).get(liked_count, 0), comments: note_info.get(interact_info, {}).get(comment_count, 0), url: fhttps://www.xiaohongshu.com/explore/{note_info.get(note_id)} } parsed_notes.append(parsed_note) return parsed_notes else: print(f搜索失败: {data.get(msg)}) return [] except requests.exceptions.RequestException as e: print(f请求出错: {e}) return [] except json.JSONDecodeError as e: print(fJSON解析出错: {e}) return [] # 使用示例 if __name__ __main__: searcher XHSSearcher(cookieYOUR_COOKIE) results searcher.search_notes(keywordPython编程, page1) for note in results[:5]: # 打印前5条结果 print(f标题: {note[title]}) print(f作者: {note[user]}) print(f点赞: {note[likes]}) print(f链接: {note[url]}) print(- * 40)4.4 实现分页与数据持久化单次搜索只能获取一页数据。要获取多页需要循环调用并注意添加延迟避免触发风控。def search_notes_by_pages(self, keyword: str, max_pages: int 5, delay: float 2.0): 获取多页搜索结果 all_notes [] for page in range(1, max_pages 1): print(f正在获取第 {page} 页...) notes self.search_notes(keyword, pagepage) if not notes: # 如果当前页没数据可能已到末页或出错 print(f第 {page} 页无数据停止爬取。) break all_notes.extend(notes) time.sleep(delay) # 关键每次请求后暂停模拟人工操作 return all_notes def save_to_csv(self, notes_list, filenamexhs_notes.csv): 将结果保存到CSV文件 import csv if not notes_list: print(无数据可保存。) return keys notes_list[0].keys() with open(filename, w, newline, encodingutf-8-sig) as f: dict_writer csv.DictWriter(f, fieldnameskeys) dict_writer.writeheader() dict_writer.writerows(notes_list) print(f数据已保存至 {filename})5. 常见问题与排查技巧实录在实际使用这类工具时你会遇到各种各样的问题。下面是我总结的一些典型问题及其排查思路。5.1 请求返回403/412状态码这是最常见的问题意味着你的请求被服务器识别为异常并拒绝了。原因1Cookie失效。Cookie是有生命周期的可能已过期。排查手动打开小红书网页版或App检查账号是否仍处于登录状态。用抓包工具重新抓取一个请求获取新的Cookie替换。原因2签名X-Sign错误。这是最可能的原因。排查用抓包工具抓取一个完全相同参数的、由官方App发起的成功请求。仔细对比你的工具生成的签名和抓包得到的签名是否完全一致。检查签名算法的每一个步骤参数排序规则、拼接顺序、是否包含了所有必要参数包括一些隐藏的默认参数、时间戳格式、盐值是否正确。检查时间戳确保服务器时间同步。原因3请求头不完整或格式错误。排查将你的请求头与抓包得到的请求头逐行对比确保每个字段的key和value都一致特别是User-Agent,Referer,Content-Type等。原因4IP或设备被风控。短时间内请求过于频繁。排查立即停止所有请求等待几小时甚至一天后再试。长期方案是使用高质量的代理IP池并严格控制请求频率如delay参数设为3-5秒以上。5.2 返回数据为空或结构不符调用接口成功了返回200但data字段为空或者解析时找不到预期的字段。原因1关键词或参数问题。某些关键词可能被限制或者分页参数超出范围。排查先用最简单的关键词如“美食”和第一页进行测试。确保page_size在合理范围内通常不超过20。原因2接口已更新但代码未同步。平台的API路径或返回数据结构可能发生了变化。排查再次抓包确认你调用的API路径和返回的JSON结构是否与代码中的解析逻辑匹配。重点检查data字段下的嵌套结构。原因3需要登录态。某些接口如获取个人收藏列表需要有效的登录Cookie。排查确认你的Cookie确实来自已登录的账号并且权限足够。5.3 如何稳定长期运行个人使用和研究可以按上述方案。但如果需要更稳定、规模化的运行需要考虑以下方面代理IP池这是必须的。使用住宅代理或高质量的数据中心代理并实现IP轮换机制。一个请求失败如遇到429状态码后自动切换到下一个IP。账号池如果涉及需要登录的接口准备多个账号的Cookie并轮流使用分摊风险。请求调度与速率限制实现一个全局的请求调度器严格控制请求间隔避免在短时间内对同一目标发送大量请求。可以加入随机延迟使其更接近人类行为。健壮的错误处理与重试网络超时、代理失效、服务器返回5xx错误等情况很常见。代码中必须包含完善的重试逻辑如最多重试3次每次换一个IP。监控与告警记录日志监控成功率、失败率。当签名失效或Cookie大规模失效时能及时发出告警。法律与合规意识务必清楚你的数据用途。仅用于个人学习、研究或公开数据的分析。不要用于骚扰用户、发布垃圾信息、进行不正当竞争或侵犯他人隐私。尊重平台的robots.txt和服务条款。5.4 关于“xhs-skill”项目的使用建议如果你直接使用PengJiyuan/xhs-skill这个开源项目以下几点需要注意仔细阅读README了解项目的功能边界、使用方法和已知限制。关注Issues和更新这类项目更新可能比较频繁为了应对平台变更。使用前看看有没有未解决的Issue关注最新版本。准备自己的Cookie项目通常不提供Cookie你需要按照文档指导自行获取并配置。理解其工作原理不要把它当黑盒。尝试阅读核心代码尤其是签名部分这样当它失效时你才有能力去排查甚至修复。控制使用频率即使工具再完善过于频繁的请求也是自寻死路。务必设置合理的延迟和并发限制。在我个人的使用经验中这类工具最宝贵的不是其代码本身而是它揭示的与平台API交互的“协议”和思路。通过学习和借鉴你可以将其原理应用到其他类似平台或者根据自己特定的业务需求进行定制化开发这才是最大的价值所在。记住技术是工具合规和善意地使用它才能走得更远。
小红书API逆向工程实战：模拟请求与签名算法解析
1. 项目概述与核心价值最近在社交媒体运营和内容创作圈子里一个名为PengJiyuan/xhs-skill的项目引起了我的注意。乍一看这个标题你可能会以为它又是一个关于“小红书”平台的普通爬虫或营销工具。但作为一名在数据获取和自动化领域摸爬滚打了十多年的从业者我习惯性地去深挖了一下它的源码和设计思路。结果发现这个项目远不止一个简单的脚本集合它更像是一个针对特定平台内容生态进行深度交互与数据洞察的“瑞士军刀”。它解决的核心痛点是帮助内容创作者、运营者或研究者在遵守平台规则的前提下更高效、更智能地与平台进行交互从而获取结构化的内容数据、分析趋势甚至辅助决策。简单来说xhs-skill是一个围绕“小红书”平台构建的、集成了多种实用功能的工具库或技能包。它的价值不在于粗暴地“爬取”数据而在于提供了一套相对优雅、可持续的接口调用和数据解析方案。对于需要批量分析笔记内容、监控话题热度、研究用户行为或者管理自己账号内容的人来说这个项目提供了一个可编程的、自动化的基础。它把那些需要通过手动点击、反复翻页才能完成的工作变成了几行代码就能搞定的任务极大地解放了生产力。接下来我就结合自己多年的实战经验为你深度拆解这个项目的设计思路、技术实现以及在实际应用中那些“教科书上不会写”的避坑技巧。2. 项目整体架构与技术选型解析2.1 核心设计哲学模拟与合规优先拿到一个开源项目我首先会看它的设计理念。xhs-skill给我的第一印象是它非常注重“模拟真实用户行为”和“规避风控”。这和我过去做类似项目时踩过的无数坑不谋而合。很多初学者一上来就想用最暴力的方式抓取数据结果就是IP被封、账号受限工具生命周期极短。这个项目显然吸取了教训。它的核心哲学是通过模拟官方客户端App的请求方式来与平台服务器进行交互。这意味着它并不是去解析网页版的HTML那种结构变动频繁且反爬措施多而是尝试去理解并复现手机App与后端API通信的过程。这种方式有几个显著优势数据更结构化API返回的数据通常是JSON格式干净、规整无需复杂的HTML解析直接就能提取出笔记标题、正文、点赞数、评论等关键字段。稳定性相对更高只要App的接口协议不发生重大变更这套模拟方案就能持续工作。相比于网页爬虫要应对频繁的DOM结构变化维护成本更低。更贴近“合规”边缘虽然任何自动化行为都可能触及平台规则但模拟客户端请求比直接爬取网页看起来更像“正常用户”在一定程度上降低了被识别为机器人的风险当然这绝非免死金牌频率控制至关重要。2.2 关键技术栈与依赖分析翻看项目的package.json或requirements.txt取决于它是Node.js还是Python项目这里以常见Python实现为例我们能窥见其技术选型。一个典型的xhs-skill类项目可能会依赖以下核心库HTTP客户端如requests或httpx。这是与平台服务器对话的基础。httpx支持HTTP/2和异步在高并发场景下更有优势。项目需要用它来发送GET/POST请求携带必要的参数和头部Headers。参数构造与加密库如hashlib,time,random,uuid。这是模拟请求的灵魂。平台API为了安全往往会对请求参数进行签名sign。这个签名算法通常是逆向工程App客户端得来的是项目的核心机密之一。代码中会有一个专门的函数用于在每次请求前按照平台规则生成一个唯一的、有时效性的签名附在请求参数里。数据解析库如json。用于解析API返回的JSON数据。有时返回的数据可能嵌套很深或者有关键信息被编码需要额外的处理逻辑。持久化存储可选如sqlite3或pymongo。用于将爬取到的数据保存到数据库方便后续分析。也可能用pandas直接存为CSV或Excel文件。调度与并发进阶如asyncio,aiohttp或scrapy。如果需要大规模、高速爬取异步IO是必不可少的能极大提高效率。但这也意味着风控风险呈指数级上升必须配合精细的速率限制Rate Limiting和代理IP池。注意签名算法是此类项目的命门。不同平台、甚至同一平台的不同版本签名方式都可能变化。因此项目的维护者需要持续跟踪App更新一旦签名失效整个工具就可能瘫痪。这也是为什么这类工具往往“寿命”有限且对使用者有一定技术门槛要求的原因。2.3 核心功能模块拆解根据项目名称和常见需求我推断xhs-skill可能包含以下几个核心功能模块用户/笔记搜索模块输入关键词搜索相关的用户或笔记。这需要模拟搜索接口处理分页并解析返回的搜索结果列表。笔记详情获取模块根据笔记ID获取笔记的完整信息包括标题、正文、图片/视频链接、发布者信息、互动数据点赞、收藏、评论等。用户主页信息模块获取指定用户的基本信息昵称、简介、粉丝数等及其发布的笔记列表。评论数据获取模块获取某篇笔记下的所有评论及回复这是进行舆情分析或用户洞察的关键。话题/标签聚合模块获取特定话题下的热门笔记或最新笔记。辅助工具模块可能包含Cookie管理、请求重试逻辑、代理IP集成、简易图形界面GUI或命令行界面CLI等提升易用性。3. 核心细节解析与实操要点3.1 请求头Headers的“化妆术”模拟请求的第一步就是让你的HTTP请求看起来和官方App发出的一模一样。这主要靠精心构造的请求头Headers。以下是一些必须包含且需要动态维护的关键字段User-Agent这是浏览器的“身份证”。必须使用小红书App移动端的UA字符串。一个过时的UA可能会被服务器直接拒绝。Cookie这是维持登录状态的关键。通常需要手动从已登录的App中提取通过抓包工具如Charles/Fiddler。Cookie有有效期过期后需要重新获取。项目中通常会提供一个配置文件或命令行参数让用户填入自己的Cookie。Referer表示请求的来源页面。对于API请求通常需要设置为合理的值模拟从App内某个页面跳转而来。X-Sign, X-Token 等自定义头部这些是平台自定义的签名或令牌是反爬的重点。X-Sign的生成算法是核心中的核心它通常由请求路径、参数、时间戳、一个固定盐值salt通过某种哈希算法如MD5计算得出。这个算法需要逆向工程获得。其他头部如Content-Type通常为application/json、Accept-Encoding等也需要与App保持一致。实操心得不要使用固定的Headers字典。有些字段如时间戳、签名、甚至Cookie中的某个令牌每次请求都可能需要更新。最好的做法是写一个build_headers()函数在每次发起请求前动态生成完整的Headers。3.2 参数签名Sign的逆向与实现这是整个项目技术难度最高的部分。平台为了确保请求来自合法客户端会对关键请求参数进行签名。服务器收到请求后会用同样的算法验签不一致则拒绝。逆向签名的通用步骤抓包在电脑上设置代理让手机App的流量经过电脑用抓包工具记录下一个正常请求的所有细节包括URL、所有参数包括那些你看不懂的长字符串、所有Headers。定位关键参数在抓到的请求中寻找像sign、x-sign、sig这样的参数。它就是签名。静态/动态分析通过反编译App对于Android APK或使用调试工具对于iOS尝试找到生成这个签名的代码逻辑。这需要一定的逆向工程能力。更常见的方法是“黑盒测试”通过大量抓取不同请求对比参数变化猜测签名算法的规律例如是否对所有参数按字典序排序后拼接再加盐MD5。代码复现将猜测或逆向得到的算法用Python代码实现。核心是一个函数输入是请求方法GET/POST、请求路径、请求参数一个字典输出是签名字符串。避坑技巧时间戳签名算法几乎总是包含当前时间戳秒级或毫秒级。确保你的服务器时间与网络时间同步NTP时间差太大会导致签名失效。参数顺序拼接参数时顺序非常重要。必须与官方客户端的顺序完全一致通常是按参数名的字母顺序升序或降序。盐值Salt这个秘密字符串可能硬编码在App里也可能来自之前的某个接口响应。它一旦泄露或变更签名算法就失效了。版本差异不同版本的App可能使用不同的签名算法。你的工具最好能注明其适配的App版本号。3.3 数据解析与字段映射拿到API返回的JSON数据后需要从中提取出我们关心的业务字段。小红书笔记的数据结构可能比较复杂包含多层嵌套。例如一个笔记详情接口返回的数据可能包含note对象包含笔记核心内容。note_id: 笔记IDtitle: 标题desc: 正文描述可能包含话题#和用户user对象发布者信息昵称、ID、头像image_list数组图片信息包含多种尺寸的URLvideo对象视频信息如果有interact_info对象互动数据liked_count,collected_count,comment_counttag_list数组关联标签time: 发布时间戳实操要点防御性编程API返回的数据结构可能微调或者某些字段在某些笔记中可能缺失。在解析时一定要使用.get(key, default_value)的方式避免因KeyError导致程序崩溃。数据清洗正文desc字段里可能包含HTML实体如amp;、Emoji、或各种表情符号。需要根据后续用途进行清洗如去除、保留或转码。媒体资源图片URL可能带有防盗链参数或是有时效性的。如果需要下载应尽快处理并注意请求时可能需要携带Referer等头部。4. 实操过程与核心环节实现假设我们现在要实现一个核心功能根据关键词搜索笔记并获取前N页的笔记列表及其基础信息。4.1 环境准备与基础配置首先我们需要搭建一个Python环境并安装必要的库。# 创建项目目录并进入 mkdir xhs_analyzer cd xhs_analyzer # 创建虚拟环境推荐 python -m venv venv # 激活虚拟环境 # Windows: venv\Scripts\activate # Mac/Linux: source venv/bin/activate # 安装核心库 pip install requests httpx接下来创建一个配置文件config.py存放敏感信息和常量。# config.py import time # 从抓包工具中获取的Cookie这是个人凭证切勿泄露 YOUR_COOKIE 你的完整Cookie字符串 # 请求基础URL BASE_URL https://edith.xiaohongshu.com # 搜索接口路径 SEARCH_API_PATH /api/sns/web/v1/search/notes # 请求头基础模板 BASE_HEADERS { User-Agent: Mozilla/5.0 (Linux; Android 11; ...) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/... Mobile Safari/537.36 XHS/..., # 替换为有效的移动端UA Referer: https://www.xiaohongshu.com/, Content-Type: application/json;charsetUTF-8, # Cookie 会在构建函数中动态添加 }4.2 构建请求签名函数这是最核心的部分。假设我们通过逆向得知此处为示例非真实算法签名x-sign的生成规则是将请求路径、排序后的查询参数字符串、当前时间戳、一个固定盐值拼接后取MD5值。# sign_utils.py import hashlib import time import urllib.parse def generate_x_sign(api_path: str, query_params: dict, salt: str 你的盐值逆向获得) - str: 生成X-Sign签名。 :param api_path: API路径如 /api/sns/web/v1/search/notes :param query_params: 查询参数字典 :param salt: 从App中逆向得到的固定盐值 :return: 计算得到的签名字符串 # 1. 对参数字典按key进行升序排序 sorted_params sorted(query_params.items(), keylambda x: x[0]) # 2. 将排序后的参数拼接成 key1value1key2value2 的形式 param_str .join([f{k}{v} for k, v in sorted_params]) # 3. 获取当前时间戳秒 timestamp str(int(time.time())) # 4. 拼接字符串路径 参数串 时间戳 盐值 # 注意真实算法可能更复杂可能包含空值处理、URL编码等此处为简化示例 sign_str api_path param_str timestamp salt # 5. 计算MD5 md5 hashlib.md5() md5.update(sign_str.encode(utf-8)) return md5.hexdigest()4.3 实现搜索功能现在我们可以组合上述模块实现搜索功能。# xhs_searcher.py import requests import json from config import BASE_URL, SEARCH_API_PATH, BASE_HEADERS, YOUR_COOKIE from sign_utils import generate_x_sign class XHSSearcher: def __init__(self, cookie): self.cookie cookie self.session requests.Session() # 为session设置一个默认的User-Agent实际请求头会在每次请求前动态构建 self.session.headers.update({User-Agent: BASE_HEADERS[User-Agent]}) def build_headers(self, api_path, query_params): 动态构建请求头 headers BASE_HEADERS.copy() headers[Cookie] self.cookie # 生成签名并添加到头部假设平台要求放在头部 x_sign generate_x_sign(api_path, query_params) headers[X-Sign] x_sign # 添加时间戳假设平台需要 headers[X-Timestamp] str(int(time.time())) return headers def search_notes(self, keyword: str, page: int 1, page_size: int 20): 搜索笔记 :param keyword: 搜索关键词 :param page: 页码 :param page_size: 每页数量 :return: 解析后的笔记列表 api_path SEARCH_API_PATH # 构造查询参数 query_params { keyword: keyword, page: page, page_size: page_size, # 可能还有其他固定参数如source、search_id等需从抓包中获取 search_id: ..., source: search, } headers self.build_headers(api_path, query_params) url BASE_URL api_path try: response self.session.get(url, paramsquery_params, headersheaders, timeout10) response.raise_for_status() # 检查HTTP错误 data response.json() # 解析返回数据 if data.get(success): notes data.get(data, {}).get(items, []) parsed_notes [] for item in notes: note_info item.get(note_card, {}) parsed_note { note_id: note_info.get(note_id), title: note_info.get(title), desc: note_info.get(desc), user: note_info.get(user, {}).get(nickname), likes: note_info.get(interact_info, {}).get(liked_count, 0), comments: note_info.get(interact_info, {}).get(comment_count, 0), url: fhttps://www.xiaohongshu.com/explore/{note_info.get(note_id)} } parsed_notes.append(parsed_note) return parsed_notes else: print(f搜索失败: {data.get(msg)}) return [] except requests.exceptions.RequestException as e: print(f请求出错: {e}) return [] except json.JSONDecodeError as e: print(fJSON解析出错: {e}) return [] # 使用示例 if __name__ __main__: searcher XHSSearcher(cookieYOUR_COOKIE) results searcher.search_notes(keywordPython编程, page1) for note in results[:5]: # 打印前5条结果 print(f标题: {note[title]}) print(f作者: {note[user]}) print(f点赞: {note[likes]}) print(f链接: {note[url]}) print(- * 40)4.4 实现分页与数据持久化单次搜索只能获取一页数据。要获取多页需要循环调用并注意添加延迟避免触发风控。def search_notes_by_pages(self, keyword: str, max_pages: int 5, delay: float 2.0): 获取多页搜索结果 all_notes [] for page in range(1, max_pages 1): print(f正在获取第 {page} 页...) notes self.search_notes(keyword, pagepage) if not notes: # 如果当前页没数据可能已到末页或出错 print(f第 {page} 页无数据停止爬取。) break all_notes.extend(notes) time.sleep(delay) # 关键每次请求后暂停模拟人工操作 return all_notes def save_to_csv(self, notes_list, filenamexhs_notes.csv): 将结果保存到CSV文件 import csv if not notes_list: print(无数据可保存。) return keys notes_list[0].keys() with open(filename, w, newline, encodingutf-8-sig) as f: dict_writer csv.DictWriter(f, fieldnameskeys) dict_writer.writeheader() dict_writer.writerows(notes_list) print(f数据已保存至 {filename})5. 常见问题与排查技巧实录在实际使用这类工具时你会遇到各种各样的问题。下面是我总结的一些典型问题及其排查思路。5.1 请求返回403/412状态码这是最常见的问题意味着你的请求被服务器识别为异常并拒绝了。原因1Cookie失效。Cookie是有生命周期的可能已过期。排查手动打开小红书网页版或App检查账号是否仍处于登录状态。用抓包工具重新抓取一个请求获取新的Cookie替换。原因2签名X-Sign错误。这是最可能的原因。排查用抓包工具抓取一个完全相同参数的、由官方App发起的成功请求。仔细对比你的工具生成的签名和抓包得到的签名是否完全一致。检查签名算法的每一个步骤参数排序规则、拼接顺序、是否包含了所有必要参数包括一些隐藏的默认参数、时间戳格式、盐值是否正确。检查时间戳确保服务器时间同步。原因3请求头不完整或格式错误。排查将你的请求头与抓包得到的请求头逐行对比确保每个字段的key和value都一致特别是User-Agent,Referer,Content-Type等。原因4IP或设备被风控。短时间内请求过于频繁。排查立即停止所有请求等待几小时甚至一天后再试。长期方案是使用高质量的代理IP池并严格控制请求频率如delay参数设为3-5秒以上。5.2 返回数据为空或结构不符调用接口成功了返回200但data字段为空或者解析时找不到预期的字段。原因1关键词或参数问题。某些关键词可能被限制或者分页参数超出范围。排查先用最简单的关键词如“美食”和第一页进行测试。确保page_size在合理范围内通常不超过20。原因2接口已更新但代码未同步。平台的API路径或返回数据结构可能发生了变化。排查再次抓包确认你调用的API路径和返回的JSON结构是否与代码中的解析逻辑匹配。重点检查data字段下的嵌套结构。原因3需要登录态。某些接口如获取个人收藏列表需要有效的登录Cookie。排查确认你的Cookie确实来自已登录的账号并且权限足够。5.3 如何稳定长期运行个人使用和研究可以按上述方案。但如果需要更稳定、规模化的运行需要考虑以下方面代理IP池这是必须的。使用住宅代理或高质量的数据中心代理并实现IP轮换机制。一个请求失败如遇到429状态码后自动切换到下一个IP。账号池如果涉及需要登录的接口准备多个账号的Cookie并轮流使用分摊风险。请求调度与速率限制实现一个全局的请求调度器严格控制请求间隔避免在短时间内对同一目标发送大量请求。可以加入随机延迟使其更接近人类行为。健壮的错误处理与重试网络超时、代理失效、服务器返回5xx错误等情况很常见。代码中必须包含完善的重试逻辑如最多重试3次每次换一个IP。监控与告警记录日志监控成功率、失败率。当签名失效或Cookie大规模失效时能及时发出告警。法律与合规意识务必清楚你的数据用途。仅用于个人学习、研究或公开数据的分析。不要用于骚扰用户、发布垃圾信息、进行不正当竞争或侵犯他人隐私。尊重平台的robots.txt和服务条款。5.4 关于“xhs-skill”项目的使用建议如果你直接使用PengJiyuan/xhs-skill这个开源项目以下几点需要注意仔细阅读README了解项目的功能边界、使用方法和已知限制。关注Issues和更新这类项目更新可能比较频繁为了应对平台变更。使用前看看有没有未解决的Issue关注最新版本。准备自己的Cookie项目通常不提供Cookie你需要按照文档指导自行获取并配置。理解其工作原理不要把它当黑盒。尝试阅读核心代码尤其是签名部分这样当它失效时你才有能力去排查甚至修复。控制使用频率即使工具再完善过于频繁的请求也是自寻死路。务必设置合理的延迟和并发限制。在我个人的使用经验中这类工具最宝贵的不是其代码本身而是它揭示的与平台API交互的“协议”和思路。通过学习和借鉴你可以将其原理应用到其他类似平台或者根据自己特定的业务需求进行定制化开发这才是最大的价值所在。记住技术是工具合规和善意地使用它才能走得更远。
