1. 项目概述为什么我们需要一个ChatGPT对话导出工具如果你和我一样深度依赖ChatGPT进行工作流梳理、创意构思甚至是代码调试那么一个无法回避的痛点很快就会浮现如何系统性地保存、整理和复用那些散落在不同对话线程中的宝贵内容官方界面虽然提供了基础的对话历史查看功能但在批量导出、结构化归档和本地化搜索方面几乎是一片空白。想象一下你花了数小时与AI探讨一个复杂的技术方案生成了详尽的步骤、代码片段和决策逻辑这些内容的价值远超单次对话。但当几周后需要回顾或基于此进行下一步时你不得不在一长串历史记录中费力地翻找体验极差。这正是yaph/chatgpt-export这个开源项目诞生的背景。它不是一个复杂的AI模型而是一个极其务实的“数据搬运工”和“内容管家”。其核心使命非常明确授权用户完全掌控自己的对话数据将那些存储在云端、访问受限的对话记录以一种开放、结构化、可长期保存的格式如Markdown、PDF、HTML完整地“夺回”到本地硬盘上。对于内容创作者、研究者、开发者和任何希望构建个人知识库的用户而言这无异于打开了一扇新的大门。我最初接触这个工具是因为需要整理过去半年与ChatGPT关于一个特定技术栈比如React性能优化的所有讨论。手动复制粘贴不仅低效还会丢失对话的上下文结构和元信息如模型版本、时间戳。而chatgpt-export通过自动化脚本一次性将上百条对话整理成井井有条的文件夹和文件每段对话都保留了完整的问答轮次并支持关键词搜索效率提升何止十倍。接下来我将深入拆解这个项目的设计思路、技术实现、实操细节以及那些只有真正用过才能知道的“坑”与技巧。2. 核心功能与设计思路拆解2.1 核心需求解析用户到底想要什么在动手开发或使用这样一个工具之前我们必须先厘清核心需求。用户对ChatGPT对话导出的需求并非简单的“复制文字”而是包含多个层次完整性导出的内容必须包含完整的对话上下文包括用户的每一次提问Prompt和AI的每一次回复Response不能有遗漏或截断。结构化原始对话是线性的但导出后需要良好的结构。例如清晰的对话标题、分轮次标识、说话人标签User / Assistant甚至支持按对话线程、日期进行自动分类归档。格式友好导出的文件格式需要兼顾可读性、可编辑性和可发布性。Markdown因其纯文本、轻量且支持富格式的特性成为首选。PDF则适合分享与打印HTML便于在浏览器中直接浏览并保留基础样式。元信息保留对话的创建时间、使用的模型如GPT-3.5-Turbo, GPT-4、对话ID等元数据对于后续的检索、分析和溯源至关重要。批量化与自动化用户往往有导出大量历史对话的需求因此工具必须支持批量操作并能通过命令行或配置实现自动化避免人工重复劳动。隐私与安全由于涉及个人账户和对话数据工具必须在本地运行确保数据不经过任何第三方服务器。认证方式也需要安全可靠。yaph/chatgpt-export的设计正是围绕这六点展开的。它没有试图做一个功能庞杂的全能型应用而是精准地聚焦于“数据导出”这一单一职责并通过模块化设计如导出器Exporter来优雅地支持多种格式这正是其成功的关键。2.2 技术方案选型为什么是Node.js与Puppeteer项目主要采用了Node.js运行时和Puppeteer库来实现。这个选型背后有非常实际的考量Node.js的优势对于需要处理HTTP请求、文件系统操作批量生成、写入文件和流式任务的工具来说Node.js的异步非阻塞I/O模型非常合适。其丰富的npm生态也为处理Markdown生成、PDF渲染等任务提供了大量现成模块。Puppeteer的作用这是整个工具的灵魂。ChatGPT的Web界面是一个复杂的单页应用SPA其对话数据通常通过前端JavaScript动态加载和渲染并不直接存在于初始页面的HTML源码中。直接调用未公开的API接口存在风险可能违反服务条款且接口不稳定。Puppeteer作为一个“无头浏览器”可以程序化地模拟真实用户登录、点击、滚动等操作让网站的前端代码正常执行从而获取到完全渲染后的页面数据。这种方式虽然比直接调用API慢但稳定性高、模拟人类行为、能绕过一些简单的反爬机制并且只要Web界面不发生颠覆性改版工具就相对健壮。规避官方API限制OpenAI提供的官方API主要用于发起新的对话并不提供批量导出历史对话的功能。因此通过模拟浏览器访问用户自己的历史记录页面成为了获取这些数据的唯一可行途径。注意使用Puppeteer模拟登录和抓取数据必须严格遵守目标网站chat.openai.com的服务条款。该工具的设计初衷是供用户管理自己的数据严禁用于爬取他人数据、进行高频请求或其他可能对服务造成压力的行为。2.3 项目架构概览虽然项目代码可能不断迭代但其核心架构通常包含以下几个模块认证管理器 (Auth Manager)负责处理用户登录。通常需要用户提供Session Token或使用OAuth流程。工具会将认证信息安全地存储在本地如配置文件或系统密钥链避免每次运行都需登录。对话爬取器 (Conversation Crawler)这是Puppeteer大显身手的地方。它负责导航到ChatGPT的历史记录页面。自动滚动加载所有历史对话列表。解析列表获取每个对话的标题、ID和链接。根据筛选条件如日期范围、关键词选择需要导出的对话。逐个打开对话详情页通过解析DOM结构或监听网络请求提取完整的对话内容和元数据。数据处理器 (Data Processor)将爬取到的原始JSON或HTML数据清洗、转换为内部统一的对话数据模型。导出器 (Exporter)这是一个多态模块根据用户选择的格式调用不同的子导出器。Markdown导出器将对话转换为.md文件通常会用#标题表示对话主题用**User:**和**Assistant:**来区分角色代码块会使用 进行包裹。PDF导出器可能依赖如puppeteer的page.pdf()功能或将Markdown转换为HTML后再用无头浏览器打印为PDF。HTML导出器生成一个独立的.html文件内置简单的CSS样式便于在浏览器中美观地阅读。JSON导出器导出原始结构化数据供其他程序进一步处理。文件系统管理器 (FS Manager)负责在本地创建有组织的目录结构例如按年份/月份归档并将导出器生成的文件写入对应位置。3. 详细实操指南从零开始导出你的对话3.1 环境准备与工具安装假设你已经在本地开发环境以下是详细的准备步骤安装Node.js确保你的系统安装了Node.js版本16或以上。你可以从官网下载安装包或使用版本管理工具如nvm进行安装。# 检查Node.js和npm版本 node --version npm --version获取项目代码克隆yaph/chatgpt-export仓库到本地。git clone https://github.com/yaph/chatgpt-export.git cd chatgpt-export安装项目依赖项目根目录下通常有package.json文件运行以下命令安装所有依赖包括Puppeteer它会自动下载一个Chromium浏览器。npm install实操心得安装Puppeteer的过程可能会因网络问题而缓慢或失败。你可以考虑设置镜像源或者使用PUPPETEER_DOWNLOAD_HOST环境变量指定下载镜像。有时跳过Chromium下载使用系统已安装的Chrome会更快捷需在代码中配置executablePath。配置认证信息这是最关键的一步。工具需要你的ChatGPT登录凭证来访问历史页面。绝对不要在代码中硬编码密码。安全的方式是使用Session Token。登录ChatGPT网页版。打开浏览器开发者工具F12切换到Application或存储标签页。在Cookies中找到https://chat.openai.com寻找名为__Secure-next-auth.session-token的Cookie名称可能随OpenAI更新而变化请查阅项目最新README。复制其Value一串很长的哈希字符串。在项目根目录按照README的指引创建或修改配置文件如.env文件、config.json文件将Session Token填入指定位置。# 示例 .env 文件内容 SESSION_TOKEN你的长长长session_token字符串3.2 运行导出命令与参数详解安装配置完成后就可以运行导出命令了。通常项目会提供一个主入口脚本例如index.js或export.js。一个典型的命令如下node index.js --format markdown --output ./my-chatgpt-archive --all让我们分解一下常用参数--format或-f: 指定导出格式。可选值通常包括markdown,pdf,html,json。Markdown是最通用和推荐的选择因为它轻量、可搜索、可被几乎所有笔记软件识别。--output或-o: 指定导出文件的存储目录路径。如果目录不存在工具会自动创建。--all: 导出所有历史对话。对于首次使用或对话量不大的用户建议先使用此参数完整备份一次。--count或-n: 限制导出的对话数量。例如-n 50只导出最新的50条对话用于快速测试。--since和--until: 按日期范围过滤。例如--since 2024-01-01 --until 2024-03-31导出第一季度所有对话。--thread或-t: 如果知道特定对话的ID可以用此参数单独导出某一条对话。--verbose或-v: 启用详细日志输出方便在出现问题时查看每一步的执行情况。首次运行建议# 先进行一次小规模测试确保一切正常 node index.js -f markdown -o ./test-export -n 5 -v检查./test-export目录下是否成功生成了5个Markdown文件内容是否完整。确认无误后再执行完整的导出。3.3 导出过程详解与状态监控当你执行完整导出命令后Puppeteer会在后台启动一个“隐形”的浏览器并自动执行以下流程启动与登录浏览器打开ChatGPT登录页使用你提供的Session Token自动完成登录。如果Token失效工具会报错你需要重新获取。加载历史列表浏览器跳转到历史记录侧边栏。脚本会模拟多次滚动操作以确保加载出全部的历史对话条目。这个过程的速度取决于你的网络和对话总数。遍历与抓取脚本会逐个点击列表中的对话进入详情页。等待页面完全加载后开始解析对话内容。这里有一个关键点ChatGPT的页面是动态加载的长对话可能需要滚动才能加载全部内容。优秀的导出工具会在解析前自动滚动到对话底部确保抓取完整。数据转换与写入每抓取完一个对话数据处理器会将其整理成结构化的对象然后交给指定的导出器生成文件并立即写入到输出目录。通常文件命名会包含日期和对话标题例如2024-03-15_如何理解JavaScript闭包.md。进度与错误处理在-v模式下你会在终端看到类似[5/100] Exporting “Python数据分析脚本”...的进度提示。如果某个对话导出失败可能因为网络中断或页面结构微调工具应该记录错误并跳过继续后续任务而不是整体崩溃。重要注意事项网络稳定性整个过程对网络要求较高建议在稳定环境下进行。导出几百条对话可能需要半小时到数小时。资源占用Puppeteer会启动一个完整的Chromium实例占用一定的内存和CPU。在运行期间建议关闭不必要的程序。防检测策略虽然工具模拟人类操作但过于频繁的点击和请求仍可能触发网站的防护机制。好的工具会在操作间添加随机延迟如page.waitForTimeout(2000 Math.random() * 1000)让行为更“人性化”。4. 导出后的数据管理与应用场景4.1 本地知识库的构建导出的Markdown文件是你的宝贵资产。你可以将它们导入到本地知识管理软件中构建一个强大的、可搜索的“第二大脑”。使用 Obsidian、Logseq 或思源笔记这些双链笔记软件能完美处理Markdown。你可以为每个对话文件添加标签如#AI对话、#编程、#创意写作并利用内部链接将不同对话中相关的概念连接起来形成知识网络。集成到 VS Code如果你使用VS Code进行开发可以直接在编辑器内打开并搜索整个导出目录。配合Todo Tree或Markdown All in One等插件管理起来非常高效。建立归档系统按照年/月/或领域/项目/的目录结构来组织文件便于长期维护。4.2 内容再利用与创作结构化的对话记录是绝佳的创作素材。快速生成文章草稿如果你曾就某个主题与ChatGPT进行过深入问答那么导出的Markdown稍加编辑合并问答、润色语言、补充案例就能成为一篇不错的博客文章或技术文档初稿。提取代码片段库将所有包含代码块的对话导出后你可以编写一个简单的脚本提取所有代码块并按语言分类保存形成一个由AI协助编写的个人代码库。训练个性化AI模型高级导出的JSON格式数据可以作为高质量的训练数据用于微调开源的轻量级大语言模型如Llama、ChatGLM打造一个更懂你个人写作风格和知识领域的专属AI助手。4.3 备份与迁移云服务存在不确定性。定期将对话导出备份到本地硬盘、NAS或另一个云存储如加密的压缩包后上传至Google Drive、Dropbox是重要的数据资产保全策略。如果未来你想迁移到其他AI平台或工具这些结构化的对话记录也是最容易处理和导入的格式。5. 常见问题与故障排查实录在实际使用中你几乎一定会遇到一些问题。以下是我和社区用户遇到过的一些典型情况及解决方案。5.1 登录失败与认证问题这是最常见的问题。症状工具报错提示“无法登录”、“认证失败”或“Session token无效”。排查步骤确认Token有效性ChatGPT的Session Token有一定有效期且退出登录、修改密码或在其他设备登录都可能导致其失效。你需要重新登录网页版并再次从Cookie中获取最新的Token值更新到配置文件中。检查Cookie名称OpenAI可能会更新其认证机制和Cookie名称。请务必查阅项目Git仓库的Issues或最新README确认当前有效的Cookie名称是什么。常见的名称有__Secure-next-auth.session-token,access_token等。检查网络环境确保你的网络可以正常访问chat.openai.com。如果使用代理需要在Puppeteer启动配置中设置代理参数。验证配置文件格式确保你的.env文件或config.json格式正确没有多余的空格或换行符。Token值通常是一个很长的字符串要确保完整复制。5.2 导出内容不完整或格式错乱症状导出的Markdown文件缺少部分对话轮次或代码块没有正确包裹或用户和AI的对话没有区分。排查步骤更新工具版本ChatGPT的网页界面可能已更新导致旧的DOM选择器失效。首先尝试拉取项目最新代码 (git pull)并重新安装依赖 (npm install)。检查页面加载Puppeteer可能在某些对话页面加载完成前就开始了抓取。可以尝试在配置中增加等待时间或启用工具内的“等待网络空闲”选项如果提供。手动验证页面结构打开Chrome开发者工具在ChatGPT对话页面检查对话内容的HTML结构。看看工具试图抓取的CSS选择器如.text-base,.markdown等是否仍然存在。如果结构已变可能需要向项目提Issue或自行修改爬取逻辑。使用-v模式观察在详细日志下观察工具在解析每个对话时的输出看是否有错误提示。5.3 性能缓慢与中断症状导出过程极其缓慢或在导出几十条后卡住、中断。优化建议分批次导出不要一次性导出全部例如上万条。使用--since和--until参数按月份或季度分批导出。调整Puppeteer参数在启动Puppeteer时可以传递一些优化参数例如禁用图片加载、使用无沙盒模式在某些Linux环境下需要等以提升速度并减少资源占用。const browser await puppeteer.launch({ headless: new, // 使用新的Headless模式 args: [--no-sandbox, --disable-setuid-sandbox, --disable-dev-shm-usage], defaultViewport: null });处理超时与重试网络请求可能超时。一个健壮的脚本应该对page.goto()和page.waitForSelector()等操作设置合理的超时时间并在失败后进行有限次数的重试。释放资源确保脚本在完成一个对话的抓取后正确关闭不必要的页面page.close()并在所有任务完成后关闭浏览器browser.close()防止内存泄漏。5.4 法律与合规性提醒这是一个必须严肃对待的问题。数据所有权根据OpenAI的使用条款你与ChatGPT的对话内容其版权和所有权可能处于一个灰色地带。通常认为你提供的提示Prompt属于你而AI生成的内容Response的版权归属则较为复杂。将这些内容用于个人备份、学习和参考一般没有问题。使用限制严禁将导出的数据用于以下用途大规模训练商业模型而未获得授权。公开分享包含个人隐私或敏感信息的对话。以任何形式进行售卖。用于自动化攻击、生成恶意内容等违反法律法规和平台政策的行为。工具使用使用chatgpt-export这类工具本身应仅限于管理你自己的账户数据。尊重OpenAI的服务不要进行高频、并发的请求以免对服务器造成压力导致你的账户被封禁。6. 进阶技巧与个性化定制如果你有一定的编程基础这个开源项目为你提供了广阔的定制空间。6.1 自定义导出格式与样式项目内置的Markdown导出器生成的样式可能不符合你的口味。你可以找到对应的导出器模块例如markdownExporter.js修改其模板函数。修改对话标题你可能希望标题包含更多元信息如模型名称。调整角色标识将**User:**和**Assistant:**改为 **我**和 **ChatGPT**使其更符合某些笔记软件的引用样式。添加Front Matter对于使用Hexo、Hugo等静态博客生成器的用户可以在Markdown文件头部添加YAML Front Matter方便直接发布为博客。--- title: “与ChatGPT探讨React Hooks最佳实践” date: 2024-03-20 tags: [“AI”, “React”, “前端”] --- # 对话内容...6.2 集成自动化与定期备份你可以将导出脚本与系统定时任务如Linux的cron或Windows的任务计划程序结合实现每周或每月的自动备份。编写Shell脚本创建一个脚本backup_chatgpt.sh内容如下#!/bin/bash cd /path/to/chatgpt-export node index.js -f markdown -o /path/to/backup/$(date %Y-%m-%d) --since $(date -d 7 days ago %Y-%m-%d)这个脚本会每周运行一次导出过去7天的新对话并按日期创建备份文件夹。设置Cron Job# 编辑crontab crontab -e # 添加一行每周一凌晨3点执行备份 0 3 * * 1 /bin/bash /path/to/backup_chatgpt.sh /path/to/backup.log 216.3 开发自己的增强功能如果你发现现有功能不满足需求可以基于现有代码进行二次开发增量导出记录上次导出的最后一条对话ID下次只导出比这个ID更新的对话大幅提升后续备份效率。内容过滤与搜索在导出前根据对话标题或内容关键词进行过滤只导出你感兴趣的部分。多格式同时导出修改主逻辑使其在一次运行中同时生成Markdown、PDF和JSON三种格式的文件。集成其他AI平台借鉴其Puppeteer爬取思路为Claude、Gemini等其他AI聊天平台编写类似的导出工具。yaph/chatgpt-export的价值不仅在于它本身的功能更在于它提供了一个清晰、可扩展的蓝图展示了如何通过自动化工具将云端数据主权夺回用户手中。在AI日益融入我们工作流的今天这样的工具不是锦上添花而是必不可少的生产力基石。花一点时间设置好它你与AI协作产生的所有智慧火花都将被妥善安放随时为你闪耀。
ChatGPT对话导出工具：基于Node.js与Puppeteer的本地化备份方案
1. 项目概述为什么我们需要一个ChatGPT对话导出工具如果你和我一样深度依赖ChatGPT进行工作流梳理、创意构思甚至是代码调试那么一个无法回避的痛点很快就会浮现如何系统性地保存、整理和复用那些散落在不同对话线程中的宝贵内容官方界面虽然提供了基础的对话历史查看功能但在批量导出、结构化归档和本地化搜索方面几乎是一片空白。想象一下你花了数小时与AI探讨一个复杂的技术方案生成了详尽的步骤、代码片段和决策逻辑这些内容的价值远超单次对话。但当几周后需要回顾或基于此进行下一步时你不得不在一长串历史记录中费力地翻找体验极差。这正是yaph/chatgpt-export这个开源项目诞生的背景。它不是一个复杂的AI模型而是一个极其务实的“数据搬运工”和“内容管家”。其核心使命非常明确授权用户完全掌控自己的对话数据将那些存储在云端、访问受限的对话记录以一种开放、结构化、可长期保存的格式如Markdown、PDF、HTML完整地“夺回”到本地硬盘上。对于内容创作者、研究者、开发者和任何希望构建个人知识库的用户而言这无异于打开了一扇新的大门。我最初接触这个工具是因为需要整理过去半年与ChatGPT关于一个特定技术栈比如React性能优化的所有讨论。手动复制粘贴不仅低效还会丢失对话的上下文结构和元信息如模型版本、时间戳。而chatgpt-export通过自动化脚本一次性将上百条对话整理成井井有条的文件夹和文件每段对话都保留了完整的问答轮次并支持关键词搜索效率提升何止十倍。接下来我将深入拆解这个项目的设计思路、技术实现、实操细节以及那些只有真正用过才能知道的“坑”与技巧。2. 核心功能与设计思路拆解2.1 核心需求解析用户到底想要什么在动手开发或使用这样一个工具之前我们必须先厘清核心需求。用户对ChatGPT对话导出的需求并非简单的“复制文字”而是包含多个层次完整性导出的内容必须包含完整的对话上下文包括用户的每一次提问Prompt和AI的每一次回复Response不能有遗漏或截断。结构化原始对话是线性的但导出后需要良好的结构。例如清晰的对话标题、分轮次标识、说话人标签User / Assistant甚至支持按对话线程、日期进行自动分类归档。格式友好导出的文件格式需要兼顾可读性、可编辑性和可发布性。Markdown因其纯文本、轻量且支持富格式的特性成为首选。PDF则适合分享与打印HTML便于在浏览器中直接浏览并保留基础样式。元信息保留对话的创建时间、使用的模型如GPT-3.5-Turbo, GPT-4、对话ID等元数据对于后续的检索、分析和溯源至关重要。批量化与自动化用户往往有导出大量历史对话的需求因此工具必须支持批量操作并能通过命令行或配置实现自动化避免人工重复劳动。隐私与安全由于涉及个人账户和对话数据工具必须在本地运行确保数据不经过任何第三方服务器。认证方式也需要安全可靠。yaph/chatgpt-export的设计正是围绕这六点展开的。它没有试图做一个功能庞杂的全能型应用而是精准地聚焦于“数据导出”这一单一职责并通过模块化设计如导出器Exporter来优雅地支持多种格式这正是其成功的关键。2.2 技术方案选型为什么是Node.js与Puppeteer项目主要采用了Node.js运行时和Puppeteer库来实现。这个选型背后有非常实际的考量Node.js的优势对于需要处理HTTP请求、文件系统操作批量生成、写入文件和流式任务的工具来说Node.js的异步非阻塞I/O模型非常合适。其丰富的npm生态也为处理Markdown生成、PDF渲染等任务提供了大量现成模块。Puppeteer的作用这是整个工具的灵魂。ChatGPT的Web界面是一个复杂的单页应用SPA其对话数据通常通过前端JavaScript动态加载和渲染并不直接存在于初始页面的HTML源码中。直接调用未公开的API接口存在风险可能违反服务条款且接口不稳定。Puppeteer作为一个“无头浏览器”可以程序化地模拟真实用户登录、点击、滚动等操作让网站的前端代码正常执行从而获取到完全渲染后的页面数据。这种方式虽然比直接调用API慢但稳定性高、模拟人类行为、能绕过一些简单的反爬机制并且只要Web界面不发生颠覆性改版工具就相对健壮。规避官方API限制OpenAI提供的官方API主要用于发起新的对话并不提供批量导出历史对话的功能。因此通过模拟浏览器访问用户自己的历史记录页面成为了获取这些数据的唯一可行途径。注意使用Puppeteer模拟登录和抓取数据必须严格遵守目标网站chat.openai.com的服务条款。该工具的设计初衷是供用户管理自己的数据严禁用于爬取他人数据、进行高频请求或其他可能对服务造成压力的行为。2.3 项目架构概览虽然项目代码可能不断迭代但其核心架构通常包含以下几个模块认证管理器 (Auth Manager)负责处理用户登录。通常需要用户提供Session Token或使用OAuth流程。工具会将认证信息安全地存储在本地如配置文件或系统密钥链避免每次运行都需登录。对话爬取器 (Conversation Crawler)这是Puppeteer大显身手的地方。它负责导航到ChatGPT的历史记录页面。自动滚动加载所有历史对话列表。解析列表获取每个对话的标题、ID和链接。根据筛选条件如日期范围、关键词选择需要导出的对话。逐个打开对话详情页通过解析DOM结构或监听网络请求提取完整的对话内容和元数据。数据处理器 (Data Processor)将爬取到的原始JSON或HTML数据清洗、转换为内部统一的对话数据模型。导出器 (Exporter)这是一个多态模块根据用户选择的格式调用不同的子导出器。Markdown导出器将对话转换为.md文件通常会用#标题表示对话主题用**User:**和**Assistant:**来区分角色代码块会使用 进行包裹。PDF导出器可能依赖如puppeteer的page.pdf()功能或将Markdown转换为HTML后再用无头浏览器打印为PDF。HTML导出器生成一个独立的.html文件内置简单的CSS样式便于在浏览器中美观地阅读。JSON导出器导出原始结构化数据供其他程序进一步处理。文件系统管理器 (FS Manager)负责在本地创建有组织的目录结构例如按年份/月份归档并将导出器生成的文件写入对应位置。3. 详细实操指南从零开始导出你的对话3.1 环境准备与工具安装假设你已经在本地开发环境以下是详细的准备步骤安装Node.js确保你的系统安装了Node.js版本16或以上。你可以从官网下载安装包或使用版本管理工具如nvm进行安装。# 检查Node.js和npm版本 node --version npm --version获取项目代码克隆yaph/chatgpt-export仓库到本地。git clone https://github.com/yaph/chatgpt-export.git cd chatgpt-export安装项目依赖项目根目录下通常有package.json文件运行以下命令安装所有依赖包括Puppeteer它会自动下载一个Chromium浏览器。npm install实操心得安装Puppeteer的过程可能会因网络问题而缓慢或失败。你可以考虑设置镜像源或者使用PUPPETEER_DOWNLOAD_HOST环境变量指定下载镜像。有时跳过Chromium下载使用系统已安装的Chrome会更快捷需在代码中配置executablePath。配置认证信息这是最关键的一步。工具需要你的ChatGPT登录凭证来访问历史页面。绝对不要在代码中硬编码密码。安全的方式是使用Session Token。登录ChatGPT网页版。打开浏览器开发者工具F12切换到Application或存储标签页。在Cookies中找到https://chat.openai.com寻找名为__Secure-next-auth.session-token的Cookie名称可能随OpenAI更新而变化请查阅项目最新README。复制其Value一串很长的哈希字符串。在项目根目录按照README的指引创建或修改配置文件如.env文件、config.json文件将Session Token填入指定位置。# 示例 .env 文件内容 SESSION_TOKEN你的长长长session_token字符串3.2 运行导出命令与参数详解安装配置完成后就可以运行导出命令了。通常项目会提供一个主入口脚本例如index.js或export.js。一个典型的命令如下node index.js --format markdown --output ./my-chatgpt-archive --all让我们分解一下常用参数--format或-f: 指定导出格式。可选值通常包括markdown,pdf,html,json。Markdown是最通用和推荐的选择因为它轻量、可搜索、可被几乎所有笔记软件识别。--output或-o: 指定导出文件的存储目录路径。如果目录不存在工具会自动创建。--all: 导出所有历史对话。对于首次使用或对话量不大的用户建议先使用此参数完整备份一次。--count或-n: 限制导出的对话数量。例如-n 50只导出最新的50条对话用于快速测试。--since和--until: 按日期范围过滤。例如--since 2024-01-01 --until 2024-03-31导出第一季度所有对话。--thread或-t: 如果知道特定对话的ID可以用此参数单独导出某一条对话。--verbose或-v: 启用详细日志输出方便在出现问题时查看每一步的执行情况。首次运行建议# 先进行一次小规模测试确保一切正常 node index.js -f markdown -o ./test-export -n 5 -v检查./test-export目录下是否成功生成了5个Markdown文件内容是否完整。确认无误后再执行完整的导出。3.3 导出过程详解与状态监控当你执行完整导出命令后Puppeteer会在后台启动一个“隐形”的浏览器并自动执行以下流程启动与登录浏览器打开ChatGPT登录页使用你提供的Session Token自动完成登录。如果Token失效工具会报错你需要重新获取。加载历史列表浏览器跳转到历史记录侧边栏。脚本会模拟多次滚动操作以确保加载出全部的历史对话条目。这个过程的速度取决于你的网络和对话总数。遍历与抓取脚本会逐个点击列表中的对话进入详情页。等待页面完全加载后开始解析对话内容。这里有一个关键点ChatGPT的页面是动态加载的长对话可能需要滚动才能加载全部内容。优秀的导出工具会在解析前自动滚动到对话底部确保抓取完整。数据转换与写入每抓取完一个对话数据处理器会将其整理成结构化的对象然后交给指定的导出器生成文件并立即写入到输出目录。通常文件命名会包含日期和对话标题例如2024-03-15_如何理解JavaScript闭包.md。进度与错误处理在-v模式下你会在终端看到类似[5/100] Exporting “Python数据分析脚本”...的进度提示。如果某个对话导出失败可能因为网络中断或页面结构微调工具应该记录错误并跳过继续后续任务而不是整体崩溃。重要注意事项网络稳定性整个过程对网络要求较高建议在稳定环境下进行。导出几百条对话可能需要半小时到数小时。资源占用Puppeteer会启动一个完整的Chromium实例占用一定的内存和CPU。在运行期间建议关闭不必要的程序。防检测策略虽然工具模拟人类操作但过于频繁的点击和请求仍可能触发网站的防护机制。好的工具会在操作间添加随机延迟如page.waitForTimeout(2000 Math.random() * 1000)让行为更“人性化”。4. 导出后的数据管理与应用场景4.1 本地知识库的构建导出的Markdown文件是你的宝贵资产。你可以将它们导入到本地知识管理软件中构建一个强大的、可搜索的“第二大脑”。使用 Obsidian、Logseq 或思源笔记这些双链笔记软件能完美处理Markdown。你可以为每个对话文件添加标签如#AI对话、#编程、#创意写作并利用内部链接将不同对话中相关的概念连接起来形成知识网络。集成到 VS Code如果你使用VS Code进行开发可以直接在编辑器内打开并搜索整个导出目录。配合Todo Tree或Markdown All in One等插件管理起来非常高效。建立归档系统按照年/月/或领域/项目/的目录结构来组织文件便于长期维护。4.2 内容再利用与创作结构化的对话记录是绝佳的创作素材。快速生成文章草稿如果你曾就某个主题与ChatGPT进行过深入问答那么导出的Markdown稍加编辑合并问答、润色语言、补充案例就能成为一篇不错的博客文章或技术文档初稿。提取代码片段库将所有包含代码块的对话导出后你可以编写一个简单的脚本提取所有代码块并按语言分类保存形成一个由AI协助编写的个人代码库。训练个性化AI模型高级导出的JSON格式数据可以作为高质量的训练数据用于微调开源的轻量级大语言模型如Llama、ChatGLM打造一个更懂你个人写作风格和知识领域的专属AI助手。4.3 备份与迁移云服务存在不确定性。定期将对话导出备份到本地硬盘、NAS或另一个云存储如加密的压缩包后上传至Google Drive、Dropbox是重要的数据资产保全策略。如果未来你想迁移到其他AI平台或工具这些结构化的对话记录也是最容易处理和导入的格式。5. 常见问题与故障排查实录在实际使用中你几乎一定会遇到一些问题。以下是我和社区用户遇到过的一些典型情况及解决方案。5.1 登录失败与认证问题这是最常见的问题。症状工具报错提示“无法登录”、“认证失败”或“Session token无效”。排查步骤确认Token有效性ChatGPT的Session Token有一定有效期且退出登录、修改密码或在其他设备登录都可能导致其失效。你需要重新登录网页版并再次从Cookie中获取最新的Token值更新到配置文件中。检查Cookie名称OpenAI可能会更新其认证机制和Cookie名称。请务必查阅项目Git仓库的Issues或最新README确认当前有效的Cookie名称是什么。常见的名称有__Secure-next-auth.session-token,access_token等。检查网络环境确保你的网络可以正常访问chat.openai.com。如果使用代理需要在Puppeteer启动配置中设置代理参数。验证配置文件格式确保你的.env文件或config.json格式正确没有多余的空格或换行符。Token值通常是一个很长的字符串要确保完整复制。5.2 导出内容不完整或格式错乱症状导出的Markdown文件缺少部分对话轮次或代码块没有正确包裹或用户和AI的对话没有区分。排查步骤更新工具版本ChatGPT的网页界面可能已更新导致旧的DOM选择器失效。首先尝试拉取项目最新代码 (git pull)并重新安装依赖 (npm install)。检查页面加载Puppeteer可能在某些对话页面加载完成前就开始了抓取。可以尝试在配置中增加等待时间或启用工具内的“等待网络空闲”选项如果提供。手动验证页面结构打开Chrome开发者工具在ChatGPT对话页面检查对话内容的HTML结构。看看工具试图抓取的CSS选择器如.text-base,.markdown等是否仍然存在。如果结构已变可能需要向项目提Issue或自行修改爬取逻辑。使用-v模式观察在详细日志下观察工具在解析每个对话时的输出看是否有错误提示。5.3 性能缓慢与中断症状导出过程极其缓慢或在导出几十条后卡住、中断。优化建议分批次导出不要一次性导出全部例如上万条。使用--since和--until参数按月份或季度分批导出。调整Puppeteer参数在启动Puppeteer时可以传递一些优化参数例如禁用图片加载、使用无沙盒模式在某些Linux环境下需要等以提升速度并减少资源占用。const browser await puppeteer.launch({ headless: new, // 使用新的Headless模式 args: [--no-sandbox, --disable-setuid-sandbox, --disable-dev-shm-usage], defaultViewport: null });处理超时与重试网络请求可能超时。一个健壮的脚本应该对page.goto()和page.waitForSelector()等操作设置合理的超时时间并在失败后进行有限次数的重试。释放资源确保脚本在完成一个对话的抓取后正确关闭不必要的页面page.close()并在所有任务完成后关闭浏览器browser.close()防止内存泄漏。5.4 法律与合规性提醒这是一个必须严肃对待的问题。数据所有权根据OpenAI的使用条款你与ChatGPT的对话内容其版权和所有权可能处于一个灰色地带。通常认为你提供的提示Prompt属于你而AI生成的内容Response的版权归属则较为复杂。将这些内容用于个人备份、学习和参考一般没有问题。使用限制严禁将导出的数据用于以下用途大规模训练商业模型而未获得授权。公开分享包含个人隐私或敏感信息的对话。以任何形式进行售卖。用于自动化攻击、生成恶意内容等违反法律法规和平台政策的行为。工具使用使用chatgpt-export这类工具本身应仅限于管理你自己的账户数据。尊重OpenAI的服务不要进行高频、并发的请求以免对服务器造成压力导致你的账户被封禁。6. 进阶技巧与个性化定制如果你有一定的编程基础这个开源项目为你提供了广阔的定制空间。6.1 自定义导出格式与样式项目内置的Markdown导出器生成的样式可能不符合你的口味。你可以找到对应的导出器模块例如markdownExporter.js修改其模板函数。修改对话标题你可能希望标题包含更多元信息如模型名称。调整角色标识将**User:**和**Assistant:**改为 **我**和 **ChatGPT**使其更符合某些笔记软件的引用样式。添加Front Matter对于使用Hexo、Hugo等静态博客生成器的用户可以在Markdown文件头部添加YAML Front Matter方便直接发布为博客。--- title: “与ChatGPT探讨React Hooks最佳实践” date: 2024-03-20 tags: [“AI”, “React”, “前端”] --- # 对话内容...6.2 集成自动化与定期备份你可以将导出脚本与系统定时任务如Linux的cron或Windows的任务计划程序结合实现每周或每月的自动备份。编写Shell脚本创建一个脚本backup_chatgpt.sh内容如下#!/bin/bash cd /path/to/chatgpt-export node index.js -f markdown -o /path/to/backup/$(date %Y-%m-%d) --since $(date -d 7 days ago %Y-%m-%d)这个脚本会每周运行一次导出过去7天的新对话并按日期创建备份文件夹。设置Cron Job# 编辑crontab crontab -e # 添加一行每周一凌晨3点执行备份 0 3 * * 1 /bin/bash /path/to/backup_chatgpt.sh /path/to/backup.log 216.3 开发自己的增强功能如果你发现现有功能不满足需求可以基于现有代码进行二次开发增量导出记录上次导出的最后一条对话ID下次只导出比这个ID更新的对话大幅提升后续备份效率。内容过滤与搜索在导出前根据对话标题或内容关键词进行过滤只导出你感兴趣的部分。多格式同时导出修改主逻辑使其在一次运行中同时生成Markdown、PDF和JSON三种格式的文件。集成其他AI平台借鉴其Puppeteer爬取思路为Claude、Gemini等其他AI聊天平台编写类似的导出工具。yaph/chatgpt-export的价值不仅在于它本身的功能更在于它提供了一个清晰、可扩展的蓝图展示了如何通过自动化工具将云端数据主权夺回用户手中。在AI日益融入我们工作流的今天这样的工具不是锦上添花而是必不可少的生产力基石。花一点时间设置好它你与AI协作产生的所有智慧火花都将被妥善安放随时为你闪耀。
