4 个项目, 4 把刀, 全部对准 AI 应用工程的上下文成本 这一周的 daily trending 有点意思——四个项目看似完全不搭界, 但拆开看, 它们都在解决同一个问题:LLM 应用的上下文 实在太贵了。不管是喂进去的文档, 还是爬回来的网页, 还是解析出的 PDF, 还是已经挤进 prompt 的工具输出——能省一点是一点。四把刀, 按需取用 1️⃣ microsoft/markitdown — 把 20 种文件一键变 Markdown一句话: 微软 AutoGen 团队出品的文件→Markdown 转换器, LLM 数据预处理的瑞士军刀.痛点: 想喂 RAG, 但素材是 PDF / Word / PPT / Excel / 图片 / 音频 / YouTube 链接? LLM 可不爱读这些杂七杂八的格式, 它最爱的是 Markdown.✨核心 feature(来自 README):️20 种输入格式: PDF / PowerPoint / Word / Excel / 图片 (EXIF OCR) / 音频 (EXIF 转录) / HTML / CSV / JSON / XML / ZIP / YouTube 链接 / EPub / Outlook 邮件 / IPython Notebook / RSS / Wikipedia / Bing SERP / CSV插件生态:markitdown-ocr走 LLM Vision 抠图内嵌文字,markitdown-mcp暴露成 MCP tool 让 agent 直接调,markitdown-sample-plugin是写新 converter 的模板Magika 字节级内容识别: 扩展名 / HTTP 头 / URL 都猜不到格式时, 调 Google Magika 跑字节级深度学习分类器兜底☁️Azure Content Understanding 通道: 本地 extractor 质量不够, 一行cu_endpoint切到云端多模态 (文档 / 图片 / 音频 / 视频 通用), 还能输出 YAML front matter 结构化字段CLI / Python / 流式:markitdown xxx.pdf out.md/MarkItDown().convert(...)/convert_stream(...)三种姿势, 同一套底层逻辑谁该用: 搭 RAG 索引管道的 / 想给 Claude Code 接文件读取 MCP tool 的 / 做混合模态批处理的.横向比较(markitdown vs pandoc):维度markitdownpandoc方向单向 → Markdown双向 (Markdown ↔ DOCX ↔ PDF ↔ LaTeX)目标用户LLM 数据预处理 (RAG / Agent)人阅读排版 (学术 / 出版)表格处理走 pdfminer.six 可选 CU走 LaTeX 表格模型协议MITGPL-2.02️⃣ D4Vinci/Scrapling — 自适应爬虫 反爬一体的 Python 框架️一句话: “改版了 selector 还能用, Cloudflare Turnstile 也不在话下” 的 Python Web 抓取框架.痛点: 写爬虫最怕两件事——网站改版 selector 全失效, 和反爬 WAF 把请求拦掉. 业界通常要自己拼requests bs4 playwright scrapy-impersonate, 痛苦面具.✨核心 feature(来自 README):自适应元素选择器:css(selector, adaptiveTrue)时自动用 SQLite 存的元素指纹 SequenceMatcher 相似度, 在改版后自动找回元素,不用每两周改一次 selector隐身 Fetcher 链: 轻量Fetcher(curl_cffi TLS 指纹伪造) → 浏览器DynamicFetcher(Playwright) → 隐身StealthyFetcher(Patchright browserforge) 三档渐进升级, README 原话: “One library, zero compromises”☁️Cloudflare Turnstile 自动解题:StealthySession内置检测 模拟人类点击, 非交互类 challenge 等titleJust a moment.../title自动消失️Spider 框架:Spider子类 start_urls/parse()经典范式, 自带pause/resume checkpoint多 Session自动代理轮换LLM Agent Skill: 整站文档被封装成 OpenClaw / Claude Code 可读的 Agent Skill,clawhub install scrapling-official一行安装谁该用: 写一次性爬虫脚本的 / 目标站结构经常改版的 / 想过 Cloudflare Turnstile 的 / 给 LLM agent 当数据采集层的.横向比较(Scrapling vs playwright):维度Scraplingplaywright反爬内置 curl_cffi Patchright Turnstile 自动解题需 playwright-stealth 三方插件自适应选择器核心卖点, SQLite 指纹 SequenceMatcher无, 需手维护 selector浏览器体积可选, 不开浏览器也能跑必起 Chromium, ~200MB/实例学习曲线一行Fetcher.get起步, 渐进升级中, locator API 需熟悉3️⃣ opendataloader-project/opendataloader-pdf — Java PDF 解析 自动无障碍打标签一句话: 自评榜#1 准确率 0.907的 PDF 解析库, 还是同类里第一个开源端到端做 PDF 自动无障碍打标签的.痛点: PDF 是 LLM 喂料 RAG 数据准备里最硬的骨头——多栏版式阅读顺序错乱 / 复杂表格抽不准 / 扫描件要 OCR; 同时, EAA / ADA / Section 508 等无障碍合规要求企业把 PDF 改造成屏幕阅读器可读的 Tagged PDF, 人工整改要 $50–200 一份.✨核心 feature(来自 README):自评榜 #1: 0.907 综合分, 0.928 表格准确率, 0.934 阅读顺序准确率 (200 个真实 PDF 评测集, 包含多栏论文 / 复杂表格 / 扫描件)⚡本地 15 ms/页: 纯 Java 11 内核, 零 GPU 依赖, 简单页本地处理 0.02 s/页量级, 后端可插拔 (Docling Fast / Hancom / Azure / Google 都预留槽位)混合 AI 模式: 简单页走本地 extractor, 复杂页 (密集表 / 扫描件 / 公式 / AI 图) 自动路由到 AI 后端, 把用 Docling 封装成按页路由 统一 JSON schema 的稳定前端️端到端 PDF 无障碍打标签 (第一个开源):AutoTagger.tag(...)直接返回内存里的 taggedPDDocument(veraPDF 模型), 不写中间文件, 配合 PDF Association Dual Lab (veraPDF 作者) 合作保证符合 Well-Tagged PDF 规范多 SDK: Python / Node.js / Java 都有 SDK, 一行pip install opendataloader-pdf起步, LangChain 官方 loader 集成 (chunk 直接带bbox)谁该用: Java 后端做 RAG 文档摄入层的 / 要做 PDF 无障碍合规整改的 / 扫描文档数字化的 / 金融 / 医疗 / 政府等隐私敏感行业跑本地混合云的.横向比较(opendataloader-pdf vs marker-pdf):维度opendataloader-pdfmarker-pdf输出结构化 JSON / HTML,每元素带 bboxMarkdown, 不带坐标阅读顺序XY-Cut 几何算法, 跨栏正确启发式, 复杂版式偶发切错表格准确率 (自评)0.928 (200 PDF 评测集)科研论文场景强, 通用未公布协议Apache 2.0 核心 付费 PDF/UA 导出GPL-3.0 (模型权重另算)4️⃣ chopratejas/headroom — LLM 上下文压缩中间件一句话: 在 token 进入大模型前自动削掉60–95% 冗余的中间件, 业务代码零改动.痛点: AI 编码 agent (Claude Code / Cursor / Codex / Aider) 长会话里, tool 输出 / 日志 / RAG chunk 持续累积, 上下文窗口被快速撑爆. 又贵又慢, 还容易丢早期信息.✨核心 feature(来自 README):60–95% token 节省: 真实 agent 工作负载评测: Code search92%/ SRE incident debugging92%/ GitHub issue triage73%/ Codebase exploration47%; 准确率在 GSM8K ±0.000 / TruthfulQA 0.030 几乎无损失️4 种部署形态:compress(messages)内联库 /headroom proxy --port 8787透明代理 /headroom wrap claude|codex|cursor|aider|copilot一行包装 agent /headroom mcp install装 MCP server — 选一个姿势接入, 业务代码零改动6 种压缩算法: SmartCrusher (JSON 智能) / CodeCompressor (AST-aware) / Kompress-base (ModernBERT 自研, HuggingFace 可下) / Search / Log / Diff, 由ContentRouter按内容类型自动分发 自动 fallbackCCR 可逆压缩: 丢弃的行写哨兵ccr:HASH N_rows_offloaded, LLM 通过headroom_retrieveMCP tool 按需取回原始, 真正无信息丢失 压缩跨 agent 共享记忆:SharedContext Qdrant / Neo4j backend, Claude / Codex / Gemini 共享同一份压缩记忆, 不再每个 agent 各压一遍浪费算力CacheAligner: 稳定 prompt prefix 保 provider KV cache 命中, 节省的 token 不白省谁该用: 每天跑 AI 编码 agent 的 / 想给 RAG / 工具链接多家 LLM 提供商 (Anthropic / OpenAI / Bedrock) 的 / 想要零代码改动 接入压缩的团队 / 多 agent 共享记忆的.横向比较(headroom vs LLMLingua):维度headroomLLMLingua可逆性CCR 可逆: 丢弃行写哨兵, LLM 调headroom_retrieve拿回不可逆, 砍掉的 token 真没了跨 agent 共享SharedContext Qdrant / Neo4j backend, Claude/Codex/Gemini 共享无部署形态库 透明代理 MCP headroom wrap四合一纯 Python 库, 需业务代码显式compress_prompt()生产化程度CacheAligner探测 KV cache Prometheus/stats研究代码, 无生产化包装 总结四个项目拼到一起, 是一条完整的AI 应用工程上下文成本 流水线: 采 (Scrapling) → 喂 (markitdown) → 抽 (opendataloader-pdf) → 压 (headroom)自适应爬虫 · 多格式→Markdown · PDF 解析 无障碍 · token 削 60-95%任何一环成本砍掉一半, 整个 LLM 应用的总成本都能看到量级下降. 这次的 4 个项目, 就是这套流水线上最新的瑞士军刀 ️.
上下文成本四把刀本期 GitHub Trending Daily 精选 (2026-06-04)
4 个项目, 4 把刀, 全部对准 AI 应用工程的上下文成本 这一周的 daily trending 有点意思——四个项目看似完全不搭界, 但拆开看, 它们都在解决同一个问题:LLM 应用的上下文 实在太贵了。不管是喂进去的文档, 还是爬回来的网页, 还是解析出的 PDF, 还是已经挤进 prompt 的工具输出——能省一点是一点。四把刀, 按需取用 1️⃣ microsoft/markitdown — 把 20 种文件一键变 Markdown一句话: 微软 AutoGen 团队出品的文件→Markdown 转换器, LLM 数据预处理的瑞士军刀.痛点: 想喂 RAG, 但素材是 PDF / Word / PPT / Excel / 图片 / 音频 / YouTube 链接? LLM 可不爱读这些杂七杂八的格式, 它最爱的是 Markdown.✨核心 feature(来自 README):️20 种输入格式: PDF / PowerPoint / Word / Excel / 图片 (EXIF OCR) / 音频 (EXIF 转录) / HTML / CSV / JSON / XML / ZIP / YouTube 链接 / EPub / Outlook 邮件 / IPython Notebook / RSS / Wikipedia / Bing SERP / CSV插件生态:markitdown-ocr走 LLM Vision 抠图内嵌文字,markitdown-mcp暴露成 MCP tool 让 agent 直接调,markitdown-sample-plugin是写新 converter 的模板Magika 字节级内容识别: 扩展名 / HTTP 头 / URL 都猜不到格式时, 调 Google Magika 跑字节级深度学习分类器兜底☁️Azure Content Understanding 通道: 本地 extractor 质量不够, 一行cu_endpoint切到云端多模态 (文档 / 图片 / 音频 / 视频 通用), 还能输出 YAML front matter 结构化字段CLI / Python / 流式:markitdown xxx.pdf out.md/MarkItDown().convert(...)/convert_stream(...)三种姿势, 同一套底层逻辑谁该用: 搭 RAG 索引管道的 / 想给 Claude Code 接文件读取 MCP tool 的 / 做混合模态批处理的.横向比较(markitdown vs pandoc):维度markitdownpandoc方向单向 → Markdown双向 (Markdown ↔ DOCX ↔ PDF ↔ LaTeX)目标用户LLM 数据预处理 (RAG / Agent)人阅读排版 (学术 / 出版)表格处理走 pdfminer.six 可选 CU走 LaTeX 表格模型协议MITGPL-2.02️⃣ D4Vinci/Scrapling — 自适应爬虫 反爬一体的 Python 框架️一句话: “改版了 selector 还能用, Cloudflare Turnstile 也不在话下” 的 Python Web 抓取框架.痛点: 写爬虫最怕两件事——网站改版 selector 全失效, 和反爬 WAF 把请求拦掉. 业界通常要自己拼requests bs4 playwright scrapy-impersonate, 痛苦面具.✨核心 feature(来自 README):自适应元素选择器:css(selector, adaptiveTrue)时自动用 SQLite 存的元素指纹 SequenceMatcher 相似度, 在改版后自动找回元素,不用每两周改一次 selector隐身 Fetcher 链: 轻量Fetcher(curl_cffi TLS 指纹伪造) → 浏览器DynamicFetcher(Playwright) → 隐身StealthyFetcher(Patchright browserforge) 三档渐进升级, README 原话: “One library, zero compromises”☁️Cloudflare Turnstile 自动解题:StealthySession内置检测 模拟人类点击, 非交互类 challenge 等titleJust a moment.../title自动消失️Spider 框架:Spider子类 start_urls/parse()经典范式, 自带pause/resume checkpoint多 Session自动代理轮换LLM Agent Skill: 整站文档被封装成 OpenClaw / Claude Code 可读的 Agent Skill,clawhub install scrapling-official一行安装谁该用: 写一次性爬虫脚本的 / 目标站结构经常改版的 / 想过 Cloudflare Turnstile 的 / 给 LLM agent 当数据采集层的.横向比较(Scrapling vs playwright):维度Scraplingplaywright反爬内置 curl_cffi Patchright Turnstile 自动解题需 playwright-stealth 三方插件自适应选择器核心卖点, SQLite 指纹 SequenceMatcher无, 需手维护 selector浏览器体积可选, 不开浏览器也能跑必起 Chromium, ~200MB/实例学习曲线一行Fetcher.get起步, 渐进升级中, locator API 需熟悉3️⃣ opendataloader-project/opendataloader-pdf — Java PDF 解析 自动无障碍打标签一句话: 自评榜#1 准确率 0.907的 PDF 解析库, 还是同类里第一个开源端到端做 PDF 自动无障碍打标签的.痛点: PDF 是 LLM 喂料 RAG 数据准备里最硬的骨头——多栏版式阅读顺序错乱 / 复杂表格抽不准 / 扫描件要 OCR; 同时, EAA / ADA / Section 508 等无障碍合规要求企业把 PDF 改造成屏幕阅读器可读的 Tagged PDF, 人工整改要 $50–200 一份.✨核心 feature(来自 README):自评榜 #1: 0.907 综合分, 0.928 表格准确率, 0.934 阅读顺序准确率 (200 个真实 PDF 评测集, 包含多栏论文 / 复杂表格 / 扫描件)⚡本地 15 ms/页: 纯 Java 11 内核, 零 GPU 依赖, 简单页本地处理 0.02 s/页量级, 后端可插拔 (Docling Fast / Hancom / Azure / Google 都预留槽位)混合 AI 模式: 简单页走本地 extractor, 复杂页 (密集表 / 扫描件 / 公式 / AI 图) 自动路由到 AI 后端, 把用 Docling 封装成按页路由 统一 JSON schema 的稳定前端️端到端 PDF 无障碍打标签 (第一个开源):AutoTagger.tag(...)直接返回内存里的 taggedPDDocument(veraPDF 模型), 不写中间文件, 配合 PDF Association Dual Lab (veraPDF 作者) 合作保证符合 Well-Tagged PDF 规范多 SDK: Python / Node.js / Java 都有 SDK, 一行pip install opendataloader-pdf起步, LangChain 官方 loader 集成 (chunk 直接带bbox)谁该用: Java 后端做 RAG 文档摄入层的 / 要做 PDF 无障碍合规整改的 / 扫描文档数字化的 / 金融 / 医疗 / 政府等隐私敏感行业跑本地混合云的.横向比较(opendataloader-pdf vs marker-pdf):维度opendataloader-pdfmarker-pdf输出结构化 JSON / HTML,每元素带 bboxMarkdown, 不带坐标阅读顺序XY-Cut 几何算法, 跨栏正确启发式, 复杂版式偶发切错表格准确率 (自评)0.928 (200 PDF 评测集)科研论文场景强, 通用未公布协议Apache 2.0 核心 付费 PDF/UA 导出GPL-3.0 (模型权重另算)4️⃣ chopratejas/headroom — LLM 上下文压缩中间件一句话: 在 token 进入大模型前自动削掉60–95% 冗余的中间件, 业务代码零改动.痛点: AI 编码 agent (Claude Code / Cursor / Codex / Aider) 长会话里, tool 输出 / 日志 / RAG chunk 持续累积, 上下文窗口被快速撑爆. 又贵又慢, 还容易丢早期信息.✨核心 feature(来自 README):60–95% token 节省: 真实 agent 工作负载评测: Code search92%/ SRE incident debugging92%/ GitHub issue triage73%/ Codebase exploration47%; 准确率在 GSM8K ±0.000 / TruthfulQA 0.030 几乎无损失️4 种部署形态:compress(messages)内联库 /headroom proxy --port 8787透明代理 /headroom wrap claude|codex|cursor|aider|copilot一行包装 agent /headroom mcp install装 MCP server — 选一个姿势接入, 业务代码零改动6 种压缩算法: SmartCrusher (JSON 智能) / CodeCompressor (AST-aware) / Kompress-base (ModernBERT 自研, HuggingFace 可下) / Search / Log / Diff, 由ContentRouter按内容类型自动分发 自动 fallbackCCR 可逆压缩: 丢弃的行写哨兵ccr:HASH N_rows_offloaded, LLM 通过headroom_retrieveMCP tool 按需取回原始, 真正无信息丢失 压缩跨 agent 共享记忆:SharedContext Qdrant / Neo4j backend, Claude / Codex / Gemini 共享同一份压缩记忆, 不再每个 agent 各压一遍浪费算力CacheAligner: 稳定 prompt prefix 保 provider KV cache 命中, 节省的 token 不白省谁该用: 每天跑 AI 编码 agent 的 / 想给 RAG / 工具链接多家 LLM 提供商 (Anthropic / OpenAI / Bedrock) 的 / 想要零代码改动 接入压缩的团队 / 多 agent 共享记忆的.横向比较(headroom vs LLMLingua):维度headroomLLMLingua可逆性CCR 可逆: 丢弃行写哨兵, LLM 调headroom_retrieve拿回不可逆, 砍掉的 token 真没了跨 agent 共享SharedContext Qdrant / Neo4j backend, Claude/Codex/Gemini 共享无部署形态库 透明代理 MCP headroom wrap四合一纯 Python 库, 需业务代码显式compress_prompt()生产化程度CacheAligner探测 KV cache Prometheus/stats研究代码, 无生产化包装 总结四个项目拼到一起, 是一条完整的AI 应用工程上下文成本 流水线: 采 (Scrapling) → 喂 (markitdown) → 抽 (opendataloader-pdf) → 压 (headroom)自适应爬虫 · 多格式→Markdown · PDF 解析 无障碍 · token 削 60-95%任何一环成本砍掉一半, 整个 LLM 应用的总成本都能看到量级下降. 这次的 4 个项目, 就是这套流水线上最新的瑞士军刀 ️.
