X 平台开源「For You」推荐算法:Grok 驱动的 Phoenix Transformer,完整管道代码可直接跑

X 平台开源「For You」推荐算法:Grok 驱动的 Phoenix Transformer,完整管道代码可直接跑 X 平台开源「For You」推荐算法Grok 驱动的 Phoenix Transformer完整管道代码可直接跑作者技术博主 |更新时间2026-05-16标签X算法推荐系统Phoenix TransformerGrok开源For YouTwo-TowerRust5 月 15 日Elon Musk 发了一条只有 6 个字符加一个链接的推文「The latest algorithm has been published to GitHub」。链接指向github.com/xai-org/x-algorithm几小时内该仓库涌入18,100 颗 Star。这是 X原 Twitter第二次开源其推荐算法但这一次的完整度和工程意义远超 2023 年的初次尝试——那次被批评为「透明度剧场」代码不完整、无法运行。这次不同。你可以把代码克隆下来下载预训练权重在自己的机器上跑出一个和 X 生产环境行为接近的推荐排序结果。一、背景为什么是现在┌─────────────────────────────────────────────────────────────────────────────────────────────┐ │ FOR YOU FEED REQUEST │ └─────────────────────────────────────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────────────────────────────────────┐ │ HOME MIXER │ │(Orchestration Layer)│ ├─────────────────────────────────────────────────────────────────────────────────────────────┤ │ │ │ ┌─────────────────────────────────────────────────────────────────────────────────────┐ │ │ │ QUERY HYDRATION │ │ │ │ ┌──────────────────────────┐ ┌──────────────────────────────────────────────┐ │ │ │ │ │ User Action Sequence │ │ User Features │ │ │ │ │ │(engagement history)│ │(followinglist,preferences,etc.)│ │ │ │ │ └──────────────────────────┘ └──────────────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────────────────────────────────────────────────────────────────────────┐ │ │ │ CANDIDATE SOURCES │ │ │ │ ┌─────────────────────────────┐ ┌────────────────────────────────┐ │ │ │ │ │ THUNDER │ │ PHOENIX RETRIEVAL │ │ │ │ │ │(In-Network Posts)│ │(Out-of-Network Posts)│ │ │ │ │ │ │ │ │ │ │ │ │ │ Postsfromaccounts │ │ ML-based similarity search │ │ │ │ │ │ you follow │ │ acrossglobalcorpus │ │ │ │ │ └─────────────────────────────┘ └────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────────────────────────────────────────────────────────────────────────┐ │ │ │ HYDRATION │ │ │ │ Fetch additional data:core post metadata,author info,media entities,etc.│ │ │ └─────────────────────────────────────────────────────────────────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────────────────────────────────────────────────────────────────────────┐ │ │ │ FILTERING │ │ │ │ Remove:duplicates,old posts,self-posts,blocked authors,muted keywords,etc.│ │ │ └─────────────────────────────────────────────────────────────────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────────────────────────────────────────────────────────────────────────┐ │ │ │ SCORING │ │ │ │ ┌──────────────────────────┐ │ │ │ │ │ Phoenix Scorer │ Grok-based Transformer predicts:│ │ │ │ │(ML Predictions)│ P(like),P(reply),P(repost),P(click)...│ │ │ │ └──────────────────────────┘ │ │ │ │ │ │ │ │ │ ▼ │ │ │ │ ┌──────────────────────────┐ │ │ │ │ │ Weighted Scorer │ Weighted ScoreΣ(weight × P(action))│ │ │ │ │(Combine predictions)│ │ │ │ │ └──────────────────────────┘ │ │ │ │ │ │ │ │ │ ▼ │ │ │ │ ┌──────────────────────────┐ │ │ │ │ │ Author Diversity │ Attenuate repeated author scores │ │ │ │ │ Scorer │ to ensure feed diversity │ │ │ │ └──────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────────────────────────────────────────────────────────────────────────┐ │ │ │ SELECTION │ │ │ │ Sort by final score,select top K candidates │ │ │ └─────────────────────────────────────────────────────────────────────────────────────┘ │ │ │ │ │ ▼ │ │ ┌─────────────────────────────────────────────────────────────────────────────────────┐ │ │ │ FILTERING(Post-Selection)│ │ │ │ Visibility filtering(deleted/spam/violence/gore etc)│ │ │ └─────────────────────────────────────────────────────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────────────────────────────────┘ │ ▼ ┌─────────────────────────────────────────────────────────────────────────────────────────────┐ │ RANKED FEED RESPONSE │ └─────────────────────────────────────────────────────────────────────────────────────────────┘这次开源有几个明确的外部压力节点2025 年 12 月EU 以违反《数字服务法》DSA透明度义务为由对 X 开出1.4 亿欧元罚款法国同期发起算法偏见调查。开源代码在技术层面提供了监管合规的抓手。与此同时Musk 在去年 10 月宣布 Grok 将全面接管推荐系统承诺「4-6 周内删除所有启发式规则」。这次 5 月发布的版本正是完整兑现这个承诺的结果。X Engineering 官方账号的表述「We will make the new algorithm, including all code used to determine what organic and advertising posts are recommended to users, open source in 7 days. This will be repeated every 4 weeks, with comprehensive developer notes.」每四周更新一次附完整开发者说明。二、系统全貌四个核心组件仓库用Rust57.4% Python42.6%编写Apache 2.0 协议包含四个主要模块x-algorithm/ ├── home_mixer/ # 编排层协调整个推荐流水线 ├── thunder/ # 内存内容存储管理关注账号的近期帖子 ├── phoenix/ # 核心检索 排序Grok Transformer └── candidate_pipeline/ # 通用管道框架并行执行、监控、错误处理Home Mixer总指挥把各阶段串起来管理请求流转。Thunder专门存储你关注账号的近期内容站内内容高速内存检索。Phoenix最核心的模块负责站外内容发现Two-Tower 检索和最终排序Transformer 打分后面单独拆解。Candidate Pipeline基于 Rust trait 定义的可复用推荐管道框架各阶段可并行执行内置错误隔离和监控 hook。三、推荐流水线五个阶段每次你打开 For You系统在200 毫秒内完成以下全部步骤全平台每日 5 亿条帖子 ↓ ┌─────────────────────────────────────────┐ │ 阶段1候选收集Candidate Sourcing │ │ 站内Thunder 取关注账号近期内容 │ │ 站外Phoenix Two-Tower 相似性检索 │ │ 合并后约 1500 个候选 │ └─────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────┐ │ 阶段2上下文补充Hydration │ │ 填充作者信息、媒体元数据、社交图谱等 │ └─────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────┐ │ 阶段3AI 打分Phoenix Scoring │ │ Grok Transformer 预测多维互动概率 │ │ P(like), P(reply), P(repost), P(click) │ │ 加权求和 → 最终相关性分数 │ └─────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────┐ │ 阶段4多样性调整Diversity │ │ 同一作者出现过多 → 降权 │ │ 站外内容比例调整 │ └─────────────────────────────────────────┘ ↓ ┌─────────────────────────────────────────┐ │ 阶段5过滤Filtering │ │ 去重、去垃圾、去已屏蔽账号 │ │ 广告混入ads blending │ └─────────────────────────────────────────┘ ↓ 最终 Feed约几十条四、Phoenix最值得深读的模块Phoenix 是整个系统的智能核心分两个子阶段4.1 检索阶段Two-Tower 模型Two-Tower 架构是推荐系统的经典设计Phoenix 用它来发现你没有关注但可能感兴趣的内容站外内容User Tower Candidate Tower 用户特征 互动历史 候选帖子特征 ↓ ↓ 用户向量 [B, D] 内容向量 [N, D] ↓ ↓ ← 余弦相似度搜索ANN→ 取 Top-K 最相似的候选两个 Tower 独立编码向量维度 256 维4 个注意力头可以离线预计算内容向量并缓存检索时只需计算用户向量 → 大幅降低在线计算量。4.2 排序阶段Grok Transformer这是系统最核心也最有意思的部分。架构来源直接从 xAI 的 Grok-1 开源版本移植针对推荐场景改造了输入嵌入和注意力掩码。输入用户嵌入 [B, 1, D] 用户历史互动序列你点赞过、回复过、转发过的帖子[B, S, D] 候选帖子序列 [B, C, D]关键设计候选孤立Candidate Isolation排序时候选帖子之间不能互相 attend——每个帖子只能关注用户上下文不能看到同批次的其他候选。这个设计解决了一个微妙问题如果帖子 A 的得分会因为同批次有帖子 B 而变化那得分就不稳定、不可缓存。孤立后同一帖子对同一用户的得分永远一致可以安全缓存也防止了「刻意避开竞争」的策略性操控。输出每个候选帖子对应一组互动概率P(like) P(reply) P(repost) P(quote) P(click) P(profile_visit) P(video_watch) P(expand_photo) P(share) ...最终相关性分数 各概率的加权求和权重代表平台对不同互动行为的重视程度。4.3 互动权重已公开代码中明确记录了各互动行为的相对权重部分核心数字互动行为相对权重作者回复了用户的评论×150最高转发Repost×20点赞Like×1基准书签Bookmark×10屏蔽/举报Block/Report-3.0负向绝对值远超正向一次屏蔽的负面权重抵消 3 次点赞——负向信号的权重设计得比正向信号重很多。五、三个重要的工程决策① 彻底消除手工特征工程这是这次更新最重要的声明「We have eliminated every single hand-engineered feature and most heuristics from the system. The Grok-based transformer does all the heavy lifting.」过去的推荐系统需要工程师手动定义什么是好帖子——帖子长度、标签数量、发帖时间……现在这些全部由 Transformer 从用户互动序列中自动学习。好处是大幅降低数据管道和基础设施复杂度代价是可解释性进一步降低。② 情感分析影响分发Grok 现在监控每条帖子的情感倾向。积极、建设性的内容获得更广泛的分发消极、对抗性的内容即使互动量高也会被降权。这意味着算法在主动塑造平台的情感基调。③ 可提示的信息流Promptable Feeds用户可以用自然语言输入指令定制 Feed「多给我推科技内容少推政治」。这个功能将自然语言指令接入了推荐管道。六、这次开源真正开放了什么对比 2023 年那次2023 年初次开源2026 年 5 月更新代码完整性片段无法运行完整端到端管道可本地跑预训练权重无提供 mini 版~3GBGit LFS广告系统未开源内置广告混合模块内容理解无Grox 内容理解服务分类器 Embedding架构说明简略详细 README 架构图本次开源的 mini Phoenix 模型规格256 维嵌入、4 个注意力头、2 层 Transformer约 3GB。和生产环境的完整模型不是同一量级但行为一致——8GB 显存的 GPU 或近年的 CPU 都能跑起来。# 克隆仓库gitclone https://github.com/xai-org/x-algorithm.gitcdx-algorithm# 下载预训练权重需要 Git LFSgitlfs pull# 运行端到端推荐管道python phoenix/run_pipeline.py七、还开放不了什么代码开源了但有两件事仍然无法验证生产权重GitHub 上的是 mini 版生产环境用的完整模型规模、训练数据、实际权重不在开源范围内。行为一致性线上跑的代码和 GitHub 上的代码是否逐位一致无法从外部验证。法国的算法偏见调查仍在进行中正是基于这个不确定性。这是平台透明度的天然边界——公布架构和公布生产系统之间仍然有一道鸿沟。总结X 这次开源的价值对不同人群意义不同对推荐系统工程师一个全球规模最大、可完整审查的推荐引擎实现Rust 写的带着 Grok Transformer 的实际改造方案。对研究者公平性测试、偏见审计、行为复现终于有了可操作的基础。对普通用户你现在知道了为什么某条帖子出现在你的 For You——作者回复你是权重最高的信号屏蔽比点赞的影响大得多情感积极的内容会被主动推广。代码在这里自己去读github.com/xai-org/x-algorithm你觉得推荐算法完全交给 Transformer 自学比人工规则更好吗还是觉得可解释性更重要欢迎评论区聊觉得有价值的话点个赞关注不迷路本文信息截至 2026-05-16基于 xai-org/x-algorithm 公开仓库及相关技术分析。