2026年3月在全球人工智能与GPU计算领域最具影响力的技术盛会——NVIDIA GTC 2026大会上阿里云资深技术总监张为受邀发表演讲带来了《基于全局KV Cache存储系统的高效LLM推理加速方案》的深度分享。这不是一次普通的技术发言。NVIDIA GTC大会汇聚了全球顶尖的AI科学家、工程师与产业领袖每一个受邀Session都经过严苛筛选。这次入选不仅是对阿里云Tair在AI推理基础设施领域多年积累的高度认可更标志着中国云计算厂商在全球AI底层技术话语权上迈出了关键一步。在AI从模型能力竞争转向工程效率竞争的今天KV Cache管理正成为大模型推理链路中最关键的性能瓶颈之一。GPU显存贵、上下文长、并发高——这三重压力叠加之下如何用存储的智慧释放算力的潜能是整个行业都在苦寻的答案。阿里云数据库 Tair 给出了自己的回答从分层调度、全局池化、混合模型适配到与SGLang社区深度共建、联合NVIDIA Dynamo AIConfigurator 团队开发高保真仿真器再到面向未来硬件的G3.5定制存储探索——一套覆盖全链路的系统性解法正在重新定义AI时代的存储基础设施。本文是对张为GTC演讲的深度复盘与延伸解读带你从原理到架构、从挑战到未来完整理解这场正在发生的存算协同革命。当前AI 的应用正经历从“单一模型交互”向“自主智能体Agent集群协作”的关键范式转移。随着 OpenClaw 等新一代框架的爆发应用侧对长上下文、多轮记忆及复杂任务规划的需求呈指数级增长基础设施面临前所未有的挑战。在此背景下阿里云资深技术总监张为在 GTC 2026 Session 中介绍《基于全局KV Cache 存储系统的高效 LLM 推理加速方案》这一分享不仅引发了业界的广泛讨论与共鸣更标志着存储层在 AI 推理链路中的战略地位从“辅助支撑”向“核心驱动”转变确立了存算协同作为突破算力瓶颈的关键路径。本文将以此次分享为核心线索从 KVCache 的技术原理、架构演进、工程挑战到未来硬件趋势为大家带来一次系统性的深度复盘与解析旨在为构建高效、经济的 AI 推理基础设施提供实践参考。KVCache 作用和应用发展趋势KV Cache 是大语言模型推理的核心优化技术其本质是以内存换算力。在 Prefill 阶段缓存 Key/Value 状态Decode 阶段直接复用历史缓存避免重复计算将冗余的矩阵运算转化为高效内存读取显著降低延迟与推理成本。当前KV Cache 已广泛应用于系统提示词复用、多轮对话记忆、长文档检索及多模态处理等场景成为提升生产效能的关键。随着自主智能体时代到来其需求呈指数级增长上下文长度从4K扩展至256K tokens、跨轮次缓存持久化、RAG动态注入外部知识、高并发批处理四大维度叠加使内存压力激增8-16倍。然而GPU高带宽内存容量已成为物理瓶颈。传统方案如强制清除历史、卸载至CPU或降低批量均会损害可靠性或实时性。基于与主流模型厂商的深度研讨针对 OpenClaw 类 Agent 应用及未来多模态 1M 长上下文场景行业共识已指向构建智能分层、业务感知的 KV Cache 管理体系这将是突破“内存墙”、释放智能体潜力的核心方向。具体演进路径包含三个层面存储智能分层建立类似操作系统虚拟内存的多级架构热数据驻留 GPU HBM温数据卸载至 Host DRAM冷数据持久化至远端高性能存储实现容量与成本的平衡。业务感知调度淘汰策略从简单的 LRU最近最少使用升级为基于任务类别的冷热数据区分。存算分离与池化推动 KV Cache 存储与计算算力解耦通过全局资源池化打破单卡显存限制为“无限上下文”提供底层支撑。我们 (阿里云数据库 Tair KVCache) 在做什么我们看到范式转移当前正从移动时代的孤立应用架构每应用独立数据库迈向模型即服务的超级应用时代。用户通过统一入口与智能体交互由底层LLM推理服务并发处理代码生成、对话、分析等多元任务实现能力融合与资源集约。在这一变革中数据访问模式发生了根本性变化。传统的 Transactional Load交易型负载正演变为 Inference Load推理型负载。阿里云数据库 Tair KVCache正顺势而为实现从互联网时代面向高并发交易到 AI 时代面向高吞吐推理的战略延展成为连接算力与模型的关键存储枢纽。传统缓存经验在 AI 时代的复用尽管负载类型变了但存储系统的核心设计哲学在 AI 推理中依然成立。Tair 将互联网时代成熟的缓存架构经验平滑迁移至 AI 基础设施中传统互联网架构 (Mobile Era)AI 推理架构 (MaaS Era)核心价值统一接口应用通过 KV 接口 (如 Redis) 访问缓存统一抽象推理引擎通过标准 KV 接口访问 KVCache解耦计算与存储屏蔽底层硬件差异多级存储App Local Cache → 远端分布式缓存 → 持久化 DB显存层级GPU HBM → Host DRAM → 远端高性能存储 (Tair)冷热分离降低高昂的 GPU 显存成本预计算加速缓存复杂查询或者中间计算结果避免重复计算减少DB压力中间态复用缓存 Attention 计算中间结果 (Prefix Caching)加速首字延迟 (TTFT)提升推理吞吐量接口标准化正如互联网应用依赖 Redis 协议AI 推理引擎同样需要一个标准的 KV 抽象层。Tair 提供的高兼容 KV 接口使得推理框架无需关心底层是 DRAM 还是 SSD实现计算存储解耦。存储层级化传统架构中本地缓存解决延迟远端缓存解决容量。在 AI 中GPU HBM 极其昂贵且有限必须将不活跃的 KVCache 快速卸载Offload到 Host DRAM 或远端 Tair 存储中实现“无限显存”。计算下推与预取传统缓存通过预计算加速查询AI 缓存则通过预取Prefetching和前缀复用Prefix Reuse避免重复计算相同的 Token 序列直接利用存储能力加速推理效果。应对推理上 KVCache 的新挑战回顾过去一年的技术演进阿里云数据库 Tair深度融入开源生态与合作伙伴共同补齐了 KVCache 解决方案的关键拼图。针对推理链路中的核心痛点我们从分层调度、模型支持、存储优化、全局管理经济效应及算法创新六个维度进行了系统性优化。推理引擎调度与分层缓存 (Scheduling HiCache)针对推理引擎如 vLLM、SGLang与存储间缺乏统一标准的问题我们与SGLang 社区合作推出了 HiCache 分层缓存体系。该方案通过显存 - 内存 -3FS 多级卸载与全局共享解决了存储绑定严重、难以实施多级缓存和智能预取的痛点。缓存命中率提升至 80%TTFT 降低 56%推理 QPS 翻倍支撑智能体时代的大模型高效推理。具体的工作可以参考 阿里云 Tair 联手 SGLang 共建 HiCache构建面向“智能体式推理”的缓存新范式混合模型架构适配 (Hybrid Model Support)随着模型实现从 Full Attention 快速迭代至 Linear Attention如 QWen、Kimi及 Sparse Attention如 DeepSeek、GLM我们及时优化了 KVCache 的管理方式。在SGLang 社区中我们负责实现了对 Mamba-Transformer 等混合架构模型的远端KVCache 支持及表示层兼容。确保新一代高效模型也能享受存算分离带来的容量红利无需因架构差异而牺牲缓存性能。具体的工作可以参考Hybrid Model Support阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案、SGLang Hierarchical Sparse Attention 技术深度解析元数据管理与全局池化 (KVCache Manager)针对 Agent 长会话、高并发导致的调度与命中率冲突我们建设 Tair KVCache Manager。基于高性能网络实现 KVCache 全局池化引入 LLM 语义层 抽象管理元数据向上暴露原生接口向下高效调度存储兼顾落地速度与长期演进。实现存算彻底解耦支持推理容器弹性伸缩而不影响缓存命中率提供 ROI 评估、可观测性及高可用等企业级能力显著降低 GPU 消耗并提升服务质量。具体的工作可以参考我们和集团RTP-LLM开源共建的阿里云 Tair KVCache Manager企业级全局 KVCache 管理服务的架构设计与实现高性能远端存储落地针对 KVCache 对带宽与容量的双重需求我们和服务器团队以3FS为基座通过 RDMA 全链路加速、GDR 零拷贝、小 I/O 调优及云原生 Operator 等系统性升级打造专为 LLM 推理优化的 L3 存储层并与 SGLang/vLLM 深度集成。实现 20GB/s 单节点带宽与 PB 级弹性容量长上下文场景 TTFT 下降 78%、推理吞吐提升 520%在保障低延迟的同时显著降低单位存储成本。具体的工作参考: 阿里云 Tair 基于 3FS 工程化落地 KVCache企业级部署、高可用运维与性能调优实践经济效应模拟与 ROI 评估 (Simulation ROI)面对 MaaS 时代负载波动大、配置空间爆炸的黑盒挑战我们和NVIDIA Dynamo团队联合推出 Tair-KVCache-HiSim 高保真仿真器。采用分层解耦 事件驱动架构支持端到端推理流程建模与细粒度时延预测实现配置空间的帕累托最优搜索。仿真成本降低 39 万倍、端到端误差5%帮助客户从经验规划转向数据驱动在满足 SLO 约束下快速定位成本 - 延迟 - 吞吐的最优平衡点。具体的工作参考: 阿里云Tair KVCache仿真分析高精度的计算和缓存模拟设计与实现算法优化与多模态支持 (Algorithm)针对多模态输入重复场景我们与通义实验室联合推出 VLCache 缓存复用框架。首次形式化识别累积复用误差效应提出层感知动态重计算策略协同复用 KV Cache 与 Encoder Cache仅需计算 2–5% tokens 即可实现准确率持平。TTFT 加速 1.2–16 倍显著降低多模态场景显存占用与计算成本基于 SGLang 的工程实现支持实际部署中的高效推理。同时KVCache量化压缩稀疏化的工作正在积极和各大高校和实验室合作相关的学术研究工作正在投递中。 具体的工作参考VLCACHE: Computing 2% Vision Tokens and Reusing 98% for Vision–Language Inference此前业界 KVCache 方案往往局限于单一环节如仅优化引擎或仅做存储缺乏统一标准、全局管理及效果评估手段导致落地困难、成本不可控。Tair KVCache 通过上述六大模块首次实现了从引擎调度、存储底座、元数据管理、仿真评估到算法优化的全链路覆盖。这不仅补齐了行业在标准化、可观测性及经济性评估上的缺失环节我们还联合清华、火山 、腾讯、华为等业内伙伴共同推动KVCache 服务化标准的制定为 Agent 时代的大模型推理提供了坚实、完整的基础设施底座。AI Memory对于未来存储的演进需求理想KV Cache存储的5大支柱带宽-容量解耦。核心诉求是TB级存储容量与IOPS性能能够独立扩展解决的问题是不再为了达到带宽目标而被迫购买额外容量降低资源浪费。弹性容量。核心诉求是支持平滑扩容、按需付费解决的问题是避免资源闲置带来的成本浪费提升资源利用效率。可预测低延迟。核心诉求是严格满足TTFT首token时间的SLA要求解决的问题是保障每个请求的用户体验一致性避免长尾延迟影响服务质量。负载-存储匹配。核心诉求是根据不同工作负载的访问模式匹配最适合的存储介质类型解决的问题是延长SSD使用寿命同时优化整体成本结构。最优总拥有成本TCO。核心诉是在综合考虑硬件采购、运维管理、能源消耗等所有成本因素后实现整体成本最优这是技术方案商业可持续的关键。软硬结合KV Cache定制的G3.5存储与传统通用存储方案相比G3.5方案有四个核心差异第一定位上专为KV Cache优化而非通用数据存储第二接入方式采用网络附加智能预取而非简单的本地或网络挂载成本效率上实现容量与带宽独立扩展按需付费避免资源浪费。ICMS 核心能力包括三点上下文智能放置决定哪个KV数据块存放在哪个位置、硬件级加密保障数据安全的同时不拖累性能、块级追踪精准预取数据减少冗余传输。性能指标达到800Gbps线速处理。关键价值在于绕过CPU实现GPU与Flash存储之间的直连大幅降低延迟。Tair-KVCache负责全局调度决策。NVMe-over-Fabrics深度集成两者协同的效果是让远程闪存在应用层面看起来像本地内存对上层透明。此时我们在积极和NVIDIA以及云存储团队探索定制 KVCache存储的后续发展。硬件突破展望我们和服务器团队在积极探索下一代 KVCache 存储介质的选型和发展。HBFHigh Bandwidth Flash高带宽闪存 将HBM高带宽内存采用的3D堆叠技术直接应用于标准NAND闪存芯片。性能飞跃单栈可实现1.6TB/s的读取带宽相当于当前顶级SSD性能的50倍。应用想象百万token级别的KV Cache可以直接贴近GPU部署获得接近HBM的访问速度、闪存的大容量优势同时不产生额外功耗负担。PIMProcessing-in-Memory存内计算。 在存储芯片内部嵌入轻量级计算单元实现计算向数据移动。范式转变传统模式是把原始tensor数据从存储搬到GPU进行计算容易遇到网络带宽瓶颈新模式是在存储端直接完成attention分数等关键计算只将最终的小结果通过网络传输。核心价值大幅减少数据搬运量从根源上突破内存墙限制。CXL 4.0 PCIe 7.0互联协议革命 带宽相比CXL 3.0翻倍新增Bundled Ports技术支持多链路聚合跨机架内存池带宽可达1.5TB/s。架构意义让内存真正成为可池化、可共享的资源打破单机内存容量限制为大规模模型推理提供弹性内存支持。GTC解读
GTC解读：当我们谈论 AI 推理的 KV Cache，我们在做什么？
2026年3月在全球人工智能与GPU计算领域最具影响力的技术盛会——NVIDIA GTC 2026大会上阿里云资深技术总监张为受邀发表演讲带来了《基于全局KV Cache存储系统的高效LLM推理加速方案》的深度分享。这不是一次普通的技术发言。NVIDIA GTC大会汇聚了全球顶尖的AI科学家、工程师与产业领袖每一个受邀Session都经过严苛筛选。这次入选不仅是对阿里云Tair在AI推理基础设施领域多年积累的高度认可更标志着中国云计算厂商在全球AI底层技术话语权上迈出了关键一步。在AI从模型能力竞争转向工程效率竞争的今天KV Cache管理正成为大模型推理链路中最关键的性能瓶颈之一。GPU显存贵、上下文长、并发高——这三重压力叠加之下如何用存储的智慧释放算力的潜能是整个行业都在苦寻的答案。阿里云数据库 Tair 给出了自己的回答从分层调度、全局池化、混合模型适配到与SGLang社区深度共建、联合NVIDIA Dynamo AIConfigurator 团队开发高保真仿真器再到面向未来硬件的G3.5定制存储探索——一套覆盖全链路的系统性解法正在重新定义AI时代的存储基础设施。本文是对张为GTC演讲的深度复盘与延伸解读带你从原理到架构、从挑战到未来完整理解这场正在发生的存算协同革命。当前AI 的应用正经历从“单一模型交互”向“自主智能体Agent集群协作”的关键范式转移。随着 OpenClaw 等新一代框架的爆发应用侧对长上下文、多轮记忆及复杂任务规划的需求呈指数级增长基础设施面临前所未有的挑战。在此背景下阿里云资深技术总监张为在 GTC 2026 Session 中介绍《基于全局KV Cache 存储系统的高效 LLM 推理加速方案》这一分享不仅引发了业界的广泛讨论与共鸣更标志着存储层在 AI 推理链路中的战略地位从“辅助支撑”向“核心驱动”转变确立了存算协同作为突破算力瓶颈的关键路径。本文将以此次分享为核心线索从 KVCache 的技术原理、架构演进、工程挑战到未来硬件趋势为大家带来一次系统性的深度复盘与解析旨在为构建高效、经济的 AI 推理基础设施提供实践参考。KVCache 作用和应用发展趋势KV Cache 是大语言模型推理的核心优化技术其本质是以内存换算力。在 Prefill 阶段缓存 Key/Value 状态Decode 阶段直接复用历史缓存避免重复计算将冗余的矩阵运算转化为高效内存读取显著降低延迟与推理成本。当前KV Cache 已广泛应用于系统提示词复用、多轮对话记忆、长文档检索及多模态处理等场景成为提升生产效能的关键。随着自主智能体时代到来其需求呈指数级增长上下文长度从4K扩展至256K tokens、跨轮次缓存持久化、RAG动态注入外部知识、高并发批处理四大维度叠加使内存压力激增8-16倍。然而GPU高带宽内存容量已成为物理瓶颈。传统方案如强制清除历史、卸载至CPU或降低批量均会损害可靠性或实时性。基于与主流模型厂商的深度研讨针对 OpenClaw 类 Agent 应用及未来多模态 1M 长上下文场景行业共识已指向构建智能分层、业务感知的 KV Cache 管理体系这将是突破“内存墙”、释放智能体潜力的核心方向。具体演进路径包含三个层面存储智能分层建立类似操作系统虚拟内存的多级架构热数据驻留 GPU HBM温数据卸载至 Host DRAM冷数据持久化至远端高性能存储实现容量与成本的平衡。业务感知调度淘汰策略从简单的 LRU最近最少使用升级为基于任务类别的冷热数据区分。存算分离与池化推动 KV Cache 存储与计算算力解耦通过全局资源池化打破单卡显存限制为“无限上下文”提供底层支撑。我们 (阿里云数据库 Tair KVCache) 在做什么我们看到范式转移当前正从移动时代的孤立应用架构每应用独立数据库迈向模型即服务的超级应用时代。用户通过统一入口与智能体交互由底层LLM推理服务并发处理代码生成、对话、分析等多元任务实现能力融合与资源集约。在这一变革中数据访问模式发生了根本性变化。传统的 Transactional Load交易型负载正演变为 Inference Load推理型负载。阿里云数据库 Tair KVCache正顺势而为实现从互联网时代面向高并发交易到 AI 时代面向高吞吐推理的战略延展成为连接算力与模型的关键存储枢纽。传统缓存经验在 AI 时代的复用尽管负载类型变了但存储系统的核心设计哲学在 AI 推理中依然成立。Tair 将互联网时代成熟的缓存架构经验平滑迁移至 AI 基础设施中传统互联网架构 (Mobile Era)AI 推理架构 (MaaS Era)核心价值统一接口应用通过 KV 接口 (如 Redis) 访问缓存统一抽象推理引擎通过标准 KV 接口访问 KVCache解耦计算与存储屏蔽底层硬件差异多级存储App Local Cache → 远端分布式缓存 → 持久化 DB显存层级GPU HBM → Host DRAM → 远端高性能存储 (Tair)冷热分离降低高昂的 GPU 显存成本预计算加速缓存复杂查询或者中间计算结果避免重复计算减少DB压力中间态复用缓存 Attention 计算中间结果 (Prefix Caching)加速首字延迟 (TTFT)提升推理吞吐量接口标准化正如互联网应用依赖 Redis 协议AI 推理引擎同样需要一个标准的 KV 抽象层。Tair 提供的高兼容 KV 接口使得推理框架无需关心底层是 DRAM 还是 SSD实现计算存储解耦。存储层级化传统架构中本地缓存解决延迟远端缓存解决容量。在 AI 中GPU HBM 极其昂贵且有限必须将不活跃的 KVCache 快速卸载Offload到 Host DRAM 或远端 Tair 存储中实现“无限显存”。计算下推与预取传统缓存通过预计算加速查询AI 缓存则通过预取Prefetching和前缀复用Prefix Reuse避免重复计算相同的 Token 序列直接利用存储能力加速推理效果。应对推理上 KVCache 的新挑战回顾过去一年的技术演进阿里云数据库 Tair深度融入开源生态与合作伙伴共同补齐了 KVCache 解决方案的关键拼图。针对推理链路中的核心痛点我们从分层调度、模型支持、存储优化、全局管理经济效应及算法创新六个维度进行了系统性优化。推理引擎调度与分层缓存 (Scheduling HiCache)针对推理引擎如 vLLM、SGLang与存储间缺乏统一标准的问题我们与SGLang 社区合作推出了 HiCache 分层缓存体系。该方案通过显存 - 内存 -3FS 多级卸载与全局共享解决了存储绑定严重、难以实施多级缓存和智能预取的痛点。缓存命中率提升至 80%TTFT 降低 56%推理 QPS 翻倍支撑智能体时代的大模型高效推理。具体的工作可以参考 阿里云 Tair 联手 SGLang 共建 HiCache构建面向“智能体式推理”的缓存新范式混合模型架构适配 (Hybrid Model Support)随着模型实现从 Full Attention 快速迭代至 Linear Attention如 QWen、Kimi及 Sparse Attention如 DeepSeek、GLM我们及时优化了 KVCache 的管理方式。在SGLang 社区中我们负责实现了对 Mamba-Transformer 等混合架构模型的远端KVCache 支持及表示层兼容。确保新一代高效模型也能享受存算分离带来的容量红利无需因架构差异而牺牲缓存性能。具体的工作可以参考Hybrid Model Support阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案、SGLang Hierarchical Sparse Attention 技术深度解析元数据管理与全局池化 (KVCache Manager)针对 Agent 长会话、高并发导致的调度与命中率冲突我们建设 Tair KVCache Manager。基于高性能网络实现 KVCache 全局池化引入 LLM 语义层 抽象管理元数据向上暴露原生接口向下高效调度存储兼顾落地速度与长期演进。实现存算彻底解耦支持推理容器弹性伸缩而不影响缓存命中率提供 ROI 评估、可观测性及高可用等企业级能力显著降低 GPU 消耗并提升服务质量。具体的工作可以参考我们和集团RTP-LLM开源共建的阿里云 Tair KVCache Manager企业级全局 KVCache 管理服务的架构设计与实现高性能远端存储落地针对 KVCache 对带宽与容量的双重需求我们和服务器团队以3FS为基座通过 RDMA 全链路加速、GDR 零拷贝、小 I/O 调优及云原生 Operator 等系统性升级打造专为 LLM 推理优化的 L3 存储层并与 SGLang/vLLM 深度集成。实现 20GB/s 单节点带宽与 PB 级弹性容量长上下文场景 TTFT 下降 78%、推理吞吐提升 520%在保障低延迟的同时显著降低单位存储成本。具体的工作参考: 阿里云 Tair 基于 3FS 工程化落地 KVCache企业级部署、高可用运维与性能调优实践经济效应模拟与 ROI 评估 (Simulation ROI)面对 MaaS 时代负载波动大、配置空间爆炸的黑盒挑战我们和NVIDIA Dynamo团队联合推出 Tair-KVCache-HiSim 高保真仿真器。采用分层解耦 事件驱动架构支持端到端推理流程建模与细粒度时延预测实现配置空间的帕累托最优搜索。仿真成本降低 39 万倍、端到端误差5%帮助客户从经验规划转向数据驱动在满足 SLO 约束下快速定位成本 - 延迟 - 吞吐的最优平衡点。具体的工作参考: 阿里云Tair KVCache仿真分析高精度的计算和缓存模拟设计与实现算法优化与多模态支持 (Algorithm)针对多模态输入重复场景我们与通义实验室联合推出 VLCache 缓存复用框架。首次形式化识别累积复用误差效应提出层感知动态重计算策略协同复用 KV Cache 与 Encoder Cache仅需计算 2–5% tokens 即可实现准确率持平。TTFT 加速 1.2–16 倍显著降低多模态场景显存占用与计算成本基于 SGLang 的工程实现支持实际部署中的高效推理。同时KVCache量化压缩稀疏化的工作正在积极和各大高校和实验室合作相关的学术研究工作正在投递中。 具体的工作参考VLCACHE: Computing 2% Vision Tokens and Reusing 98% for Vision–Language Inference此前业界 KVCache 方案往往局限于单一环节如仅优化引擎或仅做存储缺乏统一标准、全局管理及效果评估手段导致落地困难、成本不可控。Tair KVCache 通过上述六大模块首次实现了从引擎调度、存储底座、元数据管理、仿真评估到算法优化的全链路覆盖。这不仅补齐了行业在标准化、可观测性及经济性评估上的缺失环节我们还联合清华、火山 、腾讯、华为等业内伙伴共同推动KVCache 服务化标准的制定为 Agent 时代的大模型推理提供了坚实、完整的基础设施底座。AI Memory对于未来存储的演进需求理想KV Cache存储的5大支柱带宽-容量解耦。核心诉求是TB级存储容量与IOPS性能能够独立扩展解决的问题是不再为了达到带宽目标而被迫购买额外容量降低资源浪费。弹性容量。核心诉求是支持平滑扩容、按需付费解决的问题是避免资源闲置带来的成本浪费提升资源利用效率。可预测低延迟。核心诉求是严格满足TTFT首token时间的SLA要求解决的问题是保障每个请求的用户体验一致性避免长尾延迟影响服务质量。负载-存储匹配。核心诉求是根据不同工作负载的访问模式匹配最适合的存储介质类型解决的问题是延长SSD使用寿命同时优化整体成本结构。最优总拥有成本TCO。核心诉是在综合考虑硬件采购、运维管理、能源消耗等所有成本因素后实现整体成本最优这是技术方案商业可持续的关键。软硬结合KV Cache定制的G3.5存储与传统通用存储方案相比G3.5方案有四个核心差异第一定位上专为KV Cache优化而非通用数据存储第二接入方式采用网络附加智能预取而非简单的本地或网络挂载成本效率上实现容量与带宽独立扩展按需付费避免资源浪费。ICMS 核心能力包括三点上下文智能放置决定哪个KV数据块存放在哪个位置、硬件级加密保障数据安全的同时不拖累性能、块级追踪精准预取数据减少冗余传输。性能指标达到800Gbps线速处理。关键价值在于绕过CPU实现GPU与Flash存储之间的直连大幅降低延迟。Tair-KVCache负责全局调度决策。NVMe-over-Fabrics深度集成两者协同的效果是让远程闪存在应用层面看起来像本地内存对上层透明。此时我们在积极和NVIDIA以及云存储团队探索定制 KVCache存储的后续发展。硬件突破展望我们和服务器团队在积极探索下一代 KVCache 存储介质的选型和发展。HBFHigh Bandwidth Flash高带宽闪存 将HBM高带宽内存采用的3D堆叠技术直接应用于标准NAND闪存芯片。性能飞跃单栈可实现1.6TB/s的读取带宽相当于当前顶级SSD性能的50倍。应用想象百万token级别的KV Cache可以直接贴近GPU部署获得接近HBM的访问速度、闪存的大容量优势同时不产生额外功耗负担。PIMProcessing-in-Memory存内计算。 在存储芯片内部嵌入轻量级计算单元实现计算向数据移动。范式转变传统模式是把原始tensor数据从存储搬到GPU进行计算容易遇到网络带宽瓶颈新模式是在存储端直接完成attention分数等关键计算只将最终的小结果通过网络传输。核心价值大幅减少数据搬运量从根源上突破内存墙限制。CXL 4.0 PCIe 7.0互联协议革命 带宽相比CXL 3.0翻倍新增Bundled Ports技术支持多链路聚合跨机架内存池带宽可达1.5TB/s。架构意义让内存真正成为可池化、可共享的资源打破单机内存容量限制为大规模模型推理提供弹性内存支持。GTC解读
