1. 一场“老兵”的逆袭从AMD到新战场最近AI芯片圈被一条消息刷屏了一个由24位前AMD顶级工程师组成的“梦之队”成立了一家名为“Tenstorrent”的公司并推出了一款号称能硬刚英伟达的AI推理芯片。最吸引眼球的数据是这款芯片在处理大语言模型时每秒能生成惊人的17000个token。这个数字是什么概念简单来说它意味着AI模型“说话”的速度快得离谱足以让许多现有的解决方案相形见绌。这不仅仅是一个新产品的发布更像是一场精心策划的“老兵”逆袭。团队的核心成员比如CEO Jim Keller是芯片设计领域的传奇人物曾深度参与AMD Zen架构的设计让AMD处理器成功翻身。如今他们带着对传统GPU架构的深刻理解以及可能更激进的设计理念杀回了自己最熟悉的战场——高性能计算但这次的目标是AI推理。英伟达凭借其CUDA生态和强大的GPU几乎统治了AI训练市场但在推理端尤其是对成本、功耗和延迟极度敏感的云端与边缘端推理战局远未结束。Tenstorrent的出现正是瞄准了这个潜在的突破口。对于开发者、企业技术决策者乃至AI研究者而言这个消息的价值在于它可能预示着AI硬件市场从“一家独大”走向“百花齐放”的拐点。我们不再只有一种选择。理解这场竞争背后的技术逻辑、新架构的优劣以及它可能带来的实际影响对于规划未来的技术栈至关重要。这篇文章我们就来深入拆解这个“24人梦之队”的新芯片看看它到底凭什么敢叫板英伟达以及它提到的“每秒17000个token”在实战中意味着什么。2. 核心战场为什么AI推理是“新蓝海”要理解Tenstorrent的野心首先要明白AI训练和推理是两个截然不同的任务对硬件的要求也大相径庭。很多人被英伟达在训练领域的辉煌所吸引却忽略了推理市场更庞大、更复杂的现实需求。2.1 训练与推理的本质差异AI训练好比是“编写教材”的过程。它需要海量的数据TB甚至PB级、复杂的迭代计算反向传播、梯度下降并且对计算精度通常是FP32、FP16或BF16要求极高以保障模型收敛的稳定性。这个过程通常是在数据中心里由成千上万张GPU组成的集群花上数周甚至数月时间完成的。它对硬件的需求是极高的双精度/单精度浮点算力、巨大的内存带宽用于存储海量参数和中间激活值、以及高速的互联技术如NVLink、InfiniBand。而AI推理则是“使用教材答题”的过程。模型已经训练好参数固定不变。推理任务接收一个输入比如一段文本、一张图片经过前向传播计算输出一个结果比如生成的文本、识别的物体。这个过程的特点在于实时性要求高用户等待一个聊天回复、一次图片识别延迟通常要求在毫秒到百毫秒级。请求并发量大一款流行的AI应用可能同时面临成千上万的用户请求。能效比至关重要无论是云服务商电费是主要成本还是边缘设备电池供电每瓦特性能Performance per Watt直接决定了商业可行性和用户体验。精度要求灵活很多推理任务使用INT8甚至INT4量化就能达到可接受的精度这能极大提升计算速度和能效。2.2 GPU在推理场景的“不适配”英伟达的GPU是为训练而生的通用并行计算怪兽它在推理上也能工作但并非最优解存在几个关键痛点能效比不足GPU拥有大量为图形和通用计算设计的硬件单元如Tensor Core虽然强大但控制逻辑复杂在运行相对固定的推理计算图时存在大量的功耗浪费在指令调度、缓存管理上而不是纯粹的计算。内存墙问题大语言模型的参数动辄数百亿远超单个GPU的显存容量。即使使用模型并行、张量并行等技术在GPU间频繁搬运参数也会带来巨大的延迟和能耗。推理时我们更希望模型能尽可能驻留在芯片附近或片内。成本高昂高端GPU如H100价格极其昂贵将其用于推理尤其是并发量波动大的场景总体拥有成本TCO很难被接受。2.3 ASIC的崛起与挑战正因为看到了GPU的短板专门为AI推理定制的ASIC专用集成电路应运而生。谷歌的TPU就是最成功的例子。ASIC通过硬件固化特定的计算模式如矩阵乘加、特定的激活函数剔除了所有不必要的通用逻辑从而在特定任务上实现极致的性能和能效。Tenstorrent选择的正是ASIC这条路。但ASIC也有其阿喀琉斯之踵灵活性差。一旦算法发生重大变化硬件可能就需要重新设计。因此新一代的AI推理芯片包括Tenstorrent都在探索一个中间地带在保持高度定制化以提升效率的同时通过可编程的指令集、灵活的片上网络NoC和软件栈来争取一定的灵活性以适配快速演进的AI模型。注意这里提到的“掩模ROM”Mask ROM是芯片制造中的一种存储技术用于存储固定不变的数据或微码。在一些高度定制化的AI芯片中可能会用掩模ROM来固化最基础的引导程序或核心计算内核以实现极致的面积和功耗优化。但这通常意味着出厂后无法更改是灵活性换取效率的极端体现。Tenstorrent的架构可能采用了更灵活的策略。3. Tenstorrent芯片架构深度猜想如何实现17000 token/s“每秒17000个token”是一个需要谨慎看待的营销数字。它通常是在特定模型如Llama 2 70B、特定配置如量化到INT8、特定输入输出长度下的峰值性能。但它依然是一个强有力的性能指标。要实现它Tenstorrent的芯片架构必须在以下几个关键方面做出创新。3.1 核心张量处理单元与稀疏计算从AMD背景团队来看他们深谙高性能计算核心的设计。传统的GPU SM流多处理器结构复杂。Tenstorrent很可能设计了高度定制化的张量处理单元TPU但不同于谷歌TPU的脉动阵列他们可能会借鉴现代CPU的多发射、乱序执行等思想来更好地处理AI计算中存在的条件分支和稀疏性。大语言模型的前向传播中存在大量的“稀疏”计算即很多激活值是零或接近零。英伟达的Ampere架构引入了稀疏Tensor Core来利用这一点。Tenstorrent作为后来者完全可以在硬件层面更激进地支持稀疏计算比如设计能够跳过零值操作的硬件电路从而在理论上实现远超稠密计算的等效算力。17000 token/s的成就很可能部分归功于对稀疏性极高效率的利用。3.2 内存体系打破“内存墙”这是AI芯片尤其是大模型推理芯片的生死线。Tenstorrent的方案可能包含多层设计巨大的片上SRAM暂存器将模型的关键层如注意力层的K/V缓存或整个小模型放入片内SRAM。片内SRAM的带宽通常是HBM高频宽存储器的十倍甚至百倍以上访问延迟更是天壤之别。这能极大减少访问外部DRAM的次数。创新的缓存层次结构借鉴CPU中复杂的多级缓存设计为AI计算设计专用的缓存策略预取模型参数和中间数据。高带宽封装像Chiplet小芯片技术将多个计算芯粒与HBM堆叠在同一封装内通过硅中介层或EMIB实现超高带宽互联这也是AMD在EPYC和Ryzen处理器上成功使用的技术。团队对此应有丰富经验。3.3 互联与可扩展性从单卡到系统单卡性能再强也有上限。面对千亿、万亿参数模型必须有多卡甚至多机协作。英伟达有NVLink和NVSwitch。Tenstorrent需要自己的高速互联协议。考虑到团队背景他们很可能会设计一个类似Infinity FabricAMD CPU/GPU互联技术的片间互联架构。这个架构需要具备极高的带宽、低延迟、以及对各种并行范式数据并行、模型并行、流水线并行的原生支持。更重要的是它需要与软件栈深度耦合让开发者无需关心底层的硬件拓扑就能高效地将大模型分布到多个芯片上运行。这是挑战也是壁垒。3.4 软件栈决定成败的“另一半”硬件是基础软件才是让硬件发挥效力的关键。英伟达的CUDA生态是其最深的护城河。Tenstorrent必须提供一个至少“可用”的软件栈。编译器与运行时需要能将PyTorch、TensorFlow等框架定义的模型高效地编译到自己的硬件指令集上并管理内存、调度任务。模型支持与优化是否支持主流的Transformer变体是否提供方便的量化工具将FP32模型转换为INT8/INT4对于Flash Attention、Paged Attention等优化技术是否有硬件加速开发者体验API是否简洁调试工具是否完善文档是否清晰这决定了开发者社区能否建立起来。一个由芯片老炮组成的团队理应深知软件的重要性。我们可能会看到他们推出一个高度优化的内核库并积极与主流AI框架社区合作提供后端支持。4. 实战推演17000 token/s在真实场景中意味着什么让我们把这个惊人的数字放到实际应用场景中进行一番推演和换算这比单纯看基准测试更有意义。4.1 延迟与吞吐的权衡17000 token/s通常指的是吞吐量Throughput即在批处理Batch模式下芯片持续处理请求的能力。但用户感知最直接的是延迟Latency即单个请求从发出到收到第一个token的时间。高吞吐场景适用于离线批量处理任务。例如一家公司需要处理一百万份文档进行摘要生成。使用这块芯片假设批处理大小设置为128那么整体处理时间将大大缩短。在这种情况下17000 token/s的价值体现在总任务完成时间上。低延迟场景适用于在线交互如AI聊天助手。用户希望打完字后回复能“秒回”。这时批处理大小可能仅为1或很小。此时芯片的“首token延迟”性能就至关重要。这考验的是芯片从开始计算到输出第一个结果的速度与内存访问、计算启动延迟高度相关。Tenstorrent的架构如果设计了强大的预取和低延迟片上网络可能会在这方面也有不错的表现。4.2 成本与能效测算假设我们对比英伟达A10080GB PCIe版和Tenstorrent的某款芯片假设为T100进行推理。A100峰值INT8算力约624 TOPS功耗约300W。T100宣称实现17000 token/s对应Llama2-70B INT8假设其功耗为250W这是一个猜测用于示意。在一个需要持续处理流式请求的服务器上我们不仅要看单次请求的速度更要看每瓦特每秒处理的token数Tokens/s/W。这是云服务商的核心成本指标。计算公式能效比 吞吐量Tokens/s / 功耗WA100假设优化后能达到8000 token/s8000 / 300 ≈ 26.7 Tokens/s/WT100假设17000 / 250 68 Tokens/s/W如果这个假设数字哪怕只有一部分接近现实T100的能效比将是A100的2.5倍以上。这意味着在完成同样推理工作量的情况下电费可能节省一半以上。对于数据中心运营者这是无法忽视的吸引力。4.3 模型适配与软件成熟度挑战然而这一切美好的前提是你的模型能在T100上高效运行。这涉及到量化支持你的模型是否容易量化到INT8且精度损失可接受Tenstorrent是否提供了易用的量化工具算子支持如果你的模型使用了某个小众的PyTorch算子T100的编译器是否支持是否需要回退到低效的通用计算路径动态形状实际请求的输入输出长度是变化的。芯片能否高效处理动态形状而不造成大量的计算资源浪费或重新编译开销这些软件层面的细节往往是新硬件平台早期最大的“坑”。开发者可能会遇到模型转换失败、性能不达预期、出现难以调试的精度问题等。因此在评估这类新芯片时必须预留充足的验证和适配时间不能只看纸面峰值数据。5. 生态破局新玩家如何挑战英伟达的“铜墙铁壁”Tenstorrent面对的最大敌人不是某一款芯片而是英伟达耗时数十年建立的CUDA生态。开发者习惯了CUDA的编程模型、丰富的库cuDNN, cuBLAS, TensorRT和强大的调试工具。让开发者迁移到一个新平台成本极高。5.1 战略选择兼容、转化还是重建新芯片厂商通常有几条路可走兼容CUDA像AMD的ROCm那样试图提供与CUDA API兼容的层。这条路难度极大永远在追赶且无法发挥自家硬件的全部独特优势。提供高级编译器像Google的XLA用于TPU或MLIR框架下的各种后端。让开发者用PyTorch/TensorFlow写代码然后通过编译器自动优化并映射到硬件。这是目前的主流思路Tenstorrent很可能走这条路。关键在于编译器的优化能力能否接近甚至超越手工CUDA内核。聚焦关键客户与场景不追求全面开花而是先深耕几个有巨大需求且对性能/能效极度敏感的垂直场景比如推荐系统、自动驾驶感知、特定行业的科学计算与头部客户深度合作打磨软硬件栈。用实实在在的客户收益和案例来说话。5.2 开源与社区建设这是一个非常聪明的策略。Tenstorrent已经将其部分软件栈如其机器学习框架和编译器开源。这有多重好处建立信任透明化让开发者可以审查代码了解其工作原理。吸引贡献吸引社区开发者共同完善软件发现并修复问题。降低尝试门槛开发者可以在模拟器或更容易获取的硬件上提前熟悉其编程模型。绑定生态通过支持MLIR等开源编译器基础设施将自己融入更广泛的AI开源生态而不是另起炉灶。5.3 寻找差异化“杀手级”应用除了在通用大模型推理上竞争Tenstorrent或许可以凭借其架构特点在某个细分领域建立绝对优势。例如超低延迟推理针对金融高频交易、实时交互游戏等场景优化首token延迟到极致。稀疏模型专家如果其硬件对极端稀疏模型有独特优化可以专攻那些激活率极低的模型占领一个利基市场。边缘AI推理将高能效比的优势发挥到极致推出面向智能汽车、机器人、物联网设备的芯片这些场景对功耗和成本的要求比云端更严苛。6. 对开发者与企业的启示观望还是行动面对这样一个新兴的、有强大背景的挑战者技术决策者应该持何种态度6.1 对于研究机构与算法工程师保持关注与学习了解Tenstorrent的架构思想如通过其开源文档和论文这本身就能加深你对AI计算本质的理解。新的硬件约束可能会催生新的模型优化思路。小范围试验如果有关键项目对推理成本极其敏感可以申请早期试用或云实例。重点测试模型移植的便捷性、实际吞吐/延迟、以及最重要的——精度是否达标。用一个小型但具代表性的工作负载进行概念验证。为“可移植性”编码在开发模型时有意识地避免使用那些过于冷门、硬件相关的算子。多使用标准PyTorch/TensorFlow API并考虑模型量化的可行性。这不仅能提升在新硬件上的移植成功率本身也是良好的工程实践。6.2 对于云服务商与大型企业供应链风险分散将全部AI算力押注在单一供应商英伟达身上存在战略风险。评估并引入第二、第三供应商是明智之举。Tenstorrent这样的有实力的新玩家是值得认真评估的选项。成本模型精算建立更精细的TCO模型不仅要计算硬件采购成本更要计算电力成本、机房空间、冷却成本以及软件开发和维护成本。如果Tenstorrent的能效比优势确实显著其总拥有成本可能具有竞争力。参与早期合作对于有足够技术实力的大厂可以考虑与Tenstorrent进行早期合作甚至共同定义芯片的某些特性使其更贴合自己的业务需求。这能获得先发优势和技术支持。6.3 需要警惕的“坑”软件成熟度陷阱早期硬件平台的驱动、编译器、工具链必然存在bug和不完善之处。要做好投入额外工程师资源进行调试和适配的心理准备。性能波动性宣传的峰值性能可能在你的特定模型和负载上无法复现。性能对批处理大小、输入序列长度等参数可能非常敏感。长期支持的不确定性初创公司面临市场和技术风险。需要评估其资金状况、技术路线图的清晰度以及长期支持的承诺。AMD前高管团队的这次出击无疑给波澜壮阔的AI芯片战场又添了一把火。每秒17000个token是一个令人印象深刻的宣言但它只是故事的开始。真正的战役将在软件生态、实际能效、客户案例和长期支持的马拉松中展开。对于我们这些身处行业之中的人来说最重要的不是立刻选边站队而是理解这场技术变革背后的驱动力——对更高效、更专用计算的无尽追求。这迫使我们去思考算法的本质去探索软硬件协同的更深层次可能。无论Tenstorrent最终能否成功撼动英伟达它所带来的竞争和新的技术思路都将是推动整个AI基础设施向前发展的宝贵动力。保持开放深入评估让实际业务需求和技术指标而不是营销数字成为我们做选择时的真正罗盘。
AI推理芯片新势力：Tenstorrent如何挑战英伟达，实现每秒17000个token？
1. 一场“老兵”的逆袭从AMD到新战场最近AI芯片圈被一条消息刷屏了一个由24位前AMD顶级工程师组成的“梦之队”成立了一家名为“Tenstorrent”的公司并推出了一款号称能硬刚英伟达的AI推理芯片。最吸引眼球的数据是这款芯片在处理大语言模型时每秒能生成惊人的17000个token。这个数字是什么概念简单来说它意味着AI模型“说话”的速度快得离谱足以让许多现有的解决方案相形见绌。这不仅仅是一个新产品的发布更像是一场精心策划的“老兵”逆袭。团队的核心成员比如CEO Jim Keller是芯片设计领域的传奇人物曾深度参与AMD Zen架构的设计让AMD处理器成功翻身。如今他们带着对传统GPU架构的深刻理解以及可能更激进的设计理念杀回了自己最熟悉的战场——高性能计算但这次的目标是AI推理。英伟达凭借其CUDA生态和强大的GPU几乎统治了AI训练市场但在推理端尤其是对成本、功耗和延迟极度敏感的云端与边缘端推理战局远未结束。Tenstorrent的出现正是瞄准了这个潜在的突破口。对于开发者、企业技术决策者乃至AI研究者而言这个消息的价值在于它可能预示着AI硬件市场从“一家独大”走向“百花齐放”的拐点。我们不再只有一种选择。理解这场竞争背后的技术逻辑、新架构的优劣以及它可能带来的实际影响对于规划未来的技术栈至关重要。这篇文章我们就来深入拆解这个“24人梦之队”的新芯片看看它到底凭什么敢叫板英伟达以及它提到的“每秒17000个token”在实战中意味着什么。2. 核心战场为什么AI推理是“新蓝海”要理解Tenstorrent的野心首先要明白AI训练和推理是两个截然不同的任务对硬件的要求也大相径庭。很多人被英伟达在训练领域的辉煌所吸引却忽略了推理市场更庞大、更复杂的现实需求。2.1 训练与推理的本质差异AI训练好比是“编写教材”的过程。它需要海量的数据TB甚至PB级、复杂的迭代计算反向传播、梯度下降并且对计算精度通常是FP32、FP16或BF16要求极高以保障模型收敛的稳定性。这个过程通常是在数据中心里由成千上万张GPU组成的集群花上数周甚至数月时间完成的。它对硬件的需求是极高的双精度/单精度浮点算力、巨大的内存带宽用于存储海量参数和中间激活值、以及高速的互联技术如NVLink、InfiniBand。而AI推理则是“使用教材答题”的过程。模型已经训练好参数固定不变。推理任务接收一个输入比如一段文本、一张图片经过前向传播计算输出一个结果比如生成的文本、识别的物体。这个过程的特点在于实时性要求高用户等待一个聊天回复、一次图片识别延迟通常要求在毫秒到百毫秒级。请求并发量大一款流行的AI应用可能同时面临成千上万的用户请求。能效比至关重要无论是云服务商电费是主要成本还是边缘设备电池供电每瓦特性能Performance per Watt直接决定了商业可行性和用户体验。精度要求灵活很多推理任务使用INT8甚至INT4量化就能达到可接受的精度这能极大提升计算速度和能效。2.2 GPU在推理场景的“不适配”英伟达的GPU是为训练而生的通用并行计算怪兽它在推理上也能工作但并非最优解存在几个关键痛点能效比不足GPU拥有大量为图形和通用计算设计的硬件单元如Tensor Core虽然强大但控制逻辑复杂在运行相对固定的推理计算图时存在大量的功耗浪费在指令调度、缓存管理上而不是纯粹的计算。内存墙问题大语言模型的参数动辄数百亿远超单个GPU的显存容量。即使使用模型并行、张量并行等技术在GPU间频繁搬运参数也会带来巨大的延迟和能耗。推理时我们更希望模型能尽可能驻留在芯片附近或片内。成本高昂高端GPU如H100价格极其昂贵将其用于推理尤其是并发量波动大的场景总体拥有成本TCO很难被接受。2.3 ASIC的崛起与挑战正因为看到了GPU的短板专门为AI推理定制的ASIC专用集成电路应运而生。谷歌的TPU就是最成功的例子。ASIC通过硬件固化特定的计算模式如矩阵乘加、特定的激活函数剔除了所有不必要的通用逻辑从而在特定任务上实现极致的性能和能效。Tenstorrent选择的正是ASIC这条路。但ASIC也有其阿喀琉斯之踵灵活性差。一旦算法发生重大变化硬件可能就需要重新设计。因此新一代的AI推理芯片包括Tenstorrent都在探索一个中间地带在保持高度定制化以提升效率的同时通过可编程的指令集、灵活的片上网络NoC和软件栈来争取一定的灵活性以适配快速演进的AI模型。注意这里提到的“掩模ROM”Mask ROM是芯片制造中的一种存储技术用于存储固定不变的数据或微码。在一些高度定制化的AI芯片中可能会用掩模ROM来固化最基础的引导程序或核心计算内核以实现极致的面积和功耗优化。但这通常意味着出厂后无法更改是灵活性换取效率的极端体现。Tenstorrent的架构可能采用了更灵活的策略。3. Tenstorrent芯片架构深度猜想如何实现17000 token/s“每秒17000个token”是一个需要谨慎看待的营销数字。它通常是在特定模型如Llama 2 70B、特定配置如量化到INT8、特定输入输出长度下的峰值性能。但它依然是一个强有力的性能指标。要实现它Tenstorrent的芯片架构必须在以下几个关键方面做出创新。3.1 核心张量处理单元与稀疏计算从AMD背景团队来看他们深谙高性能计算核心的设计。传统的GPU SM流多处理器结构复杂。Tenstorrent很可能设计了高度定制化的张量处理单元TPU但不同于谷歌TPU的脉动阵列他们可能会借鉴现代CPU的多发射、乱序执行等思想来更好地处理AI计算中存在的条件分支和稀疏性。大语言模型的前向传播中存在大量的“稀疏”计算即很多激活值是零或接近零。英伟达的Ampere架构引入了稀疏Tensor Core来利用这一点。Tenstorrent作为后来者完全可以在硬件层面更激进地支持稀疏计算比如设计能够跳过零值操作的硬件电路从而在理论上实现远超稠密计算的等效算力。17000 token/s的成就很可能部分归功于对稀疏性极高效率的利用。3.2 内存体系打破“内存墙”这是AI芯片尤其是大模型推理芯片的生死线。Tenstorrent的方案可能包含多层设计巨大的片上SRAM暂存器将模型的关键层如注意力层的K/V缓存或整个小模型放入片内SRAM。片内SRAM的带宽通常是HBM高频宽存储器的十倍甚至百倍以上访问延迟更是天壤之别。这能极大减少访问外部DRAM的次数。创新的缓存层次结构借鉴CPU中复杂的多级缓存设计为AI计算设计专用的缓存策略预取模型参数和中间数据。高带宽封装像Chiplet小芯片技术将多个计算芯粒与HBM堆叠在同一封装内通过硅中介层或EMIB实现超高带宽互联这也是AMD在EPYC和Ryzen处理器上成功使用的技术。团队对此应有丰富经验。3.3 互联与可扩展性从单卡到系统单卡性能再强也有上限。面对千亿、万亿参数模型必须有多卡甚至多机协作。英伟达有NVLink和NVSwitch。Tenstorrent需要自己的高速互联协议。考虑到团队背景他们很可能会设计一个类似Infinity FabricAMD CPU/GPU互联技术的片间互联架构。这个架构需要具备极高的带宽、低延迟、以及对各种并行范式数据并行、模型并行、流水线并行的原生支持。更重要的是它需要与软件栈深度耦合让开发者无需关心底层的硬件拓扑就能高效地将大模型分布到多个芯片上运行。这是挑战也是壁垒。3.4 软件栈决定成败的“另一半”硬件是基础软件才是让硬件发挥效力的关键。英伟达的CUDA生态是其最深的护城河。Tenstorrent必须提供一个至少“可用”的软件栈。编译器与运行时需要能将PyTorch、TensorFlow等框架定义的模型高效地编译到自己的硬件指令集上并管理内存、调度任务。模型支持与优化是否支持主流的Transformer变体是否提供方便的量化工具将FP32模型转换为INT8/INT4对于Flash Attention、Paged Attention等优化技术是否有硬件加速开发者体验API是否简洁调试工具是否完善文档是否清晰这决定了开发者社区能否建立起来。一个由芯片老炮组成的团队理应深知软件的重要性。我们可能会看到他们推出一个高度优化的内核库并积极与主流AI框架社区合作提供后端支持。4. 实战推演17000 token/s在真实场景中意味着什么让我们把这个惊人的数字放到实际应用场景中进行一番推演和换算这比单纯看基准测试更有意义。4.1 延迟与吞吐的权衡17000 token/s通常指的是吞吐量Throughput即在批处理Batch模式下芯片持续处理请求的能力。但用户感知最直接的是延迟Latency即单个请求从发出到收到第一个token的时间。高吞吐场景适用于离线批量处理任务。例如一家公司需要处理一百万份文档进行摘要生成。使用这块芯片假设批处理大小设置为128那么整体处理时间将大大缩短。在这种情况下17000 token/s的价值体现在总任务完成时间上。低延迟场景适用于在线交互如AI聊天助手。用户希望打完字后回复能“秒回”。这时批处理大小可能仅为1或很小。此时芯片的“首token延迟”性能就至关重要。这考验的是芯片从开始计算到输出第一个结果的速度与内存访问、计算启动延迟高度相关。Tenstorrent的架构如果设计了强大的预取和低延迟片上网络可能会在这方面也有不错的表现。4.2 成本与能效测算假设我们对比英伟达A10080GB PCIe版和Tenstorrent的某款芯片假设为T100进行推理。A100峰值INT8算力约624 TOPS功耗约300W。T100宣称实现17000 token/s对应Llama2-70B INT8假设其功耗为250W这是一个猜测用于示意。在一个需要持续处理流式请求的服务器上我们不仅要看单次请求的速度更要看每瓦特每秒处理的token数Tokens/s/W。这是云服务商的核心成本指标。计算公式能效比 吞吐量Tokens/s / 功耗WA100假设优化后能达到8000 token/s8000 / 300 ≈ 26.7 Tokens/s/WT100假设17000 / 250 68 Tokens/s/W如果这个假设数字哪怕只有一部分接近现实T100的能效比将是A100的2.5倍以上。这意味着在完成同样推理工作量的情况下电费可能节省一半以上。对于数据中心运营者这是无法忽视的吸引力。4.3 模型适配与软件成熟度挑战然而这一切美好的前提是你的模型能在T100上高效运行。这涉及到量化支持你的模型是否容易量化到INT8且精度损失可接受Tenstorrent是否提供了易用的量化工具算子支持如果你的模型使用了某个小众的PyTorch算子T100的编译器是否支持是否需要回退到低效的通用计算路径动态形状实际请求的输入输出长度是变化的。芯片能否高效处理动态形状而不造成大量的计算资源浪费或重新编译开销这些软件层面的细节往往是新硬件平台早期最大的“坑”。开发者可能会遇到模型转换失败、性能不达预期、出现难以调试的精度问题等。因此在评估这类新芯片时必须预留充足的验证和适配时间不能只看纸面峰值数据。5. 生态破局新玩家如何挑战英伟达的“铜墙铁壁”Tenstorrent面对的最大敌人不是某一款芯片而是英伟达耗时数十年建立的CUDA生态。开发者习惯了CUDA的编程模型、丰富的库cuDNN, cuBLAS, TensorRT和强大的调试工具。让开发者迁移到一个新平台成本极高。5.1 战略选择兼容、转化还是重建新芯片厂商通常有几条路可走兼容CUDA像AMD的ROCm那样试图提供与CUDA API兼容的层。这条路难度极大永远在追赶且无法发挥自家硬件的全部独特优势。提供高级编译器像Google的XLA用于TPU或MLIR框架下的各种后端。让开发者用PyTorch/TensorFlow写代码然后通过编译器自动优化并映射到硬件。这是目前的主流思路Tenstorrent很可能走这条路。关键在于编译器的优化能力能否接近甚至超越手工CUDA内核。聚焦关键客户与场景不追求全面开花而是先深耕几个有巨大需求且对性能/能效极度敏感的垂直场景比如推荐系统、自动驾驶感知、特定行业的科学计算与头部客户深度合作打磨软硬件栈。用实实在在的客户收益和案例来说话。5.2 开源与社区建设这是一个非常聪明的策略。Tenstorrent已经将其部分软件栈如其机器学习框架和编译器开源。这有多重好处建立信任透明化让开发者可以审查代码了解其工作原理。吸引贡献吸引社区开发者共同完善软件发现并修复问题。降低尝试门槛开发者可以在模拟器或更容易获取的硬件上提前熟悉其编程模型。绑定生态通过支持MLIR等开源编译器基础设施将自己融入更广泛的AI开源生态而不是另起炉灶。5.3 寻找差异化“杀手级”应用除了在通用大模型推理上竞争Tenstorrent或许可以凭借其架构特点在某个细分领域建立绝对优势。例如超低延迟推理针对金融高频交易、实时交互游戏等场景优化首token延迟到极致。稀疏模型专家如果其硬件对极端稀疏模型有独特优化可以专攻那些激活率极低的模型占领一个利基市场。边缘AI推理将高能效比的优势发挥到极致推出面向智能汽车、机器人、物联网设备的芯片这些场景对功耗和成本的要求比云端更严苛。6. 对开发者与企业的启示观望还是行动面对这样一个新兴的、有强大背景的挑战者技术决策者应该持何种态度6.1 对于研究机构与算法工程师保持关注与学习了解Tenstorrent的架构思想如通过其开源文档和论文这本身就能加深你对AI计算本质的理解。新的硬件约束可能会催生新的模型优化思路。小范围试验如果有关键项目对推理成本极其敏感可以申请早期试用或云实例。重点测试模型移植的便捷性、实际吞吐/延迟、以及最重要的——精度是否达标。用一个小型但具代表性的工作负载进行概念验证。为“可移植性”编码在开发模型时有意识地避免使用那些过于冷门、硬件相关的算子。多使用标准PyTorch/TensorFlow API并考虑模型量化的可行性。这不仅能提升在新硬件上的移植成功率本身也是良好的工程实践。6.2 对于云服务商与大型企业供应链风险分散将全部AI算力押注在单一供应商英伟达身上存在战略风险。评估并引入第二、第三供应商是明智之举。Tenstorrent这样的有实力的新玩家是值得认真评估的选项。成本模型精算建立更精细的TCO模型不仅要计算硬件采购成本更要计算电力成本、机房空间、冷却成本以及软件开发和维护成本。如果Tenstorrent的能效比优势确实显著其总拥有成本可能具有竞争力。参与早期合作对于有足够技术实力的大厂可以考虑与Tenstorrent进行早期合作甚至共同定义芯片的某些特性使其更贴合自己的业务需求。这能获得先发优势和技术支持。6.3 需要警惕的“坑”软件成熟度陷阱早期硬件平台的驱动、编译器、工具链必然存在bug和不完善之处。要做好投入额外工程师资源进行调试和适配的心理准备。性能波动性宣传的峰值性能可能在你的特定模型和负载上无法复现。性能对批处理大小、输入序列长度等参数可能非常敏感。长期支持的不确定性初创公司面临市场和技术风险。需要评估其资金状况、技术路线图的清晰度以及长期支持的承诺。AMD前高管团队的这次出击无疑给波澜壮阔的AI芯片战场又添了一把火。每秒17000个token是一个令人印象深刻的宣言但它只是故事的开始。真正的战役将在软件生态、实际能效、客户案例和长期支持的马拉松中展开。对于我们这些身处行业之中的人来说最重要的不是立刻选边站队而是理解这场技术变革背后的驱动力——对更高效、更专用计算的无尽追求。这迫使我们去思考算法的本质去探索软硬件协同的更深层次可能。无论Tenstorrent最终能否成功撼动英伟达它所带来的竞争和新的技术思路都将是推动整个AI基础设施向前发展的宝贵动力。保持开放深入评估让实际业务需求和技术指标而不是营销数字成为我们做选择时的真正罗盘。
