![[AI][昇腾950] Scalar 性能优化](images/news1.jpg)
适用范围David 系列DaVinci AICore核心目标消除Scalar Bound降低头开销提升 MainScalar 发射效率本文视角从C 语言特征、硬件 Cache 控制、切分算法、模板化四个维度系统阐述优化方法0. 四维优化框架总览Scalar Bound 消除 │ ┌──────────────┬───────┴───────┬──────────────┐ │ │ │ │ ① C 语言特征 ② 硬件Cache控制 ③ 切分算法 ④ 模板化 (编译期能做什么) (硬件给什么手段) (数据怎么分) (代码怎么组织) │ │ │ │ · 常量折叠 · icache 预取 · Tile 适配 · constexpr 模板 · 循环展开 · dcache preload · Double Buffer · if-constexpr 分发 · 分支消除 · L2 const · L2 共享切分 · SFINAE/Concept · 内联与vf_call · full cacheline · K 维切分 · 策略类注入 · 协程状态机 · 延迟Copy · 静态tiling · super kernel 模板四个维度并非孤立,而是协同切分算法决定数据布局 → 模板化把布局编进类型 → C 特征在编译期折叠常量 → 硬件 Cache 机制保证数据按时到位。1. Scalar Bound 现象与根因快速回顾1.1 什么是 Scalar BoundMainScalar 是 AICore 的串行控制单元负责取指、译码、参数计算、指令发射、流程控制。当 MainScalar 的指令吞吐跟不上 MTE/Vector/Cube 的执行能力时计算单元空闲等待称为Scalar Bound。理想无 Scalar Bound: Scalar: [cfg][cfg]....[cfg].... ← 轻量提前配置好 MTE: [════搬运════][═══搬运═══] ← 持续满载 Cube: [═══计算═══][═══计算═══] ← 持续满载 Scalar Bound: Scalar: [cfg][cfg][cfg][cfg][cfg][cfg]... ← 串行配置成瓶颈 MTE: [搬运]....[搬运].... ← 空闲等待配置 Cube: [算]....[算].... ← 空闲等待数据/配置 ▲ 计算单元空转性能浪费1.2 根因分类与四维归属根因类别具体原因对应优化维度A. 标量计算过重地址计算、循环计数、tiling 运算过重③ 切分算法 ④ 模板化静态 tilingB. 指令发射开销每条 MTE/Vector/Cube 需 Scalar 配置描述符① C内联/常量折叠 ④ 模板化C. 同步等待wait_flag 阻塞 Scalar 流水③ 切分算法Double BufferD. 控制流开销分支/循环/函数调用打断流水icache miss① C分支消除/循环展开 ② CacheE. 队列满mte2/3/vector 等队列满阻塞发射③ 切分算法tile 平衡指令乱序F. 头开销算子启动调度→取指→预热② Cacheicache 预取 ④ 模板化super kernelG. 串行依赖MainScalar 串行调用 vf_call无法并发① Cvf_call 融合 ④ 模板化1.3 自检是否处于 Scalar Bound现象判定方法Cube/Vector 利用率低MTE 利用率也低profiling 三条流水均未打满 → 大概率 Scalar Bound算子 MFU 低增大 tile 无改善tile 增大本应提高计算占比无改善说明瓶颈在控制算子入口段前 50 行耗时长头开销 Scalar 配置集中反汇编 scalar 段指令占比高scalar 流水指令数 / 总指令数 30%2. 维度一C 语言特征优化核心思想把能在编译期算清楚的绝不留到运行期让 MainScalar 算。2.1 常量折叠与常量传播问题运行期传入的参数如 tileM、tileK、stride每次都需 Scalar 做地址运算addr base i*stride。C 手段用constexpr/ 模板非类型参数把参数固化到类型中触发编译器常量折叠。// ❌ 运行期参数每次循环 Scalar 都要算 addrvoidkernel(inttileM,inttileK,intstride){for(inti0;itileM;i){autoaddrbasei*stride;// Scalar 运行期乘法// ...}}// ✅ 编译期常量stride 变成立即数地址生成用 LEAtemplateintTileM,intTileKvoidkernel(){constexprintstrideTileK*sizeof(half);// 编译期算好for(inti0;iTileM;i){autoaddrbasei*stride;// 编译为 i * immediate// ...}}收益消除 Scalar 运行期乘除2.2 循环展开与展开因子问题循环计数器维护、循环条件判断、分支跳转打断 Scalar 流水导致 icache miss。C 手段#pragma unroll或模板递归展开。// ❌ 动态循环Scalar 需维护循环计数 分支for(intk0;kK;ktileK){mmad(c,ak,bk);}// ✅ 编译期展开Scalar 只发 N 条 mmad无循环开销templateintK,intTileKstructUnrolledMmad{static_assert(K%TileK0);staticconstexprintNK/TileK;templateintIdx0staticinlinevoidrun(c,a,b){ifconstexpr(IdxN){mmad(c,aIdx*TileK,bIdx*TileK);runIdx1(c,a,b);}}};UnrolledMmad256,32::run(c,a,b);// 展开 8 次2.3 分支消除与 Predicate 策略问题if分支产生 BB 块跳转打断 Scalar 顺序取指引发 icache missC 手段用三元运算、Predicate、if constexpr编译期消除替代运行期分支。// ❌ 运行期分支产生两个 BB 块if(remainder0){process_tail(remainder);}// ✅ 编译期消除边界用模板特化处理templateboolHasTailvoidprocess(){ifconstexpr(HasTail){process_tail();}// HasTailfalse 时process_tail 在编译期被完全删除}// ⚠️ Predicate 反向策略R13部分场景 Predicate 反而增加运行时开销// 编译器会对部分热路径去 Predicate。手写时不要无脑 Predicate 化// 需结合 profiling 判断2.4 内联与 vf_call 融合问题MainScalar 串行调用vf_callVector Function Call// ❌ 函数调用每次 vf_call 保存现场 跳转voidvec_add(LocalTensor dst,LocalTensor a,LocalTensor b){/*...*/}voidkernel(){vec_add(t1,a,b);// vf_call 1vec_add(t2,c,d);// vf_call 2串行等待}// ✅ 内联融合 函数对象编译器合并为一条 vf_callstructAdd{staticinline__attribute__((always_inline))voidapply(LocalTensor dst,LocalTensor a,LocalTensor b){/*...*/}};templatetypename...OpsstructFusedVfCall{staticinlinevoidrun(){// 编译器将多个 Ops::apply 融合为单个 vf_call// 对应 David FA 算子验证VF_call 融合获 30% 性能(Ops::apply(),...);}};FusedVfCallAdd,Add,Mul::run();实测收益David FA 算子单纯转换仅获手写 19% 性能常量折叠 循环展开 if 消除 常量 Tile VF_call 融合再获 30% 性能3. 维度二硬件 Cache 控制优化核心思想让数据和指令在 MainScalar 需要时已在 Cache消除等待。3.1 David 系列存储与 Cache 层次┌─────────────────────────────────────────────────────┐ │ HBM (GM) ← 多核共享高带宽高延迟 │ ├─────────────────────────────────────────────────────┤ │ L2 ← Die 间共享片上缓冲 │ ├─────────────────────────────────────────────────────┤ │ L1 (LocalMemory) ← 核私有 │ │ L0A/L0B/L0C ← Cube 寄存器级 │ │ UB (256KB ) ← 核私有Vector 工作区 │ │ RF ( thread) ← 寄存器 │ ├─────────────────────────────────────────────────────┤ │ icache ← 指令缓存 │ │ dcache ← 数据缓存 │ └─────────────────────────────────────────────────────┘3.2 Icache 优化消除头开销与控制流 miss头开销主要来自 icache miss算子启动时指令尚未进入 icacheScalar 取指阻塞。David 头开销约1us。手段硬件/软件机制收益优化维度联动L2 预取参数算子启动前 SDMA 预取参数到 L2消除首拍 icache miss④ 模板化预取偏移常量化指令 preload 到 L2指令预加载与数据隔离减少头开销③ 切分super kernel 减少加载次数super kernel融合算子减少 launch 次数部分消除 icache miss④ 模板化BB 块重排编译器 R5 热路径前置减少 miss① C分支消除减少 BB代码示例// 模板化预取偏移编译期算好预取地址templateintParamSizevoidprefetch_params(uintptr_t gm_addr){// RTS 配置 preload 大小配合 SDMA 预取asm_preload_l2(gm_addr,ParamSize);}prefetch_params4096(param_gm);// 常量参数触发编译器优化3.3 Dcache 优化手段硬件/软件机制收益dcache preloadmte2 改为 preload消除首拍 dcache missFull cacheline write算子不感知硬件自动覆盖消除 dcache write miss延迟 CopyGM→L1 只记地址参数LoadData 时才真实拷贝减少冗余搬运延迟 Copy 详解传统: GM --Copy-- L1 --LoadData-- L0 --Mmad-- L0C 延迟: GM --记addr-- L1(仅记录) --LoadData时才Copy-- L0 --Mmad-- L0C 收益: 当数据无需额外转换时A1/B1 映射为 Null消除一次搬运3.4 同步最小化与 Cache 一致性原则说明与 Cache 关系按需同步只在 producer→consumer 边界插入 SetFlag/WaitFlag避免冗余 wait 导致 Scalar 阻塞批量同步多个独立搬运合并一个 Flag减少 Scalar 指令数避免冗余 wait编译器/静态分析识别可消除的 wait释放 Scalar 流水异步优先notify/wait 异步代替同步轮询配合 FCM 事件驱动GM 强一致性GM 为强一致性访问操作 GM 需清 Cache 同步软件 clear cache 同步4. 维度三切分算法优化核心思想Tile 形状与层级容量精准匹配减少 Scalar 切分逻辑与同步开销。4.1 Double Buffer 隐藏搬运根因 C 同步等待目标让 MTE 搬运与 Cube/Vector 计算时间重叠Scalar 只需一次配置多块 buffer。传统单 buffer: Scalar: [cfg_DMA0][wait0][cfg_MMAD0][wait0][cfg_DMA1][wait1]... MTE: [搬运0]............[搬运1]............ Cube: [算0]............[算1].... 问题: MTE 与 Cube 串行Scalar 频繁 wait Double Buffer: Scalar: [cfg_DMA0][cfg_DMA1][wait0][cfg_MMAD0][cfg_DMA2][wait1]... MTE: [搬运buf0][搬运buf1][搬运buf2]... Cube: [LoadData0][MMAD0] [LoadData1][MMAD1]... 收益: MTE 与 Cube 重叠吞吐翻倍4.2 Tile 大小与层级容量适配目标tile 大小匹配内存层级容量避免溢出导致的额外 Scalar 切分逻辑。内存层级容量DavidTile 建议约束切分算法要点UB256KBtileM×tileK×sizeof(half)×N_buffer ≤ 256KB算子必须动态适应 UB 变化L1LocalMemorytileM×tileK ≤ L1 容量Cube 数据L0A/L0BtileM×tileK ≤ L0 容量// ❌ 硬编码 tile跨代迁移会溢出 UBconstexprinttileM128;constexprinttileK64;// ✅ 模板化动态适应 UB 容量templatetypenameArchConfigstructTilePolicy{staticconstexprintUB_SIZEArchConfig::UB_SIZE;staticconstexprintN_BUFFER2;// double bufferstaticconstexprintDTYPEsizeof(half);staticconstexprinttileM128;// 编译期算出 tileK确保不溢出staticconstexprinttileKUB_SIZE/(tileM*DTYPE*N_BUFFER);};using_TileTilePolicyConfig;// UB256K → tileK84.3 K 维切分与 L2 共享传统 Cube 矩阵乘只在核内分 K 维。集群内 4 核分 KL2 buffer 共享: Core0: C A[K0:K1] × B[K0:K1] ─┐ Core1: C A[K1:K2] × B[K1:K2] ─┤ 结果聚合到 L2 Core2: C A[K2:K3] × B[K2:K3] ─┤ Core3: C A[K3:K4] × B[K3:K4] ─┘ Scalar 优化: 每核只配自己的 K 段无需串行处理全 K A/B 分块通过 L2 buffer 共享减少 HBM 搬运约束L2 buffer 仅集群模式可用且不支持原子/减少操作结果聚合需 Scalar 显式同步。4.4 控制流简化与切分联动切分算法本身会引入控制流处理尾块、对齐边界需与 ① C 特征联动手段切分侧C 侧分支消除尾块用 Padding 对齐if constexpr编译期消除循环展开K 维按 tileK 整除模板递归展开BB 块重排热路径大 tile前置函数内联小 tile 处理函数always_inline避免深度嵌套减少切分层级减少 Scalar 栈消耗5. 维度四模板化优化核心思想用 C 模板把硬件配置、Tile 策略、算子特化编进类型系统编译期生成最优代码。5.1 硬件代际配置模板化// 硬件代际配置structConfig{staticconstexprintUB_SIZE256*1024;staticconstexprintICACHE_LINE512;// 512B prefetch};5.2 if-constexpr 编译期分发if constexprC17在编译期消除分支不产生 BB 块直接解决根因 D 控制流开销templateboolUseL2,boolUseDoubleBufvoidmatmulImpl(){ifconstexpr(UseL2){// UseL2 共享路径编译期生成clusterMatmul();}else{legacyMatmul();}ifconstexpr(UseDoubleBuf){// 双 buffer 路径pipelineDoubleBuf();}else{pipelineSingleBuf();}}// 调用模板参数决定生成哪份代码matmulImpltrue,true();// 最优路径matmulImplfalse,true();对比#ifdefif constexpr是类型安全的、可被编译器优化死代码消除、常量传播而#ifdef是预处理阶段文本替换无法受益于编译器分析。5.3 策略类注入Policy-Based Design将 Tile 策略、同步策略、Cache 策略抽象为策略类通过模板注入编译期生成特化代码// 策略类structDefaultTile{staticconstexprintM128,K32,N128;};structLargeTile{staticconstexprintM256,K64,N256;};structSyncMin{staticvoidwait(){/* 按需同步 */}};structSyncSafe{staticvoidwait(){/* 保守同步 */}};structCacheL15{staticvoidprefetch(){/* L1.5 const cache 预取 */}};structCacheLegacy{staticvoidprefetch(){/* L2 预取 */}};// 算子模板注入策略templatetypenameTilePolicy,typenameSyncPolicy,typenameCachePolicystructKernel{staticvoidrun(){CachePolicy::prefetch();// 用 TilePolicy::M/K/N编译期常量for(inti0;iTilePolicy::M;i){/*...*/}SyncPolicy::wait();}};// 实例化编译期生成 4 份特化代码运行期零分支usingFastKernelKernelLargeTile,SyncMin,CacheL15;usingSafeKernelKernelDefaultTile,SyncSafe,CacheLegacy;5.4 ConceptC20约束算子接口C20 Concept 替代 SFINAE编译期约束算子模板参数错误信息更友好且可触发不同的编译期优化路径templatetypenameTconceptTilePolicyrequires{{T::M}-std::convertible_toint;{T::K}-std::convertible_toint;{T::N}-std::convertible_toint;T::M0T::K0T::N0;};templatetypenameTconceptHasL15requires{{T::HAS_L15}-std::same_asbool;};templateTilePolicy TP,HasL15 ArchvoidoptimizedMatmul(){ifconstexpr(Arch::HAS_L15){// L1.5 路径编译期保证 Arch 有 HAS_L15 字段}}5.5 Super Kernel 模板化目标多个小算子融合为一个大 kernel减少 launch 次数消除重复头开销对应根因 F 头开销。传统: [kernel1: 头开销计算][kernel2: 头开销计算][kernel3: 头开销计算] ↑ 3 次头开销 3 次 icache miss super kernel: [super_kernel: 1次头开销 kernel1 kernel2 kernel3] ↑ 1 次头开销icache 只 miss 一次模板化实现// Super Kernel 模板编译期融合多个算子templatetypename...KernelsstructSuperKernel{staticvoidrun(){// 一次性 InitBuffer共享资源TPipe pipe;// 展开每个 Kernel 的 run 共享同一个 pipe(Kernels::run(pipe),...);}};usingFusedFASuperKernelMatmul,Softmax,Matmul,Linear;FusedFA::run();// 一次 launch一次头开销5.6 模板化与编译器优化的协同模板化产生的特化代码更易被编译器优化模板化手段触发的编译器优化constexpr参数立即数使能、常量折叠模板非类型参数Pattern 优化、LEA 优化if constexpr死代码消除、BB 块减少模板递归展开循环展开、指令数减少Super Kernel 模板减少 Sreg 需求、头开销消除
[AI][昇腾950] Scalar 性能优化
适用范围David 系列DaVinci AICore核心目标消除Scalar Bound降低头开销提升 MainScalar 发射效率本文视角从C 语言特征、硬件 Cache 控制、切分算法、模板化四个维度系统阐述优化方法0. 四维优化框架总览Scalar Bound 消除 │ ┌──────────────┬───────┴───────┬──────────────┐ │ │ │ │ ① C 语言特征 ② 硬件Cache控制 ③ 切分算法 ④ 模板化 (编译期能做什么) (硬件给什么手段) (数据怎么分) (代码怎么组织) │ │ │ │ · 常量折叠 · icache 预取 · Tile 适配 · constexpr 模板 · 循环展开 · dcache preload · Double Buffer · if-constexpr 分发 · 分支消除 · L2 const · L2 共享切分 · SFINAE/Concept · 内联与vf_call · full cacheline · K 维切分 · 策略类注入 · 协程状态机 · 延迟Copy · 静态tiling · super kernel 模板四个维度并非孤立,而是协同切分算法决定数据布局 → 模板化把布局编进类型 → C 特征在编译期折叠常量 → 硬件 Cache 机制保证数据按时到位。1. Scalar Bound 现象与根因快速回顾1.1 什么是 Scalar BoundMainScalar 是 AICore 的串行控制单元负责取指、译码、参数计算、指令发射、流程控制。当 MainScalar 的指令吞吐跟不上 MTE/Vector/Cube 的执行能力时计算单元空闲等待称为Scalar Bound。理想无 Scalar Bound: Scalar: [cfg][cfg]....[cfg].... ← 轻量提前配置好 MTE: [════搬运════][═══搬运═══] ← 持续满载 Cube: [═══计算═══][═══计算═══] ← 持续满载 Scalar Bound: Scalar: [cfg][cfg][cfg][cfg][cfg][cfg]... ← 串行配置成瓶颈 MTE: [搬运]....[搬运].... ← 空闲等待配置 Cube: [算]....[算].... ← 空闲等待数据/配置 ▲ 计算单元空转性能浪费1.2 根因分类与四维归属根因类别具体原因对应优化维度A. 标量计算过重地址计算、循环计数、tiling 运算过重③ 切分算法 ④ 模板化静态 tilingB. 指令发射开销每条 MTE/Vector/Cube 需 Scalar 配置描述符① C内联/常量折叠 ④ 模板化C. 同步等待wait_flag 阻塞 Scalar 流水③ 切分算法Double BufferD. 控制流开销分支/循环/函数调用打断流水icache miss① C分支消除/循环展开 ② CacheE. 队列满mte2/3/vector 等队列满阻塞发射③ 切分算法tile 平衡指令乱序F. 头开销算子启动调度→取指→预热② Cacheicache 预取 ④ 模板化super kernelG. 串行依赖MainScalar 串行调用 vf_call无法并发① Cvf_call 融合 ④ 模板化1.3 自检是否处于 Scalar Bound现象判定方法Cube/Vector 利用率低MTE 利用率也低profiling 三条流水均未打满 → 大概率 Scalar Bound算子 MFU 低增大 tile 无改善tile 增大本应提高计算占比无改善说明瓶颈在控制算子入口段前 50 行耗时长头开销 Scalar 配置集中反汇编 scalar 段指令占比高scalar 流水指令数 / 总指令数 30%2. 维度一C 语言特征优化核心思想把能在编译期算清楚的绝不留到运行期让 MainScalar 算。2.1 常量折叠与常量传播问题运行期传入的参数如 tileM、tileK、stride每次都需 Scalar 做地址运算addr base i*stride。C 手段用constexpr/ 模板非类型参数把参数固化到类型中触发编译器常量折叠。// ❌ 运行期参数每次循环 Scalar 都要算 addrvoidkernel(inttileM,inttileK,intstride){for(inti0;itileM;i){autoaddrbasei*stride;// Scalar 运行期乘法// ...}}// ✅ 编译期常量stride 变成立即数地址生成用 LEAtemplateintTileM,intTileKvoidkernel(){constexprintstrideTileK*sizeof(half);// 编译期算好for(inti0;iTileM;i){autoaddrbasei*stride;// 编译为 i * immediate// ...}}收益消除 Scalar 运行期乘除2.2 循环展开与展开因子问题循环计数器维护、循环条件判断、分支跳转打断 Scalar 流水导致 icache miss。C 手段#pragma unroll或模板递归展开。// ❌ 动态循环Scalar 需维护循环计数 分支for(intk0;kK;ktileK){mmad(c,ak,bk);}// ✅ 编译期展开Scalar 只发 N 条 mmad无循环开销templateintK,intTileKstructUnrolledMmad{static_assert(K%TileK0);staticconstexprintNK/TileK;templateintIdx0staticinlinevoidrun(c,a,b){ifconstexpr(IdxN){mmad(c,aIdx*TileK,bIdx*TileK);runIdx1(c,a,b);}}};UnrolledMmad256,32::run(c,a,b);// 展开 8 次2.3 分支消除与 Predicate 策略问题if分支产生 BB 块跳转打断 Scalar 顺序取指引发 icache missC 手段用三元运算、Predicate、if constexpr编译期消除替代运行期分支。// ❌ 运行期分支产生两个 BB 块if(remainder0){process_tail(remainder);}// ✅ 编译期消除边界用模板特化处理templateboolHasTailvoidprocess(){ifconstexpr(HasTail){process_tail();}// HasTailfalse 时process_tail 在编译期被完全删除}// ⚠️ Predicate 反向策略R13部分场景 Predicate 反而增加运行时开销// 编译器会对部分热路径去 Predicate。手写时不要无脑 Predicate 化// 需结合 profiling 判断2.4 内联与 vf_call 融合问题MainScalar 串行调用vf_callVector Function Call// ❌ 函数调用每次 vf_call 保存现场 跳转voidvec_add(LocalTensor dst,LocalTensor a,LocalTensor b){/*...*/}voidkernel(){vec_add(t1,a,b);// vf_call 1vec_add(t2,c,d);// vf_call 2串行等待}// ✅ 内联融合 函数对象编译器合并为一条 vf_callstructAdd{staticinline__attribute__((always_inline))voidapply(LocalTensor dst,LocalTensor a,LocalTensor b){/*...*/}};templatetypename...OpsstructFusedVfCall{staticinlinevoidrun(){// 编译器将多个 Ops::apply 融合为单个 vf_call// 对应 David FA 算子验证VF_call 融合获 30% 性能(Ops::apply(),...);}};FusedVfCallAdd,Add,Mul::run();实测收益David FA 算子单纯转换仅获手写 19% 性能常量折叠 循环展开 if 消除 常量 Tile VF_call 融合再获 30% 性能3. 维度二硬件 Cache 控制优化核心思想让数据和指令在 MainScalar 需要时已在 Cache消除等待。3.1 David 系列存储与 Cache 层次┌─────────────────────────────────────────────────────┐ │ HBM (GM) ← 多核共享高带宽高延迟 │ ├─────────────────────────────────────────────────────┤ │ L2 ← Die 间共享片上缓冲 │ ├─────────────────────────────────────────────────────┤ │ L1 (LocalMemory) ← 核私有 │ │ L0A/L0B/L0C ← Cube 寄存器级 │ │ UB (256KB ) ← 核私有Vector 工作区 │ │ RF ( thread) ← 寄存器 │ ├─────────────────────────────────────────────────────┤ │ icache ← 指令缓存 │ │ dcache ← 数据缓存 │ └─────────────────────────────────────────────────────┘3.2 Icache 优化消除头开销与控制流 miss头开销主要来自 icache miss算子启动时指令尚未进入 icacheScalar 取指阻塞。David 头开销约1us。手段硬件/软件机制收益优化维度联动L2 预取参数算子启动前 SDMA 预取参数到 L2消除首拍 icache miss④ 模板化预取偏移常量化指令 preload 到 L2指令预加载与数据隔离减少头开销③ 切分super kernel 减少加载次数super kernel融合算子减少 launch 次数部分消除 icache miss④ 模板化BB 块重排编译器 R5 热路径前置减少 miss① C分支消除减少 BB代码示例// 模板化预取偏移编译期算好预取地址templateintParamSizevoidprefetch_params(uintptr_t gm_addr){// RTS 配置 preload 大小配合 SDMA 预取asm_preload_l2(gm_addr,ParamSize);}prefetch_params4096(param_gm);// 常量参数触发编译器优化3.3 Dcache 优化手段硬件/软件机制收益dcache preloadmte2 改为 preload消除首拍 dcache missFull cacheline write算子不感知硬件自动覆盖消除 dcache write miss延迟 CopyGM→L1 只记地址参数LoadData 时才真实拷贝减少冗余搬运延迟 Copy 详解传统: GM --Copy-- L1 --LoadData-- L0 --Mmad-- L0C 延迟: GM --记addr-- L1(仅记录) --LoadData时才Copy-- L0 --Mmad-- L0C 收益: 当数据无需额外转换时A1/B1 映射为 Null消除一次搬运3.4 同步最小化与 Cache 一致性原则说明与 Cache 关系按需同步只在 producer→consumer 边界插入 SetFlag/WaitFlag避免冗余 wait 导致 Scalar 阻塞批量同步多个独立搬运合并一个 Flag减少 Scalar 指令数避免冗余 wait编译器/静态分析识别可消除的 wait释放 Scalar 流水异步优先notify/wait 异步代替同步轮询配合 FCM 事件驱动GM 强一致性GM 为强一致性访问操作 GM 需清 Cache 同步软件 clear cache 同步4. 维度三切分算法优化核心思想Tile 形状与层级容量精准匹配减少 Scalar 切分逻辑与同步开销。4.1 Double Buffer 隐藏搬运根因 C 同步等待目标让 MTE 搬运与 Cube/Vector 计算时间重叠Scalar 只需一次配置多块 buffer。传统单 buffer: Scalar: [cfg_DMA0][wait0][cfg_MMAD0][wait0][cfg_DMA1][wait1]... MTE: [搬运0]............[搬运1]............ Cube: [算0]............[算1].... 问题: MTE 与 Cube 串行Scalar 频繁 wait Double Buffer: Scalar: [cfg_DMA0][cfg_DMA1][wait0][cfg_MMAD0][cfg_DMA2][wait1]... MTE: [搬运buf0][搬运buf1][搬运buf2]... Cube: [LoadData0][MMAD0] [LoadData1][MMAD1]... 收益: MTE 与 Cube 重叠吞吐翻倍4.2 Tile 大小与层级容量适配目标tile 大小匹配内存层级容量避免溢出导致的额外 Scalar 切分逻辑。内存层级容量DavidTile 建议约束切分算法要点UB256KBtileM×tileK×sizeof(half)×N_buffer ≤ 256KB算子必须动态适应 UB 变化L1LocalMemorytileM×tileK ≤ L1 容量Cube 数据L0A/L0BtileM×tileK ≤ L0 容量// ❌ 硬编码 tile跨代迁移会溢出 UBconstexprinttileM128;constexprinttileK64;// ✅ 模板化动态适应 UB 容量templatetypenameArchConfigstructTilePolicy{staticconstexprintUB_SIZEArchConfig::UB_SIZE;staticconstexprintN_BUFFER2;// double bufferstaticconstexprintDTYPEsizeof(half);staticconstexprinttileM128;// 编译期算出 tileK确保不溢出staticconstexprinttileKUB_SIZE/(tileM*DTYPE*N_BUFFER);};using_TileTilePolicyConfig;// UB256K → tileK84.3 K 维切分与 L2 共享传统 Cube 矩阵乘只在核内分 K 维。集群内 4 核分 KL2 buffer 共享: Core0: C A[K0:K1] × B[K0:K1] ─┐ Core1: C A[K1:K2] × B[K1:K2] ─┤ 结果聚合到 L2 Core2: C A[K2:K3] × B[K2:K3] ─┤ Core3: C A[K3:K4] × B[K3:K4] ─┘ Scalar 优化: 每核只配自己的 K 段无需串行处理全 K A/B 分块通过 L2 buffer 共享减少 HBM 搬运约束L2 buffer 仅集群模式可用且不支持原子/减少操作结果聚合需 Scalar 显式同步。4.4 控制流简化与切分联动切分算法本身会引入控制流处理尾块、对齐边界需与 ① C 特征联动手段切分侧C 侧分支消除尾块用 Padding 对齐if constexpr编译期消除循环展开K 维按 tileK 整除模板递归展开BB 块重排热路径大 tile前置函数内联小 tile 处理函数always_inline避免深度嵌套减少切分层级减少 Scalar 栈消耗5. 维度四模板化优化核心思想用 C 模板把硬件配置、Tile 策略、算子特化编进类型系统编译期生成最优代码。5.1 硬件代际配置模板化// 硬件代际配置structConfig{staticconstexprintUB_SIZE256*1024;staticconstexprintICACHE_LINE512;// 512B prefetch};5.2 if-constexpr 编译期分发if constexprC17在编译期消除分支不产生 BB 块直接解决根因 D 控制流开销templateboolUseL2,boolUseDoubleBufvoidmatmulImpl(){ifconstexpr(UseL2){// UseL2 共享路径编译期生成clusterMatmul();}else{legacyMatmul();}ifconstexpr(UseDoubleBuf){// 双 buffer 路径pipelineDoubleBuf();}else{pipelineSingleBuf();}}// 调用模板参数决定生成哪份代码matmulImpltrue,true();// 最优路径matmulImplfalse,true();对比#ifdefif constexpr是类型安全的、可被编译器优化死代码消除、常量传播而#ifdef是预处理阶段文本替换无法受益于编译器分析。5.3 策略类注入Policy-Based Design将 Tile 策略、同步策略、Cache 策略抽象为策略类通过模板注入编译期生成特化代码// 策略类structDefaultTile{staticconstexprintM128,K32,N128;};structLargeTile{staticconstexprintM256,K64,N256;};structSyncMin{staticvoidwait(){/* 按需同步 */}};structSyncSafe{staticvoidwait(){/* 保守同步 */}};structCacheL15{staticvoidprefetch(){/* L1.5 const cache 预取 */}};structCacheLegacy{staticvoidprefetch(){/* L2 预取 */}};// 算子模板注入策略templatetypenameTilePolicy,typenameSyncPolicy,typenameCachePolicystructKernel{staticvoidrun(){CachePolicy::prefetch();// 用 TilePolicy::M/K/N编译期常量for(inti0;iTilePolicy::M;i){/*...*/}SyncPolicy::wait();}};// 实例化编译期生成 4 份特化代码运行期零分支usingFastKernelKernelLargeTile,SyncMin,CacheL15;usingSafeKernelKernelDefaultTile,SyncSafe,CacheLegacy;5.4 ConceptC20约束算子接口C20 Concept 替代 SFINAE编译期约束算子模板参数错误信息更友好且可触发不同的编译期优化路径templatetypenameTconceptTilePolicyrequires{{T::M}-std::convertible_toint;{T::K}-std::convertible_toint;{T::N}-std::convertible_toint;T::M0T::K0T::N0;};templatetypenameTconceptHasL15requires{{T::HAS_L15}-std::same_asbool;};templateTilePolicy TP,HasL15 ArchvoidoptimizedMatmul(){ifconstexpr(Arch::HAS_L15){// L1.5 路径编译期保证 Arch 有 HAS_L15 字段}}5.5 Super Kernel 模板化目标多个小算子融合为一个大 kernel减少 launch 次数消除重复头开销对应根因 F 头开销。传统: [kernel1: 头开销计算][kernel2: 头开销计算][kernel3: 头开销计算] ↑ 3 次头开销 3 次 icache miss super kernel: [super_kernel: 1次头开销 kernel1 kernel2 kernel3] ↑ 1 次头开销icache 只 miss 一次模板化实现// Super Kernel 模板编译期融合多个算子templatetypename...KernelsstructSuperKernel{staticvoidrun(){// 一次性 InitBuffer共享资源TPipe pipe;// 展开每个 Kernel 的 run 共享同一个 pipe(Kernels::run(pipe),...);}};usingFusedFASuperKernelMatmul,Softmax,Matmul,Linear;FusedFA::run();// 一次 launch一次头开销5.6 模板化与编译器优化的协同模板化产生的特化代码更易被编译器优化模板化手段触发的编译器优化constexpr参数立即数使能、常量折叠模板非类型参数Pattern 优化、LEA 优化if constexpr死代码消除、BB 块减少模板递归展开循环展开、指令数减少Super Kernel 模板减少 Sreg 需求、头开销消除
