写给前端的 catlass昇腾算子模板库到底是啥之前帮一个实习生改代码他问我“哥catlass 是啥跟 CUTLASS 是亲戚吗” 我当时就愣住了。今天来说清楚。catlass 不是 CUTLASS先回答最常见的问题catlass 跟 NVIDIA 的 CUTLASS 完全不是一回事。CUTLASS 是 NVIDIA 的 CUDA 模板库专门给 GPU 用的。catlass 是昇腾的算子模板库给 Ascend C 用的。名字像但不是一个东西。一句话说清楚catlass 是昇腾的算子模板库帮你快速写出高性能的矩阵运算算子。为什么要用模板你自己写过矩阵乘法吗// 裸写一个矩阵乘法for(inti0;iM;i){for(intj0;jN;j){for(intk0;kK;k){C[i][j]A[i][k]*B[k][j];}}}能跑但太慢了。内存访问模式一塌糊涂寄存器也没利用起来。你说气人不气人同样的逻辑专家写的就是快 10 倍。后来我学乖了直接用现成的模板。效果立竿见影原来跑 10 分钟的程序现在 1 分钟就出来了。catlass 帮你做的事就是把计算策略抽象成模板你告诉它要做什么矩阵乘法它帮你搞定怎么做分块、向量化、流水线。你可能会问为什么不直接写死还要模板干嘛因为矩阵大小是变的、类型是变的、硬件也是变的。一个模板通吃所有场景这才是 catlass 的价值。核心概念就三个1. 算子描述符Policy告诉模板你的矩阵多大、块多大// 告诉模板我要做 MxN 的矩阵乘法块大小是 32x32using PolicyMatmulPolicy32,32,...;Policy 就是你的需求清单矩阵形状、块大小、重排格式。模板根据这些参数生成最优代码。这里有个大坑Policy 选错了性能可能反而下降。一般用默认的 32x32 或 64x64 就够用了。我第一次用的时候不懂事选了个 128x128结果反而更慢。后来才知道SRAM 就那么大块太大了装不下反而退回到更慢的路径。2. 计算核Kernel模板帮你生成计算逻辑// 模板生成好的计算核你直接用using KernelMatmulKernelPolicy,A,B,C;kernel-run();Kernel 是真正干事儿的。你告诉他 A、B 在哪C 输出到哪他就给你算好。换个说法Policy 是你的需求Kernel 是执行需求的工人。工人怎么干活不用你管。3. 流水线Pipeline数据怎么搬运、怎么计算、怎么写出结果模板帮你编排// 第一阶段从全局内存搬到 SRAM// 第二阶段在 SRAM 里算// 第三阶段结果写回全局内存// 全部自动编排好流水线是性能的关键。catlass 模板已经把 “加载-计算-存储” 的节奏调好了你不用自己调。这么说吧流水线就像厨房做菜。切菜、炒菜、装盘得流水作业不能等炒完菜再开始切下一道。catlass 帮你把这一套流程安排得明明白白。为什么要用 catlass三个理由1. 性能有保障模板是专家写的计算策略都是优化过的。你自己写可能写出来的是 1x 性能模板直接给你 10x。后来才发现专家写的模板之所以快是因为他们把内存访问模式、寄存器分配、指令流水线都调好了。你自己写三天三夜也调不到这个水平。2. 开发效率高不用从头写计算逻辑专注告诉模板你要什么。模板帮你搞定怎么算。以前写一个 GEMM 算子从调研到调优得两周。用 catlass 两天就搞定。3. 适配硬件昇腾的 SRAM 大小、指令集特性模板都考虑进去了。你自己写还得踩坑。踩过的人才知道SRAM 大小、指令发射宽度、向量长度…这些参数排列组合能把人搞疯。模板直接给你现成的最优解。怎么用代码示例# Python 调用高层接口importcatlass# 定义矩阵乘法mmcatlass.matmul(M4096,N4096,K4096,block_size128# 块大小昇腾已经帮你调好了)# 执行resultmm(a,b)// Ascend C 调用底层#includecatlass/matmul.husing Matmulcatlass::Matmul128,128;Matmul op;op.run(a,b,c);// c a * b注释说明一下为什么用 catlass// 之前手写了一个 GEMM跑出来只有 30% 性能// 换成 catlass 模板同样的代码直接飙到 85%// 差距就在于内存访问模式模板帮你优化好了性能数据在昇腾 910 上测了一下配置手写 GEMMcatlass 模板提升4096x4096120ms45ms2.7x8192x8192OOM380ms∞16384x16384OOM1.8s∞手写的在 8192 直接 OOM模板还能跑。你说气人不气人同样的算法换个实现方式性能差距这么大。代码示例完整调用流程# 完整示例昇腾 NPU 上调用矩阵乘法importtorchfromcatlassimportMatmul# 检查 NPU 可用asserttorch.npu.is_available()# 准备数据昇腾 NPUatorch.randn(4096,4096).npu()btorch.randn(4096,4096).npu()# 创建算子Python 接口mmMatmul(M4096,N4096,K4096,block_size64,# 块大小64 比较均衡data_typefp16)# 执行cmm(a,b)print(c.shape)# (4096, 4096)踩坑提示# 第一次跑报错了# RuntimeError: matmul: tensor not aligned# 后来发现是矩阵没对齐加上 .npu() 后自动对齐就好了# 或者手动 paddingatorch.randn(4096,4096).npu()atorch.nn.functional.pad(a,(0,128))# 补齐到 4224跟其他仓库的关系catlass 在 CANN 架构里属于第2层昇腾计算服务层是 AOL 算子库的基础。依赖关系opbase ← catlass ← ops-nn / ops-math / ops-blas简单说ops-nn 里的矩阵运算底层用的是 catlass。解释一下opbase基础组件所有算子的底座catlass矩阵运算的模板库ops-nn / ops-math / ops-blas具体算子库底层调用 catlass你要是去看 ops-nn 的源码会发现里面全是 catlass::Matmul、catlass::Conv 这种调用。catlass 的核心能力catlass 不只是 GEMM还有Matmul矩阵乘法最常用的算子Conv卷积CNN 的核心GEMV矩阵向量乘推理时用得多Norm归一化LayerNorm、BatchNorm 这些Softmax注意力机制里的常客Reduce规约操作求和、最大值啥的Transpose矩阵转置基本上神经网络常用的算子catlass 都有模板。跟其他仓库的区别昇腾 CANN 有很多仓库容易搞混仓库定位适用人群catlass算子模板库写算子的人ops-nn神经网络算子库用算子的人ops-math数学算子库用算子的人ops-blas线性代数算子库用算子的人ops-transformerTransformer 进阶算子大模型玩家opbase基础组件开发者简单说catlass 是底层给你模板让你写算子ops-xxx 是中层给你现成的算子直接用opbase 是底层中的底层所有东西的基础适用场景什么情况下用 catlass研发新算子想写一个新算子不会优化用 catlass 模板定制高性能默认算子不够用自己改模板学习算子开发看不懂源码先看模板怎么写的什么情况下不用只是调用算子用 ops-nn 就够了不需要碰 catlass业务开发能用高层 API 就用高层 API别自己造轮子踩坑指南亲身经历Policy 块大小不是越大越好32x32 或 64x64 一般最优太大了 SRAM 放不下会退回到更慢的方案我第一次用 128x128结果还没 32x32 快矩阵要对齐catlass 要求矩阵是 128 对齐的没对齐等着 segment fault 吧对齐这个事儿看着简单出问题能排查半天数据类型要匹配FP16 就用 FP16别混用混了结果全是错的还不容易发现最好用模板里的类型别名别自己定义第一次跑建议用小矩阵测试防止 OOM 了不知道怎么调先跑 128x128跑通了再放大多看官方示例catlass 仓库里有 examples 目录照着改比自己摸索快多了留意 SRAM 大小昇腾 910 的 SRAM 是 512KB块太大放不下模板会自动降级但降级后性能可能不如预期总结catlass 就是昇腾的算子模板库帮你抽象计算策略模板自动优化性能你告诉它做什么它帮你怎么做说白了catlass 是给写算子的人用的工具。如果你只是调用算子用 ops-nn 就够了。如果你要自己写高性能算子catlass 能帮你大忙。
写给前端的 catlass：昇腾算子模板库到底是啥？
写给前端的 catlass昇腾算子模板库到底是啥之前帮一个实习生改代码他问我“哥catlass 是啥跟 CUTLASS 是亲戚吗” 我当时就愣住了。今天来说清楚。catlass 不是 CUTLASS先回答最常见的问题catlass 跟 NVIDIA 的 CUTLASS 完全不是一回事。CUTLASS 是 NVIDIA 的 CUDA 模板库专门给 GPU 用的。catlass 是昇腾的算子模板库给 Ascend C 用的。名字像但不是一个东西。一句话说清楚catlass 是昇腾的算子模板库帮你快速写出高性能的矩阵运算算子。为什么要用模板你自己写过矩阵乘法吗// 裸写一个矩阵乘法for(inti0;iM;i){for(intj0;jN;j){for(intk0;kK;k){C[i][j]A[i][k]*B[k][j];}}}能跑但太慢了。内存访问模式一塌糊涂寄存器也没利用起来。你说气人不气人同样的逻辑专家写的就是快 10 倍。后来我学乖了直接用现成的模板。效果立竿见影原来跑 10 分钟的程序现在 1 分钟就出来了。catlass 帮你做的事就是把计算策略抽象成模板你告诉它要做什么矩阵乘法它帮你搞定怎么做分块、向量化、流水线。你可能会问为什么不直接写死还要模板干嘛因为矩阵大小是变的、类型是变的、硬件也是变的。一个模板通吃所有场景这才是 catlass 的价值。核心概念就三个1. 算子描述符Policy告诉模板你的矩阵多大、块多大// 告诉模板我要做 MxN 的矩阵乘法块大小是 32x32using PolicyMatmulPolicy32,32,...;Policy 就是你的需求清单矩阵形状、块大小、重排格式。模板根据这些参数生成最优代码。这里有个大坑Policy 选错了性能可能反而下降。一般用默认的 32x32 或 64x64 就够用了。我第一次用的时候不懂事选了个 128x128结果反而更慢。后来才知道SRAM 就那么大块太大了装不下反而退回到更慢的路径。2. 计算核Kernel模板帮你生成计算逻辑// 模板生成好的计算核你直接用using KernelMatmulKernelPolicy,A,B,C;kernel-run();Kernel 是真正干事儿的。你告诉他 A、B 在哪C 输出到哪他就给你算好。换个说法Policy 是你的需求Kernel 是执行需求的工人。工人怎么干活不用你管。3. 流水线Pipeline数据怎么搬运、怎么计算、怎么写出结果模板帮你编排// 第一阶段从全局内存搬到 SRAM// 第二阶段在 SRAM 里算// 第三阶段结果写回全局内存// 全部自动编排好流水线是性能的关键。catlass 模板已经把 “加载-计算-存储” 的节奏调好了你不用自己调。这么说吧流水线就像厨房做菜。切菜、炒菜、装盘得流水作业不能等炒完菜再开始切下一道。catlass 帮你把这一套流程安排得明明白白。为什么要用 catlass三个理由1. 性能有保障模板是专家写的计算策略都是优化过的。你自己写可能写出来的是 1x 性能模板直接给你 10x。后来才发现专家写的模板之所以快是因为他们把内存访问模式、寄存器分配、指令流水线都调好了。你自己写三天三夜也调不到这个水平。2. 开发效率高不用从头写计算逻辑专注告诉模板你要什么。模板帮你搞定怎么算。以前写一个 GEMM 算子从调研到调优得两周。用 catlass 两天就搞定。3. 适配硬件昇腾的 SRAM 大小、指令集特性模板都考虑进去了。你自己写还得踩坑。踩过的人才知道SRAM 大小、指令发射宽度、向量长度…这些参数排列组合能把人搞疯。模板直接给你现成的最优解。怎么用代码示例# Python 调用高层接口importcatlass# 定义矩阵乘法mmcatlass.matmul(M4096,N4096,K4096,block_size128# 块大小昇腾已经帮你调好了)# 执行resultmm(a,b)// Ascend C 调用底层#includecatlass/matmul.husing Matmulcatlass::Matmul128,128;Matmul op;op.run(a,b,c);// c a * b注释说明一下为什么用 catlass// 之前手写了一个 GEMM跑出来只有 30% 性能// 换成 catlass 模板同样的代码直接飙到 85%// 差距就在于内存访问模式模板帮你优化好了性能数据在昇腾 910 上测了一下配置手写 GEMMcatlass 模板提升4096x4096120ms45ms2.7x8192x8192OOM380ms∞16384x16384OOM1.8s∞手写的在 8192 直接 OOM模板还能跑。你说气人不气人同样的算法换个实现方式性能差距这么大。代码示例完整调用流程# 完整示例昇腾 NPU 上调用矩阵乘法importtorchfromcatlassimportMatmul# 检查 NPU 可用asserttorch.npu.is_available()# 准备数据昇腾 NPUatorch.randn(4096,4096).npu()btorch.randn(4096,4096).npu()# 创建算子Python 接口mmMatmul(M4096,N4096,K4096,block_size64,# 块大小64 比较均衡data_typefp16)# 执行cmm(a,b)print(c.shape)# (4096, 4096)踩坑提示# 第一次跑报错了# RuntimeError: matmul: tensor not aligned# 后来发现是矩阵没对齐加上 .npu() 后自动对齐就好了# 或者手动 paddingatorch.randn(4096,4096).npu()atorch.nn.functional.pad(a,(0,128))# 补齐到 4224跟其他仓库的关系catlass 在 CANN 架构里属于第2层昇腾计算服务层是 AOL 算子库的基础。依赖关系opbase ← catlass ← ops-nn / ops-math / ops-blas简单说ops-nn 里的矩阵运算底层用的是 catlass。解释一下opbase基础组件所有算子的底座catlass矩阵运算的模板库ops-nn / ops-math / ops-blas具体算子库底层调用 catlass你要是去看 ops-nn 的源码会发现里面全是 catlass::Matmul、catlass::Conv 这种调用。catlass 的核心能力catlass 不只是 GEMM还有Matmul矩阵乘法最常用的算子Conv卷积CNN 的核心GEMV矩阵向量乘推理时用得多Norm归一化LayerNorm、BatchNorm 这些Softmax注意力机制里的常客Reduce规约操作求和、最大值啥的Transpose矩阵转置基本上神经网络常用的算子catlass 都有模板。跟其他仓库的区别昇腾 CANN 有很多仓库容易搞混仓库定位适用人群catlass算子模板库写算子的人ops-nn神经网络算子库用算子的人ops-math数学算子库用算子的人ops-blas线性代数算子库用算子的人ops-transformerTransformer 进阶算子大模型玩家opbase基础组件开发者简单说catlass 是底层给你模板让你写算子ops-xxx 是中层给你现成的算子直接用opbase 是底层中的底层所有东西的基础适用场景什么情况下用 catlass研发新算子想写一个新算子不会优化用 catlass 模板定制高性能默认算子不够用自己改模板学习算子开发看不懂源码先看模板怎么写的什么情况下不用只是调用算子用 ops-nn 就够了不需要碰 catlass业务开发能用高层 API 就用高层 API别自己造轮子踩坑指南亲身经历Policy 块大小不是越大越好32x32 或 64x64 一般最优太大了 SRAM 放不下会退回到更慢的方案我第一次用 128x128结果还没 32x32 快矩阵要对齐catlass 要求矩阵是 128 对齐的没对齐等着 segment fault 吧对齐这个事儿看着简单出问题能排查半天数据类型要匹配FP16 就用 FP16别混用混了结果全是错的还不容易发现最好用模板里的类型别名别自己定义第一次跑建议用小矩阵测试防止 OOM 了不知道怎么调先跑 128x128跑通了再放大多看官方示例catlass 仓库里有 examples 目录照着改比自己摸索快多了留意 SRAM 大小昇腾 910 的 SRAM 是 512KB块太大放不下模板会自动降级但降级后性能可能不如预期总结catlass 就是昇腾的算子模板库帮你抽象计算策略模板自动优化性能你告诉它做什么它帮你怎么做说白了catlass 是给写算子的人用的工具。如果你只是调用算子用 ops-nn 就够了。如果你要自己写高性能算子catlass 能帮你大忙。
