适合人群想从全局视角理解 CANN 架构的开发者核心仓库https://atomgit.com/cann阅读时长6 分钟目录一、为什么需要五层架构二、第1层昇腾计算语言层 AscendCL三、第2层昇腾计算服务层四、第3层昇腾计算编译层五、第4层昇腾计算执行层六、第5层昇腾计算基础层七、实战追踪一个请求的完整路径八、下一步资源一、为什么需要五层架构拿到昇腾 NPU 的第一反应往往是我写的 PyTorch 代码是怎么跑到这块芯片上的答案藏在 CANN 的五层架构里。先打个比方你点外卖。用户框架→ 下单系统AscendCL→ 厨房调度编译层→ 出餐窗口执行层→ 灶台硬件。每一层各司其职上层不用管下层怎么做下层也不用管上层点什么。这种分层的好处是解耦——框架升级不影响硬件调度算子优化不影响上层接口。你的 PyTorch 代码今天能跑在 Ascend 910 上明天换了新一代 NPU代码也不用改。如果只有三层会怎样框架直接跟硬件打交道每次换芯片就要重写一遍适配代码。昇腾 CANN 用五层架构把这个过程标准化了。二、第1层昇腾计算语言层 AscendCLAscendCL 是 CANN 对外暴露的统一编程接口相当于你跟昇腾 NPU 对话的翻译官。不管你用的是 PyTorch、MindSpore 还是 TensorFlow最终都会经过这一层。它提供的能力包括模型加载与执行加载.om离线模型执行推理内存管理在 NPU 上分配/释放显存流Stream管理控制计算任务的并发执行事件Event同步多流之间的同步机制# AscendCL 的核心 API 使用示例Python绑定 import acl # 1. 初始化 AscendCL acl.init() # 初始化ACL运行环境 # 2. 指定计算设备 device_id 0 acl.rt.set_device(device_id) # 设置当前使用的NPU设备 # 3. 创建计算上下文和流 context acl.rt.create_context(device_id) stream acl.rt.create_stream() # 创建执行流 # 4. 加载离线模型 (.om文件) model_path resnet50.om model_id acl.mdl.load_from_file(model_path) # 5. 准备输入数据并执行推理 input_dataset acl.mdl.create_dataset() output_dataset acl.mdl.create_dataset() ret acl.mdl.execute(model_id, input_dataset, output_dataset) # 6. 释放资源 acl.mdl.unload(model_id) acl.rt.destroy_stream(stream) acl.rt.destroy_context(context) acl.rt.reset_device(device_id) acl.finalize()大多数开发者不会直接调用 AscendCL API——框架适配层torch.npu等已经帮你封装好了。但理解 AscendCL 的存在能帮你搞清楚代码到底是怎么到 NPU 上的。三、第2层昇腾计算服务层这一层是 CANN 的武器库包含两大核心组件AOL 算子库AOLAscend Operator Library提供了大量预优化好的算子实现覆盖 AI 计算的各个场景算子库仓库定位ops-nnhttps://atomgit.com/cann/ops-nnNN 网络基础算子Conv/BN/Poolingops-transformerhttps://atomgit.com/cann/ops-transformerTransformer 进阶算子FlashAttention/MoEops-advhttps://atomgit.com/cann/ops-adv图像处理/科学计算算子ascend-transformer-boosthttps://atomgit.com/cann/ascend-transformer-boostTransformer 全流程加速库AOE 调优引擎AOEAscend Optimization Engine负责根据你的模型结构和硬件配置自动寻找最优的算子参数组合。比如Conv2d 的 tile 大小用什么值最快MatMul 用哪种切分策略最省显存多卡通信用什么拓扑最省带宽# AOE 自动调优示例 # Step 1: 导出 ONNX 模型 python export_model.py --model resnet50 --output resnet50.onnx # Step 2: 使用 AOE 调优遗传算法 强化学习 atc --modelresnet50.onnx \ --framework5 \ --outputresnet50_optimized \ --soc_versionAscend910 \ --auto_tune_modeGA,RL # Step 3: 使用调优后的模型推理 # 调优后的 .om 文件已包含最优配置直接部署即可 # 调优结果缓存在 ~/.ascend/aoe/ 目录同结构模型可复用AOE 的调优过程可能需要几小时但只需跑一次后续同结构的模型都能复用调优结果。四、第3层昇腾计算编译层这是 CANN 架构里最硬核的一层包含两个核心组件Graph EngineGEGE 负责接收框架发来的计算图执行以下优化算子融合把相邻的小算子合成一个大算子。比如 Conv BN ReLU → FusedConvBNReLU减少 kernel 启动开销和显存读写常量折叠编译期就能算出来的值直接算好不等到运行时死代码消除删掉不会被执行到的算子内存规划复用中间 tensor 的显存降低峰值ATC 编译器ATCAscend Tensor Compiler把优化后的计算图编译成昇腾 NPU 可执行的.om文件# ATC 编译命令详解 atc --modelllama.onnx \ # 输入ONNX模型 --framework5 \ # 框架类型5ONNX --outputllama_ascend \ # 输出.om文件名 --soc_versionAscend910 \ # 目标芯片 --input_shapeinput:1,2048 \ # 输入shape静态shape --insert_op_confaipp.cfg \ # AIPP预处理配置可选 --op_precision_modeallow_fp32_to_fp16 # 精度策略编译出的.om文件是一个自包含的离线模型包含了算子指令、内存布局、调度顺序等所有信息可以直接部署到昇腾 NPU 上运行。五、第4层昇腾计算执行层编译好的.om文件到了这一层才真正开始跑。执行层包含RuntimeRuntime 是昇腾 NPU 的运行时环境负责任务调度把编译好的指令下发到 NPU流管理多流并发执行最大化硬件利用率显存管理运行时的显存分配与回收同步机制Event/Stream 级别的同步HCCLHCCLHuawei Collective Communication Library是昇腾的多卡通信库对标 NVIDIA 的 NCCL。支持AllReduce / AllGather / Broadcast 等集合通信原语多机多卡分布式训练自动拓扑感知选择最优通信路径六、第5层昇腾计算基础层最底层直接跟硬件打交道驱动Driver管理 NPU 设备的内核模块固件Firmware运行在 NPU 芯片上的微代码硬件管理时钟频率、温度监控、功耗控制这层对开发者基本透明你唯一需要关心的是npu-smi工具——查看 NPU 状态、显存占用、温度等。# npu-smi 常用命令 npu-smi list # 查看所有NPU设备 npu-smi info -t board # 查看指定卡的详细信息 npu-smi info -t usages # 查看显存和计算单元利用率 # 典型输出 # NPU | Chip | Device | HBM-Used | AICore-Util # 0 | 910 | 0000:01 | 12345/32768 | 85% # 1 | 910 | 0000:02 | 8192/32768 | 42%七、实战追踪一个请求的完整路径把前面六节串起来看一个完整的请求路径PyTorch: model(x) → torch.npu 转发 ↓ AscendCL: acl.mdl.execute() → 下发到编译层 ↓ Graph Engine: 算子融合 内存规划 → 生成优化图 ↓ ATC: 编译成 .om → 包含 NPU 指令 ↓ Runtime: stream 调度 → 多流并发执行 ↓ NPU: 达芬奇架构执行矩阵运算 → 结果写回 HBM整个链路中编译层的优化是性能差异最大的环节。同样一个 ResNet50没优化可能只跑到 500fps经过 ATC 编译 GE 算子融合后可以跑到 2000fps 以上。这就是为什么理解 CANN 架构很重要——不是让你手动优化每一层而是帮你定位性能瓶颈在哪一层然后对症下药。八、去哪找资源资源链接说明CANN 官方仓库https://atomgit.com/cann全部仓库索引Graph Enginehttps://atomgit.com/cann/ge图执行引擎ATC 编译器https://atomgit.com/cann/atc模型编译工具入门教程https://atomgit.com/cann/cann-learning-hub从浅到深示例代码https://atomgit.com/cann/cann-samples官方 Sample建议先从cann-learning-hub的 “架构入门” 教程开始把五层架构跑一遍。然后按需深入做算子开发看 ops-* 仓库做模型部署看 ATC 文档做分布式训练看 HCCL。遇到问题atomgit 上的 issues 区和昇腾社区论坛都很活跃。如果这篇文章帮你理清了 CANN 的架构脉络点个赞留个言下期拆解 ATC 编译器的优化策略
拆解昇腾 CANN 五层架构：一个 MatMul 请求的完整旅程
适合人群想从全局视角理解 CANN 架构的开发者核心仓库https://atomgit.com/cann阅读时长6 分钟目录一、为什么需要五层架构二、第1层昇腾计算语言层 AscendCL三、第2层昇腾计算服务层四、第3层昇腾计算编译层五、第4层昇腾计算执行层六、第5层昇腾计算基础层七、实战追踪一个请求的完整路径八、下一步资源一、为什么需要五层架构拿到昇腾 NPU 的第一反应往往是我写的 PyTorch 代码是怎么跑到这块芯片上的答案藏在 CANN 的五层架构里。先打个比方你点外卖。用户框架→ 下单系统AscendCL→ 厨房调度编译层→ 出餐窗口执行层→ 灶台硬件。每一层各司其职上层不用管下层怎么做下层也不用管上层点什么。这种分层的好处是解耦——框架升级不影响硬件调度算子优化不影响上层接口。你的 PyTorch 代码今天能跑在 Ascend 910 上明天换了新一代 NPU代码也不用改。如果只有三层会怎样框架直接跟硬件打交道每次换芯片就要重写一遍适配代码。昇腾 CANN 用五层架构把这个过程标准化了。二、第1层昇腾计算语言层 AscendCLAscendCL 是 CANN 对外暴露的统一编程接口相当于你跟昇腾 NPU 对话的翻译官。不管你用的是 PyTorch、MindSpore 还是 TensorFlow最终都会经过这一层。它提供的能力包括模型加载与执行加载.om离线模型执行推理内存管理在 NPU 上分配/释放显存流Stream管理控制计算任务的并发执行事件Event同步多流之间的同步机制# AscendCL 的核心 API 使用示例Python绑定 import acl # 1. 初始化 AscendCL acl.init() # 初始化ACL运行环境 # 2. 指定计算设备 device_id 0 acl.rt.set_device(device_id) # 设置当前使用的NPU设备 # 3. 创建计算上下文和流 context acl.rt.create_context(device_id) stream acl.rt.create_stream() # 创建执行流 # 4. 加载离线模型 (.om文件) model_path resnet50.om model_id acl.mdl.load_from_file(model_path) # 5. 准备输入数据并执行推理 input_dataset acl.mdl.create_dataset() output_dataset acl.mdl.create_dataset() ret acl.mdl.execute(model_id, input_dataset, output_dataset) # 6. 释放资源 acl.mdl.unload(model_id) acl.rt.destroy_stream(stream) acl.rt.destroy_context(context) acl.rt.reset_device(device_id) acl.finalize()大多数开发者不会直接调用 AscendCL API——框架适配层torch.npu等已经帮你封装好了。但理解 AscendCL 的存在能帮你搞清楚代码到底是怎么到 NPU 上的。三、第2层昇腾计算服务层这一层是 CANN 的武器库包含两大核心组件AOL 算子库AOLAscend Operator Library提供了大量预优化好的算子实现覆盖 AI 计算的各个场景算子库仓库定位ops-nnhttps://atomgit.com/cann/ops-nnNN 网络基础算子Conv/BN/Poolingops-transformerhttps://atomgit.com/cann/ops-transformerTransformer 进阶算子FlashAttention/MoEops-advhttps://atomgit.com/cann/ops-adv图像处理/科学计算算子ascend-transformer-boosthttps://atomgit.com/cann/ascend-transformer-boostTransformer 全流程加速库AOE 调优引擎AOEAscend Optimization Engine负责根据你的模型结构和硬件配置自动寻找最优的算子参数组合。比如Conv2d 的 tile 大小用什么值最快MatMul 用哪种切分策略最省显存多卡通信用什么拓扑最省带宽# AOE 自动调优示例 # Step 1: 导出 ONNX 模型 python export_model.py --model resnet50 --output resnet50.onnx # Step 2: 使用 AOE 调优遗传算法 强化学习 atc --modelresnet50.onnx \ --framework5 \ --outputresnet50_optimized \ --soc_versionAscend910 \ --auto_tune_modeGA,RL # Step 3: 使用调优后的模型推理 # 调优后的 .om 文件已包含最优配置直接部署即可 # 调优结果缓存在 ~/.ascend/aoe/ 目录同结构模型可复用AOE 的调优过程可能需要几小时但只需跑一次后续同结构的模型都能复用调优结果。四、第3层昇腾计算编译层这是 CANN 架构里最硬核的一层包含两个核心组件Graph EngineGEGE 负责接收框架发来的计算图执行以下优化算子融合把相邻的小算子合成一个大算子。比如 Conv BN ReLU → FusedConvBNReLU减少 kernel 启动开销和显存读写常量折叠编译期就能算出来的值直接算好不等到运行时死代码消除删掉不会被执行到的算子内存规划复用中间 tensor 的显存降低峰值ATC 编译器ATCAscend Tensor Compiler把优化后的计算图编译成昇腾 NPU 可执行的.om文件# ATC 编译命令详解 atc --modelllama.onnx \ # 输入ONNX模型 --framework5 \ # 框架类型5ONNX --outputllama_ascend \ # 输出.om文件名 --soc_versionAscend910 \ # 目标芯片 --input_shapeinput:1,2048 \ # 输入shape静态shape --insert_op_confaipp.cfg \ # AIPP预处理配置可选 --op_precision_modeallow_fp32_to_fp16 # 精度策略编译出的.om文件是一个自包含的离线模型包含了算子指令、内存布局、调度顺序等所有信息可以直接部署到昇腾 NPU 上运行。五、第4层昇腾计算执行层编译好的.om文件到了这一层才真正开始跑。执行层包含RuntimeRuntime 是昇腾 NPU 的运行时环境负责任务调度把编译好的指令下发到 NPU流管理多流并发执行最大化硬件利用率显存管理运行时的显存分配与回收同步机制Event/Stream 级别的同步HCCLHCCLHuawei Collective Communication Library是昇腾的多卡通信库对标 NVIDIA 的 NCCL。支持AllReduce / AllGather / Broadcast 等集合通信原语多机多卡分布式训练自动拓扑感知选择最优通信路径六、第5层昇腾计算基础层最底层直接跟硬件打交道驱动Driver管理 NPU 设备的内核模块固件Firmware运行在 NPU 芯片上的微代码硬件管理时钟频率、温度监控、功耗控制这层对开发者基本透明你唯一需要关心的是npu-smi工具——查看 NPU 状态、显存占用、温度等。# npu-smi 常用命令 npu-smi list # 查看所有NPU设备 npu-smi info -t board # 查看指定卡的详细信息 npu-smi info -t usages # 查看显存和计算单元利用率 # 典型输出 # NPU | Chip | Device | HBM-Used | AICore-Util # 0 | 910 | 0000:01 | 12345/32768 | 85% # 1 | 910 | 0000:02 | 8192/32768 | 42%七、实战追踪一个请求的完整路径把前面六节串起来看一个完整的请求路径PyTorch: model(x) → torch.npu 转发 ↓ AscendCL: acl.mdl.execute() → 下发到编译层 ↓ Graph Engine: 算子融合 内存规划 → 生成优化图 ↓ ATC: 编译成 .om → 包含 NPU 指令 ↓ Runtime: stream 调度 → 多流并发执行 ↓ NPU: 达芬奇架构执行矩阵运算 → 结果写回 HBM整个链路中编译层的优化是性能差异最大的环节。同样一个 ResNet50没优化可能只跑到 500fps经过 ATC 编译 GE 算子融合后可以跑到 2000fps 以上。这就是为什么理解 CANN 架构很重要——不是让你手动优化每一层而是帮你定位性能瓶颈在哪一层然后对症下药。八、去哪找资源资源链接说明CANN 官方仓库https://atomgit.com/cann全部仓库索引Graph Enginehttps://atomgit.com/cann/ge图执行引擎ATC 编译器https://atomgit.com/cann/atc模型编译工具入门教程https://atomgit.com/cann/cann-learning-hub从浅到深示例代码https://atomgit.com/cann/cann-samples官方 Sample建议先从cann-learning-hub的 “架构入门” 教程开始把五层架构跑一遍。然后按需深入做算子开发看 ops-* 仓库做模型部署看 ATC 文档做分布式训练看 HCCL。遇到问题atomgit 上的 issues 区和昇腾社区论坛都很活跃。如果这篇文章帮你理清了 CANN 的架构脉络点个赞留个言下期拆解 ATC 编译器的优化策略
