文章目录前言为什么需要 NumPy 兼容层它在 CANN 五层架构里的什么位置核心能力覆盖哪些 NumPy API典型使用场景三层递进性能对比数据搬运的代价和 CANN 其他仓库怎么配合谁适合用 asnumpy环境准备与快速验证想动手试试前言你写了几年科学计算代码全是import numpy as np张量创建、矩阵乘法、随机数生成——这些操作在你的 CPU 上跑得好好的突然老板说搬到昇腾 NPU 上试试。你搜了一圈发现昇腾 CANN 生态里有个叫 asnumpy 的东西号称在 NPU 上跑 NumPy 工作负载。别被名字骗了——asnumpy 不是 NumPy。它是一个兼容层让你不用重写代码就能把原来在 CPU 上跑的 NumPy 风格操作搬到昇腾 NPU 上执行。打个比方你在一个城市住了十年每个路口都熟现在换了个新城市。asnumpy 就是那个给你画了一份老路名→新路名对照表的向导——你不需要重新学认路跟着走就行。为什么需要 NumPy 兼容层科学计算领域的代码资产是巨大的。从天文学的星系模拟到生物信息学的基因测序从金融工程的期权定价到物理仿真的流体计算全球数百万研究人员用 NumPy 积累了十几年的代码。这些代码不是想扔就能扔的。问题来了昇腾 NPU 的算力很强但生态里缺一个让科学计算用户无门槛进入的入口。用户不可能为了用 NPU 去学 PyTorch、学 MindSpore——他们只是想把手头的计算跑快一点。asnumpy 就是为这个场景设计的不要求用户改变编程习惯不要求重写算法逻辑只是把执行后端从 CPU 换成 NPU。这就好像你有一把瑞士军刀现在告诉你换个刀片能用更大力气但用法完全不用变。asnumpy 做的就是这件事。它在 CANN 五层架构里的什么位置昇腾 CANN 的五层架构从下到上分别是基础层、执行层、编译层、服务层、语言层。asnumpy 不在这五层里面——它属于五层之上的应用链也就是第三层的便捷工具层。为什么放在这个位置让我们看看其他几层在干什么基础层和执行层负责最底层的硬件抽象和算子执行编译层做图优化和调度服务层提供推理服务框架语言层提供 Python、C 等编程接口asnumpy 做的事情完全不同它是面向终端用户的胶水层。它不自己实现算子也不做编译优化它做的是把 NumPy 风格的 API 调用翻译成底层算子库的调用。比如你要算矩阵乘asnumpy 会在底下帮你调 ops-blas要算三角函数、指数运算它会去调 ops-math。就像你点外卖你只管在 app 上点宫保鸡丁后厨是哪个师傅炒的你不用管——asnumpy 就是那个外卖 appops-math 和 ops-blas 是后厨。核心能力覆盖哪些 NumPy APIasnumpy 目前支持的 NumPy API 可以分成几大类每一类都对应底层的算子仓库ndarray 创建与管理importasnumpyasanp# 在 NPU 显存上创建各种类型的数组aanp.zeros((1024,1024),dtypeanp.float32)banp.ones((512,512),dtypeanp.float16)canp.full((256,256),3.14159)danp.eye(1024)# 单位矩阵# 从 Python 列表或 NumPy 数组导入data[[1,2,3],[4,5,6]]eanp.array(data,dtypeanp.float32)# 查看张量形状和设备print(fShape:{e.shape}, Dtype:{e.dtype})区别在于这些张量住在 NPU 显存上不在系统内存里。整个计算过程不需要 CPU 介入。数学运算底层调用 ops-math# 基础数学函数 - 底层走 ops-mathxanp.random.randn(1000,1000)yanp.sin(x)# 正弦zanp.cos(x)# 余弦wanp.exp(z)# 指数vanp.log(w)# 对数uanp.sqrt(v)# 平方根# 元素级运算resultanp.power(x,2)# x^2resultanp.abs(x)# 绝对值resultanp.clip(x,-1,1)# 截断ops-math 提供了 conversion 类张量形态变换、math 类基础数学运算、random 类随机数生成。asnumpy 里的anp.sin()、anp.exp()、anp.random.randn()这些操作最终都走到这里。线性代数底层调用 ops-blas# 矩阵运算 - 底层走 ops-blasAanp.random.randn(2048,1024)Banp.random.randn(1024,512)Canp.dot(A,B)# 矩阵乘法Danp.matmul(A,B)# 另一种写法# 向量运算v1anp.random.randn(512)v2anp.random.randn(512)dot_productanp.dot(v1,v2)# 点积# 范数计算normanp.linalg.norm(A)# Frobenius 范数ops-blas 是高性能线性代数计算库anp.dot()、anp.matmul()这些矩阵运算的幕后功臣。线性代数求解器# 解线性方程组 Ax bAanp.array([[3,1],[1,2]],dtypeanp.float32)banp.array([9,8],dtypeanp.float32)xanp.linalg.solve(A,b)# SVD 分解U,s,Vhanp.linalg.svd(A)# 特征值分解eigenvalues,eigenvectorsanp.linalg.eigh(A)FFT 频域变换# 快速傅里叶变换 - 科学计算常见操作signalanp.random.randn(1024)fft_resultanp.fft.fft(signal)# 一维 FFTifft_resultanp.fft.ifft(fft_result)# 逆变换# 二维 FFT图像处理常用imageanp.random.randn(512,512)fft_2danp.fft.fft2(image)典型使用场景三层递进第一层像用 NumPy 一样创建张量importasnumpyasanp# 在 NPU 显存上创建一个张量aanp.zeros((1024,1024))# 数据默认驻留在 NPU 显存里不需要手动搬运看到没跟 NumPy 的用法几乎一模一样。区别在于a这个张量住在 NPU 显存上不在系统内存里。第二层科学计算的基本操作直接上 NPUbanp.random.randn(1024,1024)canp.dot(a,b)# 矩阵乘法 → 底层调 ops-blasdanp.exp(c)# 指数运算 → 底层调 ops-matheanp.mean(d,axis0)# 求均值 → 底层调 ops-math每一行代码在 CPU 上用 NumPy 也能写但现在全部在 NPU 上跑。数据从头到尾没离开过显存省掉了 CPU 和 NPU 之间来回搬运的功夫。第三层传统 ML 算法的迁移很多科研人员和工程师手头有大量基于 NumPy 的传统机器学习代码——PCA、SVD、KMeans 这些算法自己用 NumPy 写的。这些代码要迁移到昇腾 NPU 上重写成本很高。asnumpy 的价值就在这里# 一段经典的 PCA 实现原来跑在 CPU 上defpca(X,n_components):# 中心化X_centeredX-anp.mean(X,axis0)# 协方差矩阵covanp.dot(X_centered.T,X_centered)/X.shape[0]# 特征分解eigenvalues,eigenvectorsanp.linalg.eigh(cov)# 取前 n 个主成分idxanp.argsort(eigenvalues)[::-1]returneigenvectors[:,idx[:n_components]]# 把 X 换成 asnumpy 张量剩下的不用改X_npuanp.array(X_cpu)componentspca(X_npu,50)代码逻辑一行没改计算从 CPU 搬到了 NPU。这就是 asnumpy 定位的典型场景科学计算用户和传统 ML 迁移。性能对比数据搬运的代价为什么一定要在 NPU 上跑关键在于数据搬运。如果数据在 CPU 和 NPU 之间反复移动异步传输的开销可能抵消 NPU 计算带来的收益。asnumpy 的设计让数据从头到尾留在 NPU 显存里# 传统做法CPU 计算importnumpyasnp a_npnp.random.randn(4096,4096)b_npnp.dot(a_np,a_np)# CPU 计算可能很慢# asnumpy 做法NPU 计算importasnumpyasanp a_npuanp.random.randn(4096,4096)# 直接在 NPU 创建b_npuanp.dot(a_npu,a_npu)# 全程 NPU 计算# 数据不需要在 CPU 和 NPU 之间搬运对于大矩阵运算这个差异是明显的。和 CANN 其他仓库怎么配合asnumpy 不是一个人在战斗。它的上游是三个算子仓库ops-math——提供 conversion 类张量形态变换、math 类基础数学运算、random 类随机数生成。asnumpy 里anp.sin()、anp.exp()、anp.random.randn()这些操作最终都走到这里。ops-blas——高性能线性代数计算。anp.dot()、anp.matmul()这些矩阵运算的幕后功臣。ascend-boost-comm——算子公共平台南向对接算子库北向支撑加速库负责 M×N 的算子复用。有一个很容易搞混的点asnumpy 和 ops-nn 的关系。它们不是竞争关系而是互补的。ops-nn 覆盖的是神经网络域——Conv2D、LayerNorm、GELU 这些深度学习算子asnumpy 覆盖的是 NumPy 域——张量创建、数学运算、线性代数这些科学计算操作。你做深度学习用 ops-nn做科学计算用 asnumpy各管各的赛道。它们的关系可以这样理解# 深度学习场景 → ops-nnimportAscendBridge convAscendBridge.Conv2d(in_channels,out_channels,kernel_size)outputconv(input)# 科学计算场景 → asnumpyimportasnumpyasanp resultanp.dot(matrix_a,matrix_b)谁适合用 asnumpy两类人科学计算用户——物理仿真、金融建模、生物信息学手头大量 NumPy 代码想在昇腾 NPU 上加速跑。传统 ML 迁移——用 NumPy 手写的 PCA、SVD、聚类算法等要搬上昇腾但不打算全部重写成 PyTorch。如果你已经在用 PyTorch 做深度学习那其实不需要 asnumpy——直接用 PyTorch ops-nn ops-transformer 这条链路更合适。asnumpy 解决的是另一个问题让不会用深度学习框架的人也能用上昇腾 NPU 的算力。环境准备与快速验证要使用 asnumpy需要满足以下环境条件# 1. 确认昇腾 NPU 驱动已安装npu-smi# 2. 确认 CANN 已安装需要对应版本python-cimport acl# 无报错说明 ACL 就绪# 3. 安装 asnumpy从 atomgit 拉取或使用预装版本pipinstallasnumpy简单验证脚本importasnumpyasanp# 创建一个简单张量验证环境aanp.ones((100,100))banp.dot(a,a)print(fResult shape:{b.shape})print(NPU 计算验证通过)想动手试试去 https://atomgit.com/cann/asnumpy 看仓库里的 README 和示例代码。先把环境搭好需要一台带昇腾 NPU 的机器和对应版本的 CANN然后试着把你手头最简单的 NumPy 脚本改一下 import——把import numpy as np换成import asnumpy as anp看看能不能直接跑起来。大概率是可以的。跑通了再往复杂场景走。asnumpy 的目标很简单让每一个会用 NumPy 的人都能直接用上昇腾 NPU 的算力不需要学新框架不需要改算法逻辑。这就是它存在的价值。
CANN asnumpy：在 NPU 上跑 NumPy 工作负载
文章目录前言为什么需要 NumPy 兼容层它在 CANN 五层架构里的什么位置核心能力覆盖哪些 NumPy API典型使用场景三层递进性能对比数据搬运的代价和 CANN 其他仓库怎么配合谁适合用 asnumpy环境准备与快速验证想动手试试前言你写了几年科学计算代码全是import numpy as np张量创建、矩阵乘法、随机数生成——这些操作在你的 CPU 上跑得好好的突然老板说搬到昇腾 NPU 上试试。你搜了一圈发现昇腾 CANN 生态里有个叫 asnumpy 的东西号称在 NPU 上跑 NumPy 工作负载。别被名字骗了——asnumpy 不是 NumPy。它是一个兼容层让你不用重写代码就能把原来在 CPU 上跑的 NumPy 风格操作搬到昇腾 NPU 上执行。打个比方你在一个城市住了十年每个路口都熟现在换了个新城市。asnumpy 就是那个给你画了一份老路名→新路名对照表的向导——你不需要重新学认路跟着走就行。为什么需要 NumPy 兼容层科学计算领域的代码资产是巨大的。从天文学的星系模拟到生物信息学的基因测序从金融工程的期权定价到物理仿真的流体计算全球数百万研究人员用 NumPy 积累了十几年的代码。这些代码不是想扔就能扔的。问题来了昇腾 NPU 的算力很强但生态里缺一个让科学计算用户无门槛进入的入口。用户不可能为了用 NPU 去学 PyTorch、学 MindSpore——他们只是想把手头的计算跑快一点。asnumpy 就是为这个场景设计的不要求用户改变编程习惯不要求重写算法逻辑只是把执行后端从 CPU 换成 NPU。这就好像你有一把瑞士军刀现在告诉你换个刀片能用更大力气但用法完全不用变。asnumpy 做的就是这件事。它在 CANN 五层架构里的什么位置昇腾 CANN 的五层架构从下到上分别是基础层、执行层、编译层、服务层、语言层。asnumpy 不在这五层里面——它属于五层之上的应用链也就是第三层的便捷工具层。为什么放在这个位置让我们看看其他几层在干什么基础层和执行层负责最底层的硬件抽象和算子执行编译层做图优化和调度服务层提供推理服务框架语言层提供 Python、C 等编程接口asnumpy 做的事情完全不同它是面向终端用户的胶水层。它不自己实现算子也不做编译优化它做的是把 NumPy 风格的 API 调用翻译成底层算子库的调用。比如你要算矩阵乘asnumpy 会在底下帮你调 ops-blas要算三角函数、指数运算它会去调 ops-math。就像你点外卖你只管在 app 上点宫保鸡丁后厨是哪个师傅炒的你不用管——asnumpy 就是那个外卖 appops-math 和 ops-blas 是后厨。核心能力覆盖哪些 NumPy APIasnumpy 目前支持的 NumPy API 可以分成几大类每一类都对应底层的算子仓库ndarray 创建与管理importasnumpyasanp# 在 NPU 显存上创建各种类型的数组aanp.zeros((1024,1024),dtypeanp.float32)banp.ones((512,512),dtypeanp.float16)canp.full((256,256),3.14159)danp.eye(1024)# 单位矩阵# 从 Python 列表或 NumPy 数组导入data[[1,2,3],[4,5,6]]eanp.array(data,dtypeanp.float32)# 查看张量形状和设备print(fShape:{e.shape}, Dtype:{e.dtype})区别在于这些张量住在 NPU 显存上不在系统内存里。整个计算过程不需要 CPU 介入。数学运算底层调用 ops-math# 基础数学函数 - 底层走 ops-mathxanp.random.randn(1000,1000)yanp.sin(x)# 正弦zanp.cos(x)# 余弦wanp.exp(z)# 指数vanp.log(w)# 对数uanp.sqrt(v)# 平方根# 元素级运算resultanp.power(x,2)# x^2resultanp.abs(x)# 绝对值resultanp.clip(x,-1,1)# 截断ops-math 提供了 conversion 类张量形态变换、math 类基础数学运算、random 类随机数生成。asnumpy 里的anp.sin()、anp.exp()、anp.random.randn()这些操作最终都走到这里。线性代数底层调用 ops-blas# 矩阵运算 - 底层走 ops-blasAanp.random.randn(2048,1024)Banp.random.randn(1024,512)Canp.dot(A,B)# 矩阵乘法Danp.matmul(A,B)# 另一种写法# 向量运算v1anp.random.randn(512)v2anp.random.randn(512)dot_productanp.dot(v1,v2)# 点积# 范数计算normanp.linalg.norm(A)# Frobenius 范数ops-blas 是高性能线性代数计算库anp.dot()、anp.matmul()这些矩阵运算的幕后功臣。线性代数求解器# 解线性方程组 Ax bAanp.array([[3,1],[1,2]],dtypeanp.float32)banp.array([9,8],dtypeanp.float32)xanp.linalg.solve(A,b)# SVD 分解U,s,Vhanp.linalg.svd(A)# 特征值分解eigenvalues,eigenvectorsanp.linalg.eigh(A)FFT 频域变换# 快速傅里叶变换 - 科学计算常见操作signalanp.random.randn(1024)fft_resultanp.fft.fft(signal)# 一维 FFTifft_resultanp.fft.ifft(fft_result)# 逆变换# 二维 FFT图像处理常用imageanp.random.randn(512,512)fft_2danp.fft.fft2(image)典型使用场景三层递进第一层像用 NumPy 一样创建张量importasnumpyasanp# 在 NPU 显存上创建一个张量aanp.zeros((1024,1024))# 数据默认驻留在 NPU 显存里不需要手动搬运看到没跟 NumPy 的用法几乎一模一样。区别在于a这个张量住在 NPU 显存上不在系统内存里。第二层科学计算的基本操作直接上 NPUbanp.random.randn(1024,1024)canp.dot(a,b)# 矩阵乘法 → 底层调 ops-blasdanp.exp(c)# 指数运算 → 底层调 ops-matheanp.mean(d,axis0)# 求均值 → 底层调 ops-math每一行代码在 CPU 上用 NumPy 也能写但现在全部在 NPU 上跑。数据从头到尾没离开过显存省掉了 CPU 和 NPU 之间来回搬运的功夫。第三层传统 ML 算法的迁移很多科研人员和工程师手头有大量基于 NumPy 的传统机器学习代码——PCA、SVD、KMeans 这些算法自己用 NumPy 写的。这些代码要迁移到昇腾 NPU 上重写成本很高。asnumpy 的价值就在这里# 一段经典的 PCA 实现原来跑在 CPU 上defpca(X,n_components):# 中心化X_centeredX-anp.mean(X,axis0)# 协方差矩阵covanp.dot(X_centered.T,X_centered)/X.shape[0]# 特征分解eigenvalues,eigenvectorsanp.linalg.eigh(cov)# 取前 n 个主成分idxanp.argsort(eigenvalues)[::-1]returneigenvectors[:,idx[:n_components]]# 把 X 换成 asnumpy 张量剩下的不用改X_npuanp.array(X_cpu)componentspca(X_npu,50)代码逻辑一行没改计算从 CPU 搬到了 NPU。这就是 asnumpy 定位的典型场景科学计算用户和传统 ML 迁移。性能对比数据搬运的代价为什么一定要在 NPU 上跑关键在于数据搬运。如果数据在 CPU 和 NPU 之间反复移动异步传输的开销可能抵消 NPU 计算带来的收益。asnumpy 的设计让数据从头到尾留在 NPU 显存里# 传统做法CPU 计算importnumpyasnp a_npnp.random.randn(4096,4096)b_npnp.dot(a_np,a_np)# CPU 计算可能很慢# asnumpy 做法NPU 计算importasnumpyasanp a_npuanp.random.randn(4096,4096)# 直接在 NPU 创建b_npuanp.dot(a_npu,a_npu)# 全程 NPU 计算# 数据不需要在 CPU 和 NPU 之间搬运对于大矩阵运算这个差异是明显的。和 CANN 其他仓库怎么配合asnumpy 不是一个人在战斗。它的上游是三个算子仓库ops-math——提供 conversion 类张量形态变换、math 类基础数学运算、random 类随机数生成。asnumpy 里anp.sin()、anp.exp()、anp.random.randn()这些操作最终都走到这里。ops-blas——高性能线性代数计算。anp.dot()、anp.matmul()这些矩阵运算的幕后功臣。ascend-boost-comm——算子公共平台南向对接算子库北向支撑加速库负责 M×N 的算子复用。有一个很容易搞混的点asnumpy 和 ops-nn 的关系。它们不是竞争关系而是互补的。ops-nn 覆盖的是神经网络域——Conv2D、LayerNorm、GELU 这些深度学习算子asnumpy 覆盖的是 NumPy 域——张量创建、数学运算、线性代数这些科学计算操作。你做深度学习用 ops-nn做科学计算用 asnumpy各管各的赛道。它们的关系可以这样理解# 深度学习场景 → ops-nnimportAscendBridge convAscendBridge.Conv2d(in_channels,out_channels,kernel_size)outputconv(input)# 科学计算场景 → asnumpyimportasnumpyasanp resultanp.dot(matrix_a,matrix_b)谁适合用 asnumpy两类人科学计算用户——物理仿真、金融建模、生物信息学手头大量 NumPy 代码想在昇腾 NPU 上加速跑。传统 ML 迁移——用 NumPy 手写的 PCA、SVD、聚类算法等要搬上昇腾但不打算全部重写成 PyTorch。如果你已经在用 PyTorch 做深度学习那其实不需要 asnumpy——直接用 PyTorch ops-nn ops-transformer 这条链路更合适。asnumpy 解决的是另一个问题让不会用深度学习框架的人也能用上昇腾 NPU 的算力。环境准备与快速验证要使用 asnumpy需要满足以下环境条件# 1. 确认昇腾 NPU 驱动已安装npu-smi# 2. 确认 CANN 已安装需要对应版本python-cimport acl# 无报错说明 ACL 就绪# 3. 安装 asnumpy从 atomgit 拉取或使用预装版本pipinstallasnumpy简单验证脚本importasnumpyasanp# 创建一个简单张量验证环境aanp.ones((100,100))banp.dot(a,a)print(fResult shape:{b.shape})print(NPU 计算验证通过)想动手试试去 https://atomgit.com/cann/asnumpy 看仓库里的 README 和示例代码。先把环境搭好需要一台带昇腾 NPU 的机器和对应版本的 CANN然后试着把你手头最简单的 NumPy 脚本改一下 import——把import numpy as np换成import asnumpy as anp看看能不能直接跑起来。大概率是可以的。跑通了再往复杂场景走。asnumpy 的目标很简单让每一个会用 NumPy 的人都能直接用上昇腾 NPU 的算力不需要学新框架不需要改算法逻辑。这就是它存在的价值。
