ForeachNorm 算子 API 描述【免费下载链接】cann-bench评测AI在处理CANN领域代码任务的能力涵盖算子生成、算子优化等领域支撑模型选型、训练效果评估统一量化评估标准识别Agent能力短板构建CANN领域评测平台推动AI能力在CANN领域的持续演进。项目地址: https://gitcode.com/cann/cann-bench1. 算子简介ForeachNorm 算子对输入张量列表TensorList的每个张量分别进行范数运算支持多种范数阶数。主要应用场景梯度裁剪中的梯度范数计算优化器中的参数范数监控模型正则化中的权重范数约束算子特征难度等级L1Reduction输入为张量列表对每个张量独立计算范数输出为标量张量列表支持 ND 格式输入2. 算子定义数学公式通用 p 范数$$ y \left(\sum_i |x_i|^p\right)^{1/p} $$常见范数范数阶数 (scalar)公式含义0$\sum_i \mathbb{1}(x_i \neq 0)$L0 范数非零元素个数1$\sum_i |x_i|$L1 范数绝对值之和2$\sqrt{\sum_i x_i^2}$L2 范数欧氏距离inf$\max_i |x_i|$无穷范数最大绝对值3. 接口规范算子原型cann_bench.foreach_norm(Tensor[] x, float scalar) - Tensor y输入参数说明参数类型默认值描述xTensor[]必选输入张量列表TensorListscalarfloat必选范数阶数输出参数Shapedtype描述y每个元素为标量张量与输入 dtype 相同每个输入张量的范数结果列表数据类型输入 dtype输出 dtypefloat16float16float32float32bfloat16bfloat16规则与约束输入为 TensorList列表中每个张量独立计算范数列表中各张量的 dtype 须一致scalar支持正数、负数、0、inf 等值负阶范数要求输入元素不为零4. 精度要求采用生态算子精度标准进行验证。误差指标平均相对误差MERE采样点中相对误差平均值$$ \text{MERE} \text{avg}(\frac{\text{abs}(actual - golden)}{\text{abs}(golden)\text{1e-7}}) $$最大相对误差MARE采样点中相对误差最大值$$ \text{MARE} \max(\frac{\text{abs}(actual - golden)}{\text{abs}(golden)\text{1e-7}}) $$通过标准数据类型FLOAT16BFLOAT16FLOAT32HiFLOAT32FLOAT8 E4M3FLOAT8 E5M2通过阈值(Threshold)2^-102^-72^-132^-112^-32^-2当平均相对误差 MERE Threshold最大相对误差 MARE 10 * Threshold 时判定为通过。5. 标准 Golden 代码import torch from typing import List def foreach_norm( x: List[torch.Tensor], scalar: float ) - List[torch.Tensor]: 对输入张量列表的每个张量进行范数运算 公式y (sum |x_i|^p)^(1/p) Args: x: 输入张量列表 (TensorList) scalar: 范数阶数 Returns: 输出张量列表每个张量的范数结果 y [torch.norm(tensor, pscalar) for tensor in x] return y6. 额外信息算子调用示例import torch import cann_bench t1 torch.randn(1024, 1024, dtypetorch.float32, devicenpu) t2 torch.randn(2048, 512, dtypetorch.float32, devicenpu) y cann_bench.foreach_norm([t1, t2], scalar2.0) # L2 范数【免费下载链接】cann-bench评测AI在处理CANN领域代码任务的能力涵盖算子生成、算子优化等领域支撑模型选型、训练效果评估统一量化评估标准识别Agent能力短板构建CANN领域评测平台推动AI能力在CANN领域的持续演进。项目地址: https://gitcode.com/cann/cann-bench创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
CANN/cann-bench: ForeachNorm算子
ForeachNorm 算子 API 描述【免费下载链接】cann-bench评测AI在处理CANN领域代码任务的能力涵盖算子生成、算子优化等领域支撑模型选型、训练效果评估统一量化评估标准识别Agent能力短板构建CANN领域评测平台推动AI能力在CANN领域的持续演进。项目地址: https://gitcode.com/cann/cann-bench1. 算子简介ForeachNorm 算子对输入张量列表TensorList的每个张量分别进行范数运算支持多种范数阶数。主要应用场景梯度裁剪中的梯度范数计算优化器中的参数范数监控模型正则化中的权重范数约束算子特征难度等级L1Reduction输入为张量列表对每个张量独立计算范数输出为标量张量列表支持 ND 格式输入2. 算子定义数学公式通用 p 范数$$ y \left(\sum_i |x_i|^p\right)^{1/p} $$常见范数范数阶数 (scalar)公式含义0$\sum_i \mathbb{1}(x_i \neq 0)$L0 范数非零元素个数1$\sum_i |x_i|$L1 范数绝对值之和2$\sqrt{\sum_i x_i^2}$L2 范数欧氏距离inf$\max_i |x_i|$无穷范数最大绝对值3. 接口规范算子原型cann_bench.foreach_norm(Tensor[] x, float scalar) - Tensor y输入参数说明参数类型默认值描述xTensor[]必选输入张量列表TensorListscalarfloat必选范数阶数输出参数Shapedtype描述y每个元素为标量张量与输入 dtype 相同每个输入张量的范数结果列表数据类型输入 dtype输出 dtypefloat16float16float32float32bfloat16bfloat16规则与约束输入为 TensorList列表中每个张量独立计算范数列表中各张量的 dtype 须一致scalar支持正数、负数、0、inf 等值负阶范数要求输入元素不为零4. 精度要求采用生态算子精度标准进行验证。误差指标平均相对误差MERE采样点中相对误差平均值$$ \text{MERE} \text{avg}(\frac{\text{abs}(actual - golden)}{\text{abs}(golden)\text{1e-7}}) $$最大相对误差MARE采样点中相对误差最大值$$ \text{MARE} \max(\frac{\text{abs}(actual - golden)}{\text{abs}(golden)\text{1e-7}}) $$通过标准数据类型FLOAT16BFLOAT16FLOAT32HiFLOAT32FLOAT8 E4M3FLOAT8 E5M2通过阈值(Threshold)2^-102^-72^-132^-112^-32^-2当平均相对误差 MERE Threshold最大相对误差 MARE 10 * Threshold 时判定为通过。5. 标准 Golden 代码import torch from typing import List def foreach_norm( x: List[torch.Tensor], scalar: float ) - List[torch.Tensor]: 对输入张量列表的每个张量进行范数运算 公式y (sum |x_i|^p)^(1/p) Args: x: 输入张量列表 (TensorList) scalar: 范数阶数 Returns: 输出张量列表每个张量的范数结果 y [torch.norm(tensor, pscalar) for tensor in x] return y6. 额外信息算子调用示例import torch import cann_bench t1 torch.randn(1024, 1024, dtypetorch.float32, devicenpu) t2 torch.randn(2048, 512, dtypetorch.float32, devicenpu) y cann_bench.foreach_norm([t1, t2], scalar2.0) # L2 范数【免费下载链接】cann-bench评测AI在处理CANN领域代码任务的能力涵盖算子生成、算子优化等领域支撑模型选型、训练效果评估统一量化评估标准识别Agent能力短板构建CANN领域评测平台推动AI能力在CANN领域的持续演进。项目地址: https://gitcode.com/cann/cann-bench创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
