GMToL1随路转换-ND2NZ搬运DataCopy【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品AI Core支持Atlas 推理系列产品Vector Core不支持Atlas 训练系列产品不支持Kirin X90支持Kirin 9030支持功能说明头文件路径为basic_api/kernel_operator_data_copy_intf.h。该接口主要实现将矩阵从Global Memory搬运至L1 BufferTPosition为A1/B1并支持在数据搬运时进行ND到NZ格式的转换。ND到NZ的格式转换等价于DN到ZN的格式转换如图1。图1ND2NZ与DN2ZN示意图函数原型template typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const Nd2NzParams intriParams)特别针对Ascend 950PR/Ascend 950DT函数原型请参考如下template typename T, bool enableSmallC0 false __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const Nd2NzParams intriParams)参数说明表1模板参数说明参数名描述T源操作数或者目的操作数的数据类型。支持的数据类型请参考数据类型。enableSmallC0SmallC0模式开关当dValue小于等于4的时候C0_SIZE会补齐到4 * sizeof(T)字节。默认不开启。不同的型号enableSmallC0支持度不同请参考enableSmallC0参数支持度说明。enableSmallC0参数支持度说明针对Ascend 950PR/Ascend 950DT新增enableSmallC0参数调用该接口必须配置参数enableSmallC0其他型号不支持该参数。表2参数说明参数名称输入/输出含义dst输出目的操作数类型为LocalTensor存储位置为L1 BufferTPosition为A1/B1目的地址需要32字节对齐。src输入源操作数类型为GlobalTensor存储位置为Global Memory源地址需要1字节对齐。intriParams输入ND2NZ搬运参数类型为Nd2NzParams。Nd2NzParams参数说明请参考表4。表3Nd2NzParams结构体参数定义参数名称含义ndNum源矩阵中ND矩阵的数量取值范围ndNum∈[0, 4095]。注ndNum 0表示不执行搬运该接口将被视为NOP空操作。nValue源矩阵中ND矩阵的行数取值范围nValue∈[0, 16384]。注nValue 0表示不执行搬运该接口将被视为NOP空操作。dValue源矩阵中ND矩阵的列数取值范围dValue∈[0, 65535]。当dValue * sizeof(T)不满足32字节对齐时在目的矩阵中会补0对齐到32字节。注dValue 0表示不执行搬运该接口将被视为NOP空操作。srcNdMatrixStride源矩阵相邻ND矩阵起始地址间的偏移取值范围srcNdMatrixStride∈[0, 65535]单位元素个数。• ndNum 1时srcNdMatrixStride无意义设置为0即可。• ndNum ≠ 1时当srcNdMatrixStride 0时表示重复搬出源矩阵的第一个ND矩阵。srcDValue源矩阵一行中包含的元素个数取值范围srcDValue∈[1, 65535]单位元素个数。dstNzC0StrideND转换为NZ格式后目的NZ矩阵中相邻Z矩阵起始地址的偏移取值范围dstNzC0Stride∈[1, 16384]单位C0_SIZE32字节。dstNzNStride目的矩阵中NZ矩阵中相邻行起始地址的偏移取值范围dstNzNStride∈[1, 16384]单位C0_SIZE32字节。dstNzMatrixStride目的矩阵中相邻NZ矩阵起始地址的偏移取值范围dstNzMatrixStride∈[0, 16384]单位元素个数。• ndNum 1时dstNzMatrixStride无意义设置为0即可。• ndNum ≠ 1时当dstNzMatrixStride 0时表示目的矩阵中搬入的每个NZ矩阵都会覆盖第一个NZ矩阵。数据类型源矩阵和目的矩阵支持的数据类型保持一致。针对Ascend 950PR/Ascend 950DT支持的数据类型为bool、int8_t、uint8_t、fp4x2_e2m1_t、fp4x2_e1m2_t、hifloat8_t、fp8_e5m2_t、fp8_e4m3fn_t、fp8_e8m0_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、complex32。针对Atlas A3 训练系列产品/Atlas A3 推理系列产品支持数据类型为b4int4b_t、int8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、half、bfloat16_t、float。针对Atlas A2 训练系列产品/Atlas A2 推理系列产品支持数据类型为b4int4b_t、int8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、half、bfloat16_t、float。针对Atlas 推理系列产品AI Core支持数据类型为int16_t、uint16_t、int32_t、uint32_t、half、float。Kirin X90支持数据类型为int8_t、uint8_t、int16_t、uint16_t、half。Kirin 9030支持数据类型为int8_t、uint8_t、int16_t、uint16_t、half。返回值说明无约束说明当输入数据类型是b4时ND2NZ过程中数据是基于b8类型进行处理因此参数需要根据b8类型进行设置。位于Global Memory的源地址必须1字节对齐位于L1 Buffer的目的地址必须32字节对齐。当Nd2NzParams结构体参数ndNum、nValue、dValue任意一个值为0时该指令不会执行该接口将被视为NOP空操作。搬运至L1 Buffer的数据不能重叠如果存在重叠写入硬件不会产生任何警告或错误并且不保证重叠数据的写入顺序。Nd2NzParams结构体参数的值需在取值范围内表4Nd2NzParams结构体参数取值范围参数名称取值范围ndNum[0, 4095]nValue[0, 16384]dValue[0, 65535]srcNdMatrixStride[0, 65535]srcDValue[1, 65535]dstNzC0Stride[1, 16384]dstNzNStride[1, 16384]dstNzMatrixStride[0, 16384]针对Atlas 推理系列产品AI Core使用Global Memory - Local Memory通路的ND2NZ搬运接口时需要预留8K的UB空间作为接口的临时数据存放区。关键特性说明连续搬运以half数据类型为例图2为ND2NZ连续搬运示意图。Nd2NzParams结构体参数配置说明如下ndNum 1表示搬运的ND矩阵的数量为1。nValue 16一个ND矩阵的行数。dValue 23一个ND矩阵的列数。当dValue * sizeof(T)不满足32字节对齐时在目的矩阵中会补0对齐到32字节。srcNdMatrixStride 0只有一个ND矩阵该值为0。srcDValue 32表示源矩阵一行所含元素个数即32个half数据类型的元素。dstNzC0Stride 16NZ矩阵中相邻Z矩阵起始地址的偏移偏移为16个C0_SIZE。dstNzNStride 1表示NZ矩阵中相邻行起始地址的偏移。dstNzMatrixStride 0只有一个NZ矩阵该值为0。图2ND2NZ转换示意图连续搬运非连续搬运以half数据类型为例图3为ND2NZ非连续搬运示意图。Nd2NzParams结构体参数配置说明如下ndNum 2表示搬运的ND矩阵的数量为2。nValue 8一个ND矩阵的行数。dValue 23一个ND矩阵的列数。当dValue * sizeof(T)不满足32字节对齐时在目的矩阵中会补0对齐到32字节。srcNdMatrixStride 384表示相邻ND矩阵起始地址的偏移每行32个元素共12行偏移为32 * 12 384个元素。srcDValue 32表示源矩阵一行所含元素个数即32个half数据类型的元素。dstNzC0Stride 37NZ矩阵中相邻Z矩阵起始地址的偏移偏移为37个C0_SIZE。dstNzNStride 2表示NZ矩阵中相邻行起始地址的偏移。dstNzMatrixStride 320相邻NZ矩阵起始地址的偏移每行16个元素共20行偏移为16 * 20 320个元素。图3ND2NZ转换示意图非连续搬运SmallC0模式enableSmallC0开启模式下的ND2NZ转换示意图如下图4enableSmallC0开启模式下的ND2NZ转换示意图half数据类型调用示例如下示例中在A矩阵不转置数据类型为half的场景下使用DataCopy进行随路ND2NZ数据搬运。搬运过程的数据排布变化示意图如下示例代码片段如下仅展示样例中的部分代码完整示例请参考DataCopy_GM2L1样例。// m40,k56,fractalShape[0] 16,fractalShape[1] 16,fractalSize 16 * fractalShape[1] AscendC::Nd2NzParams nd2nzA1Params; // 传输ND矩阵的数目 nd2nzA1Params.ndNum 1; // ND矩阵的行数 nd2nzA1Params.nValue m; // ND矩阵的列数 nd2nzA1Params.dValue k; // 只传输了1个ND矩阵该参数无效 nd2nzA1Params.srcNdMatrixStride 0; // 源矩阵一行中包含的元素个数 nd2nzA1Params.srcDValue k; // 以下这个参数取A矩阵在L1 Buffer上高度方向的对齐后的长度 nd2nzA1Params.dstNzC0Stride CeilAlign(m, fractalShape[0]); nd2nzA1Params.dstNzNStride 1; nd2nzA1Params.dstNzMatrixStride 0; AscendC::DataCopy(a1Local, aGM, nd2nzA1Params);【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
CANN/Ascend C ND2NZ数据搬运
GMToL1随路转换-ND2NZ搬运DataCopy【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品支持Atlas A2 训练系列产品/Atlas A2 推理系列产品支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品AI Core支持Atlas 推理系列产品Vector Core不支持Atlas 训练系列产品不支持Kirin X90支持Kirin 9030支持功能说明头文件路径为basic_api/kernel_operator_data_copy_intf.h。该接口主要实现将矩阵从Global Memory搬运至L1 BufferTPosition为A1/B1并支持在数据搬运时进行ND到NZ格式的转换。ND到NZ的格式转换等价于DN到ZN的格式转换如图1。图1ND2NZ与DN2ZN示意图函数原型template typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const Nd2NzParams intriParams)特别针对Ascend 950PR/Ascend 950DT函数原型请参考如下template typename T, bool enableSmallC0 false __aicore__ inline void DataCopy(const LocalTensorT dst, const GlobalTensorT src, const Nd2NzParams intriParams)参数说明表1模板参数说明参数名描述T源操作数或者目的操作数的数据类型。支持的数据类型请参考数据类型。enableSmallC0SmallC0模式开关当dValue小于等于4的时候C0_SIZE会补齐到4 * sizeof(T)字节。默认不开启。不同的型号enableSmallC0支持度不同请参考enableSmallC0参数支持度说明。enableSmallC0参数支持度说明针对Ascend 950PR/Ascend 950DT新增enableSmallC0参数调用该接口必须配置参数enableSmallC0其他型号不支持该参数。表2参数说明参数名称输入/输出含义dst输出目的操作数类型为LocalTensor存储位置为L1 BufferTPosition为A1/B1目的地址需要32字节对齐。src输入源操作数类型为GlobalTensor存储位置为Global Memory源地址需要1字节对齐。intriParams输入ND2NZ搬运参数类型为Nd2NzParams。Nd2NzParams参数说明请参考表4。表3Nd2NzParams结构体参数定义参数名称含义ndNum源矩阵中ND矩阵的数量取值范围ndNum∈[0, 4095]。注ndNum 0表示不执行搬运该接口将被视为NOP空操作。nValue源矩阵中ND矩阵的行数取值范围nValue∈[0, 16384]。注nValue 0表示不执行搬运该接口将被视为NOP空操作。dValue源矩阵中ND矩阵的列数取值范围dValue∈[0, 65535]。当dValue * sizeof(T)不满足32字节对齐时在目的矩阵中会补0对齐到32字节。注dValue 0表示不执行搬运该接口将被视为NOP空操作。srcNdMatrixStride源矩阵相邻ND矩阵起始地址间的偏移取值范围srcNdMatrixStride∈[0, 65535]单位元素个数。• ndNum 1时srcNdMatrixStride无意义设置为0即可。• ndNum ≠ 1时当srcNdMatrixStride 0时表示重复搬出源矩阵的第一个ND矩阵。srcDValue源矩阵一行中包含的元素个数取值范围srcDValue∈[1, 65535]单位元素个数。dstNzC0StrideND转换为NZ格式后目的NZ矩阵中相邻Z矩阵起始地址的偏移取值范围dstNzC0Stride∈[1, 16384]单位C0_SIZE32字节。dstNzNStride目的矩阵中NZ矩阵中相邻行起始地址的偏移取值范围dstNzNStride∈[1, 16384]单位C0_SIZE32字节。dstNzMatrixStride目的矩阵中相邻NZ矩阵起始地址的偏移取值范围dstNzMatrixStride∈[0, 16384]单位元素个数。• ndNum 1时dstNzMatrixStride无意义设置为0即可。• ndNum ≠ 1时当dstNzMatrixStride 0时表示目的矩阵中搬入的每个NZ矩阵都会覆盖第一个NZ矩阵。数据类型源矩阵和目的矩阵支持的数据类型保持一致。针对Ascend 950PR/Ascend 950DT支持的数据类型为bool、int8_t、uint8_t、fp4x2_e2m1_t、fp4x2_e1m2_t、hifloat8_t、fp8_e5m2_t、fp8_e4m3fn_t、fp8_e8m0_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、complex32。针对Atlas A3 训练系列产品/Atlas A3 推理系列产品支持数据类型为b4int4b_t、int8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、half、bfloat16_t、float。针对Atlas A2 训练系列产品/Atlas A2 推理系列产品支持数据类型为b4int4b_t、int8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、half、bfloat16_t、float。针对Atlas 推理系列产品AI Core支持数据类型为int16_t、uint16_t、int32_t、uint32_t、half、float。Kirin X90支持数据类型为int8_t、uint8_t、int16_t、uint16_t、half。Kirin 9030支持数据类型为int8_t、uint8_t、int16_t、uint16_t、half。返回值说明无约束说明当输入数据类型是b4时ND2NZ过程中数据是基于b8类型进行处理因此参数需要根据b8类型进行设置。位于Global Memory的源地址必须1字节对齐位于L1 Buffer的目的地址必须32字节对齐。当Nd2NzParams结构体参数ndNum、nValue、dValue任意一个值为0时该指令不会执行该接口将被视为NOP空操作。搬运至L1 Buffer的数据不能重叠如果存在重叠写入硬件不会产生任何警告或错误并且不保证重叠数据的写入顺序。Nd2NzParams结构体参数的值需在取值范围内表4Nd2NzParams结构体参数取值范围参数名称取值范围ndNum[0, 4095]nValue[0, 16384]dValue[0, 65535]srcNdMatrixStride[0, 65535]srcDValue[1, 65535]dstNzC0Stride[1, 16384]dstNzNStride[1, 16384]dstNzMatrixStride[0, 16384]针对Atlas 推理系列产品AI Core使用Global Memory - Local Memory通路的ND2NZ搬运接口时需要预留8K的UB空间作为接口的临时数据存放区。关键特性说明连续搬运以half数据类型为例图2为ND2NZ连续搬运示意图。Nd2NzParams结构体参数配置说明如下ndNum 1表示搬运的ND矩阵的数量为1。nValue 16一个ND矩阵的行数。dValue 23一个ND矩阵的列数。当dValue * sizeof(T)不满足32字节对齐时在目的矩阵中会补0对齐到32字节。srcNdMatrixStride 0只有一个ND矩阵该值为0。srcDValue 32表示源矩阵一行所含元素个数即32个half数据类型的元素。dstNzC0Stride 16NZ矩阵中相邻Z矩阵起始地址的偏移偏移为16个C0_SIZE。dstNzNStride 1表示NZ矩阵中相邻行起始地址的偏移。dstNzMatrixStride 0只有一个NZ矩阵该值为0。图2ND2NZ转换示意图连续搬运非连续搬运以half数据类型为例图3为ND2NZ非连续搬运示意图。Nd2NzParams结构体参数配置说明如下ndNum 2表示搬运的ND矩阵的数量为2。nValue 8一个ND矩阵的行数。dValue 23一个ND矩阵的列数。当dValue * sizeof(T)不满足32字节对齐时在目的矩阵中会补0对齐到32字节。srcNdMatrixStride 384表示相邻ND矩阵起始地址的偏移每行32个元素共12行偏移为32 * 12 384个元素。srcDValue 32表示源矩阵一行所含元素个数即32个half数据类型的元素。dstNzC0Stride 37NZ矩阵中相邻Z矩阵起始地址的偏移偏移为37个C0_SIZE。dstNzNStride 2表示NZ矩阵中相邻行起始地址的偏移。dstNzMatrixStride 320相邻NZ矩阵起始地址的偏移每行16个元素共20行偏移为16 * 20 320个元素。图3ND2NZ转换示意图非连续搬运SmallC0模式enableSmallC0开启模式下的ND2NZ转换示意图如下图4enableSmallC0开启模式下的ND2NZ转换示意图half数据类型调用示例如下示例中在A矩阵不转置数据类型为half的场景下使用DataCopy进行随路ND2NZ数据搬运。搬运过程的数据排布变化示意图如下示例代码片段如下仅展示样例中的部分代码完整示例请参考DataCopy_GM2L1样例。// m40,k56,fractalShape[0] 16,fractalShape[1] 16,fractalSize 16 * fractalShape[1] AscendC::Nd2NzParams nd2nzA1Params; // 传输ND矩阵的数目 nd2nzA1Params.ndNum 1; // ND矩阵的行数 nd2nzA1Params.nValue m; // ND矩阵的列数 nd2nzA1Params.dValue k; // 只传输了1个ND矩阵该参数无效 nd2nzA1Params.srcNdMatrixStride 0; // 源矩阵一行中包含的元素个数 nd2nzA1Params.srcDValue k; // 以下这个参数取A矩阵在L1 Buffer上高度方向的对齐后的长度 nd2nzA1Params.dstNzC0Stride CeilAlign(m, fractalShape[0]); nd2nzA1Params.dstNzNStride 1; nd2nzA1Params.dstNzMatrixStride 0; AscendC::DataCopy(a1Local, aGM, nd2nzA1Params);【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
