CANN/asc-devkit随路量化

随路量化【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit随路量化是矩阵计算结果从L0C Buffer搬出到Global Memory或Unified Buffer过程中的数据转换能力。L0C Buffer到Global Memory/Unified Buffer搬运根据是否传入quant参数自动选择不量化、直接cast、scalar量化或tensor量化模式。调用形式不传入quant参数时接口根据源类型和目的类型选择不量化输出或直接cast输出auto atom MakeCopy(CopyL0C2GM{}).with(fixpipeParams); Copy(atom, dst, src);传入uint64_t类型的quant参数时表示scalar量化。整个C矩阵共用同一个量化参数uint64_t quant 1; auto atom MakeCopy(CopyL0C2GM{}).with(fixpipeParams); Copy(atom, dst, src, quant);传入Tensor API张量作为quant参数时表示tensor量化。量化参数通常位于L1 Buffer元素类型为uint64_t每个channel维度对应一个量化参数auto quant MakeTensor(MakeMemPtr(quantAddr), MakeFrameLayoutNDExtLayoutPtn(1, n)); auto atom MakeCopy(CopyL0C2GM{}).with(fixpipeParams); Copy(atom, dst, src, quant);量化参数scalar量化参数和tensor量化参数的元素类型均为uint64_t。约束说明tensor量化参数张量应位于L1 Buffer元素类型为uint64_t地址要求32字节对齐。量化参数不能为inf、nan或非规格化数。该约束属于硬件约束接口不单独检查参数值。RoundMode::HYBRID仅在源类型为float、目的类型为hifloat8_t的量化输出场景支持。不传入quant时仅支持不量化输出或float到half/bfloat16_t的直接cast输出。【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考