cann/catlass Ascend950全解量化矩阵乘

57_ascend950_matmul_full_dequant Example Readme【免费下载链接】catlass本项目是CANN的算子模板库提供NPU上高性能矩阵乘及其相关融合类算子模板样例。项目地址: https://gitcode.com/cann/catlass代码组织├── 57_ascend950_matmul_full_dequant │ ├── CMakeLists.txt # CMake编译文件 │ ├── README.md │ └── matmul_full_dequant.cpp # 主文件支持的量化模式X1的量化模式X2的量化模式带有Biasper_tokenper_tensorFalseper_tokenper_channelFalseper_tensorper_channelFalsedefaultper_channelFalseper_tokenper_tensorTrueper_tokenper_channelTruedefaultper_tensorTruedefaultper_channelTruedefault模式不采用任何量化模式使用示例获取代码之后编译相应的算子可执行文件可参考quickstart本用例为Ascend 950算子编译时需加-DCATLASS_ARCH3510执行算子# 编译指定用例 bash scripts/build.sh 57_ascend950_matmul_full_dequant -DCATLASS_ARCH3510 # 生成测试样例 # cd examples/57_ascend950_matmul_full_dequant # python3 scripts/gen_data.py --shape 64 64 64 --x1_quant_mode per_token --x2_quant_mode per_channel # cd ../../output/bin # cp -r ../../examples/57_ascend950_matmul_full_dequant/input/ . # cp -r ../../examples/57_ascend950_matmul_full_dequant/output/ . # 可执行文件名 |矩阵m轴|n轴|k轴|x1QuantMode|x2QuantMode|isBias # isBias可选默认为false ./57_ascend950_matmul_full_dequant 64 64 64 per_token per_channel执行结果如下说明精度比对成功。Compare success.【免费下载链接】catlass本项目是CANN的算子模板库提供NPU上高性能矩阵乘及其相关融合类算子模板样例。项目地址: https://gitcode.com/cann/catlass创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考