CANN鸿蒙推理实践库

cann-recipes-harmony-infer【免费下载链接】cann-recipes-harmony-infer本项目为鸿蒙开发者提供基于CANN平台的业务实践案例方便开发者参考实现端云能力迁移及端侧推理部署。项目地址: https://gitcode.com/cann/cann-recipes-harmony-inferLatest News[2025/12] cann-recipes-harmony-infer项目首次上线。包含Ascend C自定义算子在支付宝端侧大模型、QQ音乐声伴分离、智谱GLM-Edge-1.5b-Chat、悟空图像本地闪绘等项目中的实践。概述cann-recipes-harmony-infer 是面向鸿蒙开发者的技术实践库基于CANN 平台提供典型业务实践案例包括Ascend C 自定义算子开发实践助力开发者高效实现端云协同迁移、经验复用与端侧推理部署。✨样例列表实践简介QuantMatmul在支付宝端侧大模型实践基于Ascend C实现QuantMatmul自定义量化算子在Kirin9030设备上高性能部署。BandNorm在QQ音乐声伴分离实践实现QQ音乐声伴分离业务模型中的BandNorm等算子在鸿蒙设备上的高性能推理部署。RmsNorm在智谱GLM-Edge-1.5b-Chat大模型实践基于Ascend C实现RmsNorm算子在KirinX90设备上高性能部署。SliceGelu在悟空图像SDXL大模型实践基于Ascend C实现SliceGelu融合算子在KirinX90设备上高性能部署。SobelCustom在边缘检测CV处理实践基于Ascend C实现Sobel自定义算子在KirinX90设备上高性能部署。目录结构说明├── docs # 文档目录 ├── harmony_infer # 鸿蒙设备执行 | ├── harmony_os_next # 鸿蒙next应用工程 | ├── README.md ├── ops # 算子目录 | ├── ascendc | | ├── AddKernelInvocation # 算子Kernel执行样例 | | ├── docs # 自定义算子文档目录 | | | ├── custom-xxx.md # xxx自定义算子文档 | | | ├── ... | | ├── src # 自定义算子实现目录 | | | ├── xxx_custom # xxx自定义算子实现 | | | ├── ... └── CONTRIBUTION.md # 本仓贡献指南 └── README.md # 本仓公共README └── ...相关信息贡献指南许可证cann-recipes-harmony-infer仓涉及的模型如模型目录下存在License的以该License为准。如模型目录下不存在License的遵循Apache 2.0许可证对应协议文本可查阅LICENSE免责声明【免费下载链接】cann-recipes-harmony-infer本项目为鸿蒙开发者提供基于CANN平台的业务实践案例方便开发者参考实现端云能力迁移及端侧推理部署。项目地址: https://gitcode.com/cann/cann-recipes-harmony-infer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考