Kernel 路由Epilogue 后处理模式【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills占位文件。本文档将系统性地描述 catlass Epilogue 的各种组合模式和自定义方法。Epilogue 概述BlockEpilogue 在 BlockMmad 计算完成后对输出矩阵做逐元素后处理。catlass 提供了多种 EpilogueDispatchPolicy每种对应固定的 Tile 槽序列。常见 EpilogueDispatchPolicyPolicy所在头文件槽数典型用途EpilogueAtlasA2ElemWiseNoSourceblock_epilogue_elemwise_no_source.hpp1纯激活GELU/SILU/RELUEpilogueAtlasA2ElemWiseOneSourceblock_epilogue_elemwise_one_source.hpp2Bias 激活EpilogueAtlasA2PerTokenDequantblock_epilogue_per_token_dequant.hpp5Per-token 反量化EpilogueAtlasA2ElemWiseOneSrcFixpipe......950 芯片 Epilogue现有 Epilogue 组件catlass 内置 TileTile 名功能使用场景TileElemWiseGeluGELU 激活Matmul GELUTileElemWiseSiluSILU 激活Matmul SILUTileElemWiseReluRELU 激活Matmul RELUTileElemWiseClamp数值裁剪输出范围控制TileCopy数据搬运Bias 搬运 / 格式转换EpilogueTileSwizzleSwizzle 写回输出重排自定义 Tile粒度 A流程打开目标 EpilogueDispatchPolicy 的特化头文件确认目标槽位的接口签名模板形参集合、operator()入参、必要 typedef编写自定义 Tile 头文件严格对齐签名在 catlass 拼装头中用自定义 Tile 替换原槽位的 Tile详见references/custom-epilogue.md。完整的后处理模式清单和组合指南待后续补充。【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
CANNBot Epilogue后处理模式
Kernel 路由Epilogue 后处理模式【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills占位文件。本文档将系统性地描述 catlass Epilogue 的各种组合模式和自定义方法。Epilogue 概述BlockEpilogue 在 BlockMmad 计算完成后对输出矩阵做逐元素后处理。catlass 提供了多种 EpilogueDispatchPolicy每种对应固定的 Tile 槽序列。常见 EpilogueDispatchPolicyPolicy所在头文件槽数典型用途EpilogueAtlasA2ElemWiseNoSourceblock_epilogue_elemwise_no_source.hpp1纯激活GELU/SILU/RELUEpilogueAtlasA2ElemWiseOneSourceblock_epilogue_elemwise_one_source.hpp2Bias 激活EpilogueAtlasA2PerTokenDequantblock_epilogue_per_token_dequant.hpp5Per-token 反量化EpilogueAtlasA2ElemWiseOneSrcFixpipe......950 芯片 Epilogue现有 Epilogue 组件catlass 内置 TileTile 名功能使用场景TileElemWiseGeluGELU 激活Matmul GELUTileElemWiseSiluSILU 激活Matmul SILUTileElemWiseReluRELU 激活Matmul RELUTileElemWiseClamp数值裁剪输出范围控制TileCopy数据搬运Bias 搬运 / 格式转换EpilogueTileSwizzleSwizzle 写回输出重排自定义 Tile粒度 A流程打开目标 EpilogueDispatchPolicy 的特化头文件确认目标槽位的接口签名模板形参集合、operator()入参、必要 typedef编写自定义 Tile 头文件严格对齐签名在 catlass 拼装头中用自定义 Tile 替换原槽位的 Tile详见references/custom-epilogue.md。完整的后处理模式清单和组合指南待后续补充。【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考