明日直播丨HiF8高效数据格式及其应用

HiFloat8为大模型训推走出精度与性能的“既要又要”之路随着深度学习模型规模的不断增大模型的训练和推理对计算效率、显存占用和能耗的要求也越来越高。低比特8bit整型/8bit浮点数据格式应运而生。其核心思想是使用更少的比特位来表示计算密集且对精度敏感度较低的模块如模型参数权重和中间计算结果激活值等。HiFloat8HiF8 是一种新型的 8 位浮点格式。它创新地提出点位域Dot设计实现即时可译变长前缀码编码。这样的设计使得格式本身实现动态范围和精度平衡摆脱了传统低比特数据格式对复杂细粒度缩放的依赖实现更高效的模型训练和推理。本次直播将聚焦HiFloat8数据类型的技术细节、CANN软件栈支持新格式的算子和工具及其在训推模型的亮眼表现 帮助大家了解如何发挥HiF8数据格式特点走出“既要”精度“又要”性能的模型训推之路。直播安排干货满满层层递进从理论到实践带你“尝鲜”HiF8。加入我们共赴未来通过本次直播我们希望你能够了解HiF8通过单数据格式巧妙实现精度与性能兼得的设计原理掌握在模型HiF8训练中如何通过用好Delayed Scaling机制在实现训练稳定性的同时获取加速收益了解HiF8如何摆脱对复杂细粒度缩放的依赖实现了更高效的推理以及加入CANN开源社区与行业专家、资深开发者交流经验、共促生态繁荣 总之HiF8通过科学巧妙的设计成功在8-bit位宽限制下为神经网络训练和推理提供了能力更全面的8位浮点单数据格式表达。华为下一代昇腾处理器原生支持HiF8数据格式将这种优势切实转换为神经网络训推的E2E性能和精度。HiF8量化算法已在CANN社区开源https://gitcode.com/cann/amct更多训推recipe和模型也将陆续开源。欢迎学术界与产业界共同探索HiF8数据格式的优势场景共同打造技术与模型生态。B站直播预约链接点击预约​