从FP8到MXFP4DeepSeek-R1-0528-MXFP4-v2量化全流程解析附AMD-Quark脚本【免费下载链接】DeepSeek-R1-0528-MXFP4-v2项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2DeepSeek-R1-0528-MXFP4-v2是基于DeepSeek-R1-0528模型通过AMD-Quark工具进行MXFP4量化优化的AI模型专为AMD MI350/MI355硬件架构设计可在保持高性能的同时显著降低计算资源消耗。本文将详细介绍从FP8到MXFP4的完整量化流程帮助新手用户轻松掌握模型优化技术。为什么选择MXFP4量化MXFP4Modified Floating-Point 4-bit是一种先进的量化格式相比传统的FP8量化它在以下方面具有明显优势更高的精度保留通过优化的指数和尾数分配在4位精度下实现接近FP8的性能更低的内存占用相比FP8减少50%的存储空间78个模型文件仅需原有一半的磁盘空间更快的推理速度配合AMD MI350/MI355的硬件加速吞吐量提升可达2倍更好的能效比降低显存带宽需求减少功耗适合大规模部署量化前的准备工作在开始量化前需要确保系统环境满足以下要求硬件要求AMD MI350/MI355 GPU软件环境ROCm 7.0PyTorch 2.8.0Transformers 4.53.0Linux操作系统模型准备MXFP4量化需要从BF16格式的模型开始因此需要先将原始FP8模型转换为BF16格式。有两种方法可供选择使用转换脚本手动转换python3 fp8_cast_bf16.py --input_model deepseek-ai/DeepSeek-R1-0528 --output_model ./DeepSeek-R1-0528-BF16直接使用预转换模型 可直接从amd/DeepSeek-R1-0528-BF16获取预转换的BF16模型完整MXFP4量化流程步骤1安装AMD-Quark工具AMD-Quark是专为AMD GPU优化的模型量化工具支持MXFP4格式pip install amd-quark0.10步骤2执行量化脚本使用以下命令执行MXFP4量化将BF16模型转换为MXFP4格式cd Quark/examples/torch/language_modeling/llm_ptq/ exclude_layers*lm_head model.layers.61.* python3 quantize_quark.py --model_dir $MODEL_DIR \ --quant_scheme w_mxfp4_a_mxfp4 \ --group_size 32 \ --num_calib_data 128 \ --exclude_layers $exclude_layers \ --skip_evaluation \ --multi_gpu \ --model_export hf_format \ --output_dir amd/DeepSeek-R1-0528-MXFP4-v2关键参数解析--quant_scheme w_mxfp4_a_mxfp4指定权重和激活都使用MXFP4量化--group_size 32设置量化组大小平衡精度和性能--num_calib_data 128使用128个校准数据样本--exclude_layers排除不需要量化的层如输出层--multi_gpu启用多GPU加速量化过程步骤3验证量化结果量化完成后可以通过以下方式验证模型是否正确生成ls -l amd/DeepSeek-R1-0528-MXFP4-v2应能看到生成的模型文件如model-00001-of-00078.safetensors和配置文件configuration_deepseek.py、tokenizer_config.json等。模型部署与性能评估部署选项DeepSeek-R1-0528-MXFP4-v2支持两种高效部署方式SGLang部署# 启动SGLang服务 MODEL/models/amd/DeepSeek-R1-0528-MXFP4-v2 SGLANG_AITER_MLA_PERSIST1 \ python3 -m sglang.launch_server \ --model-path $MODEL \ --tensor-parallel-size 8 \ --trust-remote-code \ --chunked-prefill-size 131072 \ --host 0.0.0.0 \ --port 8321 \ --disable-radix-cache \ --mem-fraction-static 0.8 \ --max-running-requests 64 \ --attention-backend aitervLLM部署python -m vllm.entrypoints.api_server \ --model amd/DeepSeek-R1-0528-MXFP4-v2 \ --tensor-parallel-size 8 \ --port 8000性能评估结果在AIME24和GSM8K基准测试中MXFP4量化模型表现出色基准测试DeepSeek-R1-0528-MXFP4-v2 (non MTP)DeepSeek-R1-0528-MXFP4-v2 (MTP3)AIME2480.0083.33GSM8K95.0095.30评估命令示例以GSM8K为例lm_eval --model local-completions \ --model_args model/models/amd/DeepSeek-R1-0528-MXFP4-v2,base_urlhttp://0.0.0.0:8321/v1/completions,num_concurrent256,max_retries10,max_gen_toks2048,tokenized_requestsFalse \ --tasks gsm8k \ --num_fewshot 5 \ --batch_size auto常见问题与解决方案Q1量化过程中显存不足怎么办A1可以尝试减小--num_calib_data参数值或使用--gradient_checkpointing选项减少显存占用。Q2如何进一步优化模型性能A2可调整--group_size参数建议范围16-64或尝试启用MTPModel Tensor Parallelism技术提升吞吐量。Q3量化后的模型精度下降明显怎么办A3检查是否正确排除了关键层如lm_head或尝试增加校准数据量。总结通过AMD-Quark工具将DeepSeek-R1-0528从FP8量化到MXFP4格式是一个简单高效的过程。量化后的模型在保持高性能的同时显著降低了资源需求非常适合在AMD MI350/MI355平台上大规模部署。无论是研究人员还是企业用户都可以通过本文介绍的方法轻松实现模型优化享受MXFP4量化带来的性能提升和成本节约。想要开始使用这个模型只需执行以下命令克隆仓库git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2然后按照本文的步骤进行部署和评估即可快速体验MXFP4量化技术的强大魅力 【免费下载链接】DeepSeek-R1-0528-MXFP4-v2项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
从FP8到MXFP4：DeepSeek-R1-0528-MXFP4-v2量化全流程解析（附AMD-Quark脚本）
从FP8到MXFP4DeepSeek-R1-0528-MXFP4-v2量化全流程解析附AMD-Quark脚本【免费下载链接】DeepSeek-R1-0528-MXFP4-v2项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2DeepSeek-R1-0528-MXFP4-v2是基于DeepSeek-R1-0528模型通过AMD-Quark工具进行MXFP4量化优化的AI模型专为AMD MI350/MI355硬件架构设计可在保持高性能的同时显著降低计算资源消耗。本文将详细介绍从FP8到MXFP4的完整量化流程帮助新手用户轻松掌握模型优化技术。为什么选择MXFP4量化MXFP4Modified Floating-Point 4-bit是一种先进的量化格式相比传统的FP8量化它在以下方面具有明显优势更高的精度保留通过优化的指数和尾数分配在4位精度下实现接近FP8的性能更低的内存占用相比FP8减少50%的存储空间78个模型文件仅需原有一半的磁盘空间更快的推理速度配合AMD MI350/MI355的硬件加速吞吐量提升可达2倍更好的能效比降低显存带宽需求减少功耗适合大规模部署量化前的准备工作在开始量化前需要确保系统环境满足以下要求硬件要求AMD MI350/MI355 GPU软件环境ROCm 7.0PyTorch 2.8.0Transformers 4.53.0Linux操作系统模型准备MXFP4量化需要从BF16格式的模型开始因此需要先将原始FP8模型转换为BF16格式。有两种方法可供选择使用转换脚本手动转换python3 fp8_cast_bf16.py --input_model deepseek-ai/DeepSeek-R1-0528 --output_model ./DeepSeek-R1-0528-BF16直接使用预转换模型 可直接从amd/DeepSeek-R1-0528-BF16获取预转换的BF16模型完整MXFP4量化流程步骤1安装AMD-Quark工具AMD-Quark是专为AMD GPU优化的模型量化工具支持MXFP4格式pip install amd-quark0.10步骤2执行量化脚本使用以下命令执行MXFP4量化将BF16模型转换为MXFP4格式cd Quark/examples/torch/language_modeling/llm_ptq/ exclude_layers*lm_head model.layers.61.* python3 quantize_quark.py --model_dir $MODEL_DIR \ --quant_scheme w_mxfp4_a_mxfp4 \ --group_size 32 \ --num_calib_data 128 \ --exclude_layers $exclude_layers \ --skip_evaluation \ --multi_gpu \ --model_export hf_format \ --output_dir amd/DeepSeek-R1-0528-MXFP4-v2关键参数解析--quant_scheme w_mxfp4_a_mxfp4指定权重和激活都使用MXFP4量化--group_size 32设置量化组大小平衡精度和性能--num_calib_data 128使用128个校准数据样本--exclude_layers排除不需要量化的层如输出层--multi_gpu启用多GPU加速量化过程步骤3验证量化结果量化完成后可以通过以下方式验证模型是否正确生成ls -l amd/DeepSeek-R1-0528-MXFP4-v2应能看到生成的模型文件如model-00001-of-00078.safetensors和配置文件configuration_deepseek.py、tokenizer_config.json等。模型部署与性能评估部署选项DeepSeek-R1-0528-MXFP4-v2支持两种高效部署方式SGLang部署# 启动SGLang服务 MODEL/models/amd/DeepSeek-R1-0528-MXFP4-v2 SGLANG_AITER_MLA_PERSIST1 \ python3 -m sglang.launch_server \ --model-path $MODEL \ --tensor-parallel-size 8 \ --trust-remote-code \ --chunked-prefill-size 131072 \ --host 0.0.0.0 \ --port 8321 \ --disable-radix-cache \ --mem-fraction-static 0.8 \ --max-running-requests 64 \ --attention-backend aitervLLM部署python -m vllm.entrypoints.api_server \ --model amd/DeepSeek-R1-0528-MXFP4-v2 \ --tensor-parallel-size 8 \ --port 8000性能评估结果在AIME24和GSM8K基准测试中MXFP4量化模型表现出色基准测试DeepSeek-R1-0528-MXFP4-v2 (non MTP)DeepSeek-R1-0528-MXFP4-v2 (MTP3)AIME2480.0083.33GSM8K95.0095.30评估命令示例以GSM8K为例lm_eval --model local-completions \ --model_args model/models/amd/DeepSeek-R1-0528-MXFP4-v2,base_urlhttp://0.0.0.0:8321/v1/completions,num_concurrent256,max_retries10,max_gen_toks2048,tokenized_requestsFalse \ --tasks gsm8k \ --num_fewshot 5 \ --batch_size auto常见问题与解决方案Q1量化过程中显存不足怎么办A1可以尝试减小--num_calib_data参数值或使用--gradient_checkpointing选项减少显存占用。Q2如何进一步优化模型性能A2可调整--group_size参数建议范围16-64或尝试启用MTPModel Tensor Parallelism技术提升吞吐量。Q3量化后的模型精度下降明显怎么办A3检查是否正确排除了关键层如lm_head或尝试增加校准数据量。总结通过AMD-Quark工具将DeepSeek-R1-0528从FP8量化到MXFP4格式是一个简单高效的过程。量化后的模型在保持高性能的同时显著降低了资源需求非常适合在AMD MI350/MI355平台上大规模部署。无论是研究人员还是企业用户都可以通过本文介绍的方法轻松实现模型优化享受MXFP4量化带来的性能提升和成本节约。想要开始使用这个模型只需执行以下命令克隆仓库git clone https://gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2然后按照本文的步骤进行部署和评估即可快速体验MXFP4量化技术的强大魅力 【免费下载链接】DeepSeek-R1-0528-MXFP4-v2项目地址: https://ai.gitcode.com/hf_mirrors/amd/DeepSeek-R1-0528-MXFP4-v2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
