NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16震撼发布2倍吞吐量与1M长上下文的革命性AI模型【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16是一款由NVIDIA开发的部署优化型大型语言模型基于Nemotron-3-Super-120B-A12B衍生而来。该模型采用Iterative Puzzle后训练压缩框架在保持强大下游任务准确性的同时显著提升了交互式、推理密集型和长上下文工作负载的推理效率为AI应用带来了革命性的突破。 核心突破效率与性能的完美平衡Puzzle-75B-A9B采用混合MoE架构交错部署Mamba、MoE和Attention层支持Multi-Token Prediction (MTP)加速文本生成。与父模型相比参数规模从120.7B总参数/12.8B活跃参数优化至75.3B总参数/9.3B活跃参数实现了2倍服务器吞吐量的飞跃同时将1M token单H100并发请求从1提升至8完美解决了大模型部署中的效率瓶颈。 性能对比压缩不减质的技术奇迹基准测试Puzzle-75B-A9BNemotron-3-SuperMMLU-Pro综合知识82.483.8GPQA推理能力78.680.5LiveCodeBench代码能力81.182.1RULER 1M长上下文92.293.9SWE-Bench软件开发56.959.5数据来源NVIDIA官方技术报告️ 创新架构异构混合设计的工程典范Puzzle-75B-A9B的核心优势源于其创新的压缩优化技术通过三个维度实现效率跃升异构MoE通道剪枝将专家中间维度从2688动态调整为1280-2688在敏感层保留更多容量异构活跃专家减少每token激活专家数从22降至4-18降低计算负载Mamba SSM状态剪枝状态大小从128通道减至96减少缓存I/O提升解码效率模型配置文件configuration_nemotron_h_puzzle.py中详细定义了这些架构创新通过block_configs实现不同层的异构配置兼顾效率与性能。 实用部署指南快速上手体验环境准备git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16 cd NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16 pip install -r requirements.txt使用vLLM快速部署推荐vllm serve . \ --served-model-name nemotron-puzzle-75b \ --port 8000 \ --tensor-parallel-size 4 \ --enable-expert-parallel \ --async-scheduling \ --trust-remote-code \ --mamba-backend flashinfer \ --speculative-config {method:mtp,num_speculative_tokens:3} \ --gpu-memory-utilization 0.85Python API调用示例from openai import OpenAI client OpenAI(base_urlhttp://localhost:8000/v1, api_keyEMPTY) response client.chat.completions.create( modelnemotron-puzzle-75b, messages[{role: user, content: 解释什么是混合MoE架构}], max_tokens1024, temperature0.7, extra_body{chat_template_kwargs: {enable_thinking: True}} ) print(response.choices[0].message.content) 多语言支持与应用场景Puzzle-75B-A9B支持英语、法语、德语、意大利语、日语、西班牙语和中文等多语言处理适用于AI Agent系统通过modeling_nemotron_h_puzzle.py中的工具调用能力构建智能助手长文档处理1M token上下文轻松应对书籍、代码库等超长文本企业级RAG系统结合chat_template.jinja自定义对话模板复杂推理任务数学问题、逻辑推理、代码生成等场景表现优异 许可与合规该模型采用OpenMDW-1.1许可协议允许商业使用。详细许可条款参见LICENSE文件。NVIDIA建议开发者在部署前进行充分的安全测试遵循安全指南和隐私说明中的最佳实践。 进一步学习资源技术报告Nemotron-Labs-3-Puzzle-75B-A9B: Compressing Hybrid MoE LLMs基础模型NVIDIA-Nemotron-3-Super-120B-A12B-BF16评估工具Nemo Evaluator SDKPuzzle-75B-A9B的发布标志着大语言模型在效率与性能平衡上的重要突破为企业级AI应用提供了强大而经济的解决方案。无论是构建智能客服、开发代码助手还是处理海量文档这款模型都将成为开发者的得力工具。立即体验开启高效AI应用开发之旅【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16震撼发布：2倍吞吐量与1M长上下文的革命性AI模型
NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16震撼发布2倍吞吐量与1M长上下文的革命性AI模型【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16是一款由NVIDIA开发的部署优化型大型语言模型基于Nemotron-3-Super-120B-A12B衍生而来。该模型采用Iterative Puzzle后训练压缩框架在保持强大下游任务准确性的同时显著提升了交互式、推理密集型和长上下文工作负载的推理效率为AI应用带来了革命性的突破。 核心突破效率与性能的完美平衡Puzzle-75B-A9B采用混合MoE架构交错部署Mamba、MoE和Attention层支持Multi-Token Prediction (MTP)加速文本生成。与父模型相比参数规模从120.7B总参数/12.8B活跃参数优化至75.3B总参数/9.3B活跃参数实现了2倍服务器吞吐量的飞跃同时将1M token单H100并发请求从1提升至8完美解决了大模型部署中的效率瓶颈。 性能对比压缩不减质的技术奇迹基准测试Puzzle-75B-A9BNemotron-3-SuperMMLU-Pro综合知识82.483.8GPQA推理能力78.680.5LiveCodeBench代码能力81.182.1RULER 1M长上下文92.293.9SWE-Bench软件开发56.959.5数据来源NVIDIA官方技术报告️ 创新架构异构混合设计的工程典范Puzzle-75B-A9B的核心优势源于其创新的压缩优化技术通过三个维度实现效率跃升异构MoE通道剪枝将专家中间维度从2688动态调整为1280-2688在敏感层保留更多容量异构活跃专家减少每token激活专家数从22降至4-18降低计算负载Mamba SSM状态剪枝状态大小从128通道减至96减少缓存I/O提升解码效率模型配置文件configuration_nemotron_h_puzzle.py中详细定义了这些架构创新通过block_configs实现不同层的异构配置兼顾效率与性能。 实用部署指南快速上手体验环境准备git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16 cd NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16 pip install -r requirements.txt使用vLLM快速部署推荐vllm serve . \ --served-model-name nemotron-puzzle-75b \ --port 8000 \ --tensor-parallel-size 4 \ --enable-expert-parallel \ --async-scheduling \ --trust-remote-code \ --mamba-backend flashinfer \ --speculative-config {method:mtp,num_speculative_tokens:3} \ --gpu-memory-utilization 0.85Python API调用示例from openai import OpenAI client OpenAI(base_urlhttp://localhost:8000/v1, api_keyEMPTY) response client.chat.completions.create( modelnemotron-puzzle-75b, messages[{role: user, content: 解释什么是混合MoE架构}], max_tokens1024, temperature0.7, extra_body{chat_template_kwargs: {enable_thinking: True}} ) print(response.choices[0].message.content) 多语言支持与应用场景Puzzle-75B-A9B支持英语、法语、德语、意大利语、日语、西班牙语和中文等多语言处理适用于AI Agent系统通过modeling_nemotron_h_puzzle.py中的工具调用能力构建智能助手长文档处理1M token上下文轻松应对书籍、代码库等超长文本企业级RAG系统结合chat_template.jinja自定义对话模板复杂推理任务数学问题、逻辑推理、代码生成等场景表现优异 许可与合规该模型采用OpenMDW-1.1许可协议允许商业使用。详细许可条款参见LICENSE文件。NVIDIA建议开发者在部署前进行充分的安全测试遵循安全指南和隐私说明中的最佳实践。 进一步学习资源技术报告Nemotron-Labs-3-Puzzle-75B-A9B: Compressing Hybrid MoE LLMs基础模型NVIDIA-Nemotron-3-Super-120B-A12B-BF16评估工具Nemo Evaluator SDKPuzzle-75B-A9B的发布标志着大语言模型在效率与性能平衡上的重要突破为企业级AI应用提供了强大而经济的解决方案。无论是构建智能客服、开发代码助手还是处理海量文档这款模型都将成为开发者的得力工具。立即体验开启高效AI应用开发之旅【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-BF16创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
